数据导出方法、装置和终端设备制造方法及图纸

本说明书提供了数据导出方法、装置和终端设备。基于该方法，当用户需要根据预设的排序规则从分布式数据库中导出有序的目标数据时，可以通过配置有数据导出装置的终端设备生成并向负责管理分布式数据库的第一服务器发送携带有待导出的目标数据的数据标识、目标数据所在的目标源表的表标识，以及排序指示参数的数据导出请求；接着，终端设备可以根据预设的交互规则通过与第一服务器，以及负责提供数据中转服务的第二服务器进行多次数据交互，使得用户能够通过终端设备较为高效、便捷地得到从分布式数据库中导出的满足用户要求，且根据预设的排序规则排序后的有序的目标数据，从而可以简化用户操作，提高用户的使用体验。

【技术实现步骤摘要】
数据导出方法、装置和终端设备
本说明书属于大数据处理
，尤其涉及数据导出方法、装置和终端设备。
技术介绍
在许多数据处理场景(例如，用户历史交易数据的统计分析场景)中，用户往往需要先从存储有大量数据的分布式数据库中导出满足要求的目标数据。但基于现有方法，用户直接得到的目标数据往往是无序，这时用户还需要自己再另外对上述目标数据进行排序处理，才能得到满足要求的排序后有序的目标数据。进而，用户才可以根据上述有序的目标数据进行后续具体的数据处理。可见，基于现有方法具体实施时，用户往往无法直接、高效地从分布式数据库中导出满足用户要求，且根据预设的排序规则排序后有序的目标数据，存在用户操作较为繁琐，处理效率较低，用户的使用体验差的技术问题。针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
本说明书提供了一种数据导出方法、装置和终端设备，以使得用户能够通过较为高效、便捷地得到从分布式数据库中导出的满足用户要求，且根据预设的排序规则排序后有序的目标数据，提高了用户的使用体验。本说明书提供了一种数据导出方法，包括：向第一服务器发送数据导出请求；其中，所述数据导出请求至少携带有待导出的目标数据的数据标识、目标数据所在的目标源表的表标识，以及排序指示参数；在所述排序指示参数指示要根据预设的排序规则按序导出目标数据的情况下，通过与第一服务器进行第一数据交互，查询分布式数据库中的目标源表，并在所述分布式数据库中建立第一临时表；其中，所述第一临时表包含有查询到的目标数据，以及基于预设的排序规则对所述目标数据排序后得到的与目标数据对应的序列号；通过与第一服务器进行第二数据交互，在所述分布式数据库中建立第一外表；其中，所述第一服务器根据所述第一外表，协调分布式集群中的多个节点服务器基于所述第一临时表将携带有序列号的目标数据并行写入第二服务器的预设目录中；通过与所述第二服务器进行第三数据交互，根据序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据；接收第二服务器反馈的排序后的目标数据。在一个实施例中，所述排序指示参数中还包含有用户设置的预设的排序规则。在一个实施例中，通过与第一服务器进行第一数据交互，查询分布式数据库中的目标源表，并在所述分布式数据库中建立第一临时表，包括：获取目标源表的表结构信息；基于所述目标源表的表结构信息，增加一列序号字段，得到第一临时表的表结构信息；根据所述第一临时表的表结构信息，生成关于第一临时表的第一创建指令；其中，所述第一创建指令携带有第一临时表的表结构信息；向所述第一服务器提交所述第一创建指令；其中，所述第一服务器响应所述第一创建指令在所述分布式数据库中创建第一临时表的空表；所述第一服务器根据数据导出请求查询目标源表；所述第一服务器还根据预设的排序规则对从目标源表中查询到的目标数据进行排序，并将目标数据以及与目标数据对应的序列号写入所述第一临时表的空表中，得到第一临时表。在一个实施例中，在通过与第一服务器进行第一数据交互，查询分布式数据库中的目标源表，并在所述分布式数据库中建立第一临时表之后，所述方法还包括：第一服务器释放设置于目标源表的操作锁；其中，所述操作锁为第一服务器在根据数据导出请求查询目标源表时设置的。在一个实施例中，通过与第一服务器进行第二数据交互，在所述分布式数据库中建立第一外表；其中，所述第一服务器根据所述第一外表，协调分布式集群中的多个节点服务器基于所述第一临时表将携带有序列号的目标数据并行写入第二服务器的预设目录中，包括：根据所述第一临时表的表结构信息，生成关于第一外表的第二创建指令；向所述第一服务器提交所述第二创建指令；其中，所述第一服务器响应所述第二创建指令，在所述分布式数据库中建立与所述第一临时表关联的第一外表；所述第一外表存储有并行导出参数。在一个实施例中，所述并行导出参数包括以下至少之一：分隔符、换行符、参与并行导出的节点服务器的标识信息、与并行导出关联的端口配置信息。在一个实施例中，通过与所述第二服务器进行第三数据交互，根据序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据，包括：根据预设的协议规则，生成排序请求；向所述第二服务器发送所述排序请求；其中，所述第二服务器响应所述排序请求，调用预设的排序脚本文件根据序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据。在一个实施例中，所述预设的排序脚本文件包括封装有sort命令的脚本文件。在一个实施例中，在通过与所述第二服务器进行第三数据交互，根据序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据之后，所述方法还包括：根据预设的协议规则，生成格式化请求；向所述第二服务器发送所述格式化请求；其中，所述第二服务器响应所述格式化请求，调用预设的格式化脚本文件对排序后的目标数据进行格式化处理，以得到符合预设的格式要求的排序后的目标数据。在一个实施例中，在通过与所述第二服务器进行第三数据交互，根据序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据之后，所述方法还包括：生成校验请求；向所述第二服务器发送所述校验请求；其中，所述第二服务器响应所述校验请求，统计所述排序后的目标数据的个数，以及第一临时表的行数；并根据所述排序后的目标数据的个数，以及第一临时表的行数，校验所述排序后的目标数据是否符合预设的质量要求。在一个实施例中，在所述排序指示参数未指示要根据预设的排序规则按序导出目标数据的情况下，所述方法还包括：通过与第一服务器进行第四数据交互，查询分布式数据库中的目标源表，并在所述分布式数据库中建立第二临时表；其中，所述第二临时表包含有查询到的目标数据；通过与第一服务器进行第五数据交互，在所述分布式数据库中建立第二外表；其中，所述第一服务器根据所述第二外表，协调分布式集群中的多个节点服务器基于所述第二临时表将目标数据并行写入第二服务器的预设目录中；接收第二服务器反馈的目标数据。本书明书还提供了一种数据导出方法，应用于第一服务器，包括：接收数据导出请求；其中，所述数据导出请求至少携带有待导出的目标数据的数据标识、目标数据所在的目标源表的表标识，以及排序指示参数；根据所示排序指示参数，确定是否要根据预设的排序规则按序导出目标数据；在确定要根据预设的排序规则按序导出目标数据的情况下，通过进行第一数据交互，查询分布式数据库中的目标源表，并在所述分布式数据库中建立第一临时表；其中，所述第一临时表包含有查询到的目标数据，以及基于预设的排序规则对所述目标数据排序后得到的与目标数据对应的序列号；通过进行第二数据交互，在所述分布式数据库中建立第一外表；根据所述第一外表，协调分布式集群中的多个节点服务器基于所述第一临时表将携带有序列号的目标数据并行写入第二服务器的预设目录中。本书明书还提供了一种数据导出装本文档来自技高网...

【技术保护点】
1.一种数据导出方法，其特征在于，包括：/n向第一服务器发送数据导出请求；其中，所述数据导出请求至少携带有待导出的目标数据的数据标识、目标数据所在的目标源表的表标识，以及排序指示参数；/n在所述排序指示参数指示要根据预设的排序规则按序导出目标数据的情况下，通过与第一服务器进行第一数据交互，查询分布式数据库中的目标源表，并在所述分布式数据库中建立第一临时表；其中，所述第一临时表包含有查询到的目标数据，以及基于预设的排序规则对所述目标数据排序后得到的与目标数据对应的序列号；/n通过与第一服务器进行第二数据交互，在所述分布式数据库中建立第一外表；其中，所述第一服务器根据所述第一外表，协调分布式集群中的多个节点服务器基于所述第一临时表将携带有序列号的目标数据并行写入第二服务器的预设目录中；/n通过与所述第二服务器进行第三数据交互，根据序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据；/n接收第二服务器反馈的排序后的目标数据。/n

【技术特征摘要】
1.一种数据导出方法，其特征在于，包括：
向第一服务器发送数据导出请求；其中，所述数据导出请求至少携带有待导出的目标数据的数据标识、目标数据所在的目标源表的表标识，以及排序指示参数；
在所述排序指示参数指示要根据预设的排序规则按序导出目标数据的情况下，通过与第一服务器进行第一数据交互，查询分布式数据库中的目标源表，并在所述分布式数据库中建立第一临时表；其中，所述第一临时表包含有查询到的目标数据，以及基于预设的排序规则对所述目标数据排序后得到的与目标数据对应的序列号；
通过与第一服务器进行第二数据交互，在所述分布式数据库中建立第一外表；其中，所述第一服务器根据所述第一外表，协调分布式集群中的多个节点服务器基于所述第一临时表将携带有序列号的目标数据并行写入第二服务器的预设目录中；
通过与所述第二服务器进行第三数据交互，根据序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据；
接收第二服务器反馈的排序后的目标数据。


2.根据权利要求1所述的方法，其特征在于，所述排序指示参数中还包含有用户设置的预设的排序规则。


3.根据权利要求1所述的方法，其特征在于，通过与第一服务器进行第一数据交互，查询分布式数据库中的目标源表，并在所述分布式数据库中建立第一临时表，包括：
获取目标源表的表结构信息；
基于所述目标源表的表结构信息，增加一列序号字段，得到第一临时表的表结构信息；
根据所述第一临时表的表结构信息，生成关于第一临时表的第一创建指令；其中，所述第一创建指令携带有第一临时表的表结构信息；
向所述第一服务器提交所述第一创建指令；其中，所述第一服务器响应所述第一创建指令在所述分布式数据库中创建第一临时表的空表；所述第一服务器根据数据导出请求查询目标源表；所述第一服务器还根据预设的排序规则对从目标源表中查询到的目标数据进行排序，并将目标数据以及与目标数据对应的序列号写入所述第一临时表的空表中，得到第一临时表。


4.根据权利要求3所述的方法，其特征在于，在通过与第一服务器进行第一数据交互，查询分布式数据库中的目标源表，并在所述分布式数据库中建立第一临时表之后，所述方法还包括：
第一服务器释放设置于目标源表的操作锁；其中，所述操作锁为第一服务器在根据数据导出请求查询目标源表时设置的。


5.根据权利要求3所述的方法，其特征在于，通过与第一服务器进行第二数据交互，在所述分布式数据库中建立第一外表，包括：
根据所述第一临时表的表结构信息，生成关于第一外表的第二创建指令；
向所述第一服务器提交所述第二创建指令；其中，所述第一服务器响应所述第二创建指令，在所述分布式数据库中建立与所述第一临时表关联的第一外表；所述第一外表存储有并行导出参数。


6.根据权利要求5所述的方法，其特征在于，所述并行导出参数包括以下至少之一：分隔符、换行符、参与并行导出的节点服务器的标识信息、与并行导出关联的端口配置信息。


7.根据权利要求1所述的方法，其特征在于，通过与所述第二服务器进行第三数据交互，根据序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据，包括：
根据预设的协议规则，生成排序请求；
向所述第二服务器发送所述排序请求；其中，所述第二服务器响应所述排序请求，调用预设的排序脚本文件根据目标数据所携带的序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据。


8.根据权利要求7所述的方法，其特征在于，所述预设的排序脚本文件包括封装有sort命令的脚本文件。


9.根据权利要求7所述的方法，其特征在于，在通过与所述第二服务器进行第三数据交互，根据序列号，对预设目录中的目标数据进行排序，得到排序后的目标数据之后，所述方法...

【专利技术属性】
技术研发人员：雷经纬，罗响，熊辉，杨丽萦，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11