一种数据导出方法技术

本发明专利技术实施例提供了一种数据导出方法

【技术实现步骤摘要】
一种数据导出方法、系统、设备及存储介质


[0001]本专利技术涉及大数据
，特别是涉及一种数据导出方法
、
系统
、
设备及存储介质
。

技术介绍

[0002]银行在对数据进行管理时，为了节省数据存储成本和提高在线数据查询性能，通常会根据业务需求设置相应分类规则，以将大量数据分类为热数据
(HotData)、
温数据
(WarmData)
和冷数据
(ColdData)
，并将热数据
、
温数据和冷数据分别存储至相应的存储介质中
。
[0003]但是，在用户需要导出批量数据时，由于数据的具体类型对用户是未知的
。
这就导致在编辑数据导出语句前，用户需要遍历各存储介质以确定所要导出数据的物理存储地址，并将该物理存储地址写入数据导出语句中，从而完成单一类型的数据导出
。
同时，又由于不同类别的数据存储于不同的存储介质中
。
这就使得在基于数据导出语句进行数据导出的步骤需要执行多次
。
可见，现有技术在对不同热度类型的数据进行数据导出时的导出效率低
。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种数据导出方法
、
系统
、
设备及存储介质，以实现提高对不同热度类型的数据进行数据导出的效率的专利技术目的
。
具体技术方案如下：
[0005]一种数据导出方法，所述方法包括：
[0006]将接收到的数据导出语句解析为语法树，并基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据筛选，获得多个待导出数据的物理存储地址，其中，所述预设数据分布表存储有各数据的筛选条件信息，以及各所述数据在各存储介质中的所述物理存储地址，所述物理存储地址与所述存储介质存在对应关系；
[0007]对各所述待导出数据的所述物理存储地址进行合并，分别构建各所述待导出数据的所述物理存储地址和所述筛选条件信息的对应关系，并基于所述合并的结果以及各所述对应关系，对所述语法树进行更新；
[0008]执行更新后的所述语法树，向各所述物理存储地址各自对应的所述存储介质发送数据导出请求，以使各所述存储介质根据所述数据导出请求中的所述筛选条件信息进行数据导出
。
[0009]可选的，所述对各所述待导出数据的所述物理存储地址进行合并，分别构建各所述待导出数据的所述物理存储地址和所述筛选条件信息的对应关系，并基于所述合并的结果以及各所述对应关系，对所述语法树进行更新，包括：
[0010]将各所述物理存储地址合并存储于同一个数据表中，并根据所述对应关系，在所述数据表中存储各所述物理存储地址对应的所述筛选条件信息；
[0011]根据所述数据表构建至少一个子查询语句，并基于所述子查询语句对所述语法树
进行添加子查询操作，以更新所述语法树
。
[0012]可选的，所述方法还包括：
[0013]在进行所述数据筛选之前，对所述语法树进行语法检测，若所述语法检测的结果内容是检测通过，则执行所述基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据筛选的操作；
[0014]在所述语法检测的结果内容是检测不通过的情况下，对所述语法树中的语法错误进行标记，并对所述标记进行展示
。
[0015]可选的，所述基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据筛选，获得多个待导出数据的物理存储地址，包括：
[0016]对所述预设数据分表内的各所述数据：判断该数据的所述筛选条件信息中的数据来源标识，与所述内容来源语句中的数据源标识是否一致；
[0017]判断该数据的所述筛选条件信息中的数据属性参数，是否满足所述查询条件语句的查询条件；
[0018]在所述数据来源标识与所述数据源标识一致，且所述数据属性参数匹配满足所述查询条件语句的查询条件，则将该数据确定为所述待导出数据，并获得所述待导出数据的物理存储地址
。
[0019]一种数据导出系统，所述系统包括：
[0020]数据提取单元，用于将接收到的数据导出语句解析为语法树，并基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据筛选，获得多个待导出数据的物理存储地址，其中，所述预设数据分布表存储有各数据的筛选条件信息，以及各所述数据在各存储介质中的所述物理存储地址，所述物理存储地址与所述存储介质存在对应关系；
[0021]数据更新单元，用于对各所述待导出数据的所述物理存储地址进行合并，分别构建各所述待导出数据的所述物理存储地址和所述筛选条件信息的对应关系，并基于所述合并的结果以及各所述对应关系，对所述语法树进行更新；
[0022]数据导出单元，用于执行更新后的所述语法树，向各所述物理存储地址各自对应的所述存储介质发送数据导出请求，以使各所述存储介质根据所述数据导出请求中的所述筛选条件信息进行数据导出
。
[0023]可选的，所述数据更新单元被设置为：
[0024]将各所述物理存储地址合并存储于同一个数据表中，并根据所述对应关系，在所述数据表中存储各所述物理存储地址对应的所述筛选条件信息；
[0025]根据所述数据表构建至少一个子查询语句，并基于所述子查询语句对所述语法树进行添加子查询操作，以更新所述语法树
。
[0026]可选的，所述数据提取单元还被设置为：
[0027]在进行所述数据筛选之前，对所述语法树进行语法检测，若所述语法检测的结果内容是检测通过，则执行所述基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据筛选的操作；
[0028]在所述语法检测的结果内容是检测不通过的情况下，对所述语法树中的语法错误进行标记，并对所述标记进行展示
。
[0029]可选的，所述数据提取单元在所述基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据筛选，获得多个待导出数据的物理存储地址时被设置为：
[0030]对所述预设数据分表内的各所述数据：判断该数据的所述筛选条件信息中的数据来源标识，与所述内容来源语句中的数据源标识是否一致；
[0031]判断该数据的所述筛选条件信息中的数据属性参数，是否满足所述查询条件语句的查询条件；
[0032]在所述数据来源标识与所述数据源标识一致，且所述数据属性参数匹配满足所述查询条件语句的查询条件，则将该数据确定为所述待导出数据，并获得所述待导出数据的物理存储地址
。
[0033]一种数据导出设备，所述数据导出设备包括：
[0034]处理器；
[0035]用于存储所述处理器可执行指令的存储器；
[0036]其中，所述处理器被配置为执行所述指令，以实现如上述任一种所述的数据导出方法
。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据导出方法，其特征在于，所述方法包括：将接收到的数据导出语句解析为语法树，并基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据筛选，获得多个待导出数据的物理存储地址，其中，所述预设数据分布表存储有各数据的筛选条件信息，以及各所述数据在各存储介质中的所述物理存储地址，所述物理存储地址与所述存储介质存在对应关系；对各所述待导出数据的所述物理存储地址进行合并，分别构建各所述待导出数据的所述物理存储地址和所述筛选条件信息的对应关系，并基于所述合并的结果以及各所述对应关系，对所述语法树进行更新；执行更新后的所述语法树，向各所述物理存储地址各自对应的所述存储介质发送数据导出请求，以使各所述存储介质根据所述数据导出请求中的所述筛选条件信息进行数据导出
。2.
根据权利要求1所述的方法，其特征在于，所述对各所述待导出数据的所述物理存储地址进行合并，分别构建各所述待导出数据的所述物理存储地址和所述筛选条件信息的对应关系，并基于所述合并的结果以及各所述对应关系，对所述语法树进行更新，包括：将各所述物理存储地址合并存储于同一个数据表中，并根据所述对应关系，在所述数据表中存储各所述物理存储地址对应的所述筛选条件信息；根据所述数据表构建至少一个子查询语句，并基于所述子查询语句对所述语法树进行添加子查询操作，以更新所述语法树
。3.
根据权利要求1所述的方法，其特征在于，所述方法还包括：在进行所述数据筛选之前，对所述语法树进行语法检测，若所述语法检测的结果内容是检测通过，则执行所述基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据筛选的操作；在所述语法检测的结果内容是检测不通过的情况下，对所述语法树中的语法错误进行标记，并对所述标记进行展示
。4.
根据权利要求1所述的方法，其特征在于，所述基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据筛选，获得多个待导出数据的物理存储地址，包括：对所述预设数据分表内的各所述数据：判断该数据的所述筛选条件信息中的数据来源标识，与所述内容来源语句中的数据源标识是否一致；判断该数据的所述筛选条件信息中的数据属性参数，是否满足所述查询条件语句的查询条件；在所述数据来源标识与所述数据源标识一致，且所述数据属性参数匹配满足所述查询条件语句的查询条件，则将该数据确定为所述待导出数据，并获得所述待导出数据的物理存储地址
。5.
一种数据导出系统，其特征在于，所述系统包括：数据提取单元，用于将接收到的数据导出语句解析为语法树，并基于所述语法树中的内容来源语句和查询条件语句对预设数据分布表进行数据...

【专利技术属性】
技术研发人员：秦胜勇，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：