【技术实现步骤摘要】
本公开涉及大数据智能分析，尤其涉及数据同步方法、装置、设备和介质。
技术介绍
1、目前多数软件系统在进行数据同步时，存在加载数据档文件中的业务数据到目的数据库(简称为目的库)中的数据表(简称为目的表)的业务场景。其中，数据档文件的格式一般是一行代表目的表中的一条记录，一条记录中存在多个字段，多个字段以分隔符隔开。
2、相关技术中，数据档文件中的业务数据的同步方案为：使用java开发装数程序，通过装数程序逐行读取数据档文件，并通过指定分隔符拆分字段数据，再拼接数据得到一句sql(structured query language，结构化查询语言)语句，之后通过jdbc(java databaseconnectivity，java数据库连接)或mybatis(一个持久层框架，其内部封装了jdbc)技术写入到目的库中的目的表。
3、然而上述数据同步方式，至少存在以下问题：1、不同格式的数据档文件中的分隔符和字段等都可能不相同，针对不同格式的数据档文件，写入到不同的数据表，需要重新修改代码，即需要开发不同的装数程序，代码重复开发繁琐；2、数据档文件中的多个字段之间存在分隔符，装数程序需要解析分隔符，性能消耗较大，并且也造成文件存储空间的浪费。
技术实现思路
1、本公开提供一种数据同步方法、装置、设备和介质，以至少在一定程度上解决相关技术中的技术问题之一。本公开的技术方案如下：
2、根据本公开实施例的第一方面，提供一种数据同步方法，包括：
3、
4、对所述参数文件进行解析，以得到所述参数信息；
5、根据所述参数信息和所述数据文件中的字段值，生成结构化查询语言sql语句；
6、执行所述sql语句，以将所述字段值同步至所述目的表中的所述目标字段下。
7、根据本公开实施例的第二方面，提供一种数据同步装置，包括：
8、获取模块，用于获取待同步的目标字段对应的列式数据档；其中，所述列式数据档包括数据文件和参数文件；所述数据文件中包括所述目标字段下的至少一个字段值；所述参数文件中包括与所述目标字段和目的表关联的参数信息，所述目的表是所述字段值待同步至的数据表；
9、解析模块，用于对所述参数文件进行解析，以得到所述参数信息；
10、生成模块，用于根据所述参数信息和所述数据文件中的字段值，生成结构化查询语言sql语句；
11、执行模块，用于执行所述sql语句，以将所述字段值同步至所述目的表中的所述目标字段下。
12、根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如本公开上述实施例所述的数据同步方法。
13、根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本公开上述实施例所述的数据同步方法。
14、根据本公开实施例的第五方面，提供一种计算机程序产品，包括：计算机程序，所述计算机程序被处理器执行时实现如本公开上述实施例所述的数据同步方法。
15、本公开的实施例提供的技术方案至少带来以下有益效果：
16、从字段维度进行数据同步，即，为每个待同步的目标字段，单独生成一个列式数据档，该列式数据档的数据文件中仅包括同一字段下的各个字段值，而不包括其他字段的字段值和多余的分隔符，不仅可以减少列式数据档的文件大小，节约文件存储空间，而且，在数据同步时，无需考虑或解析分隔符，可以提升数据的同步效率。另外，使用列式数据档进行数据同步，可以屏蔽现有的数据档文件中的分隔符不同、数据表不同、字段不同的差异，减少了代码的重复开发，即减少了装数程序的差异开发。
17、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本文档来自技高网...【技术保护点】
1.一种数据同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述参数信息和所述数据文件中的字段值，生成结构化查询语言SQL语句，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一标识信息、所述第二标识信息、所述主键和所述数据文件中的字段值，生成所述SQL语句，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一标识信息、所述第二标识信息、所述主键和所述数据文件中的字段值，生成所述SQL语句，包括：
5.根据权利要求4所述的方法，其特征在于，所述从所述数据文件中读取未被其他线程读取的字段值，包括：
6.根据权利要3或4所述的方法，其特征在于，所述根据所述第一标识信息、所述第二标识信息、所述主键、所述主键初始值和当前读取的字段值，生成所述当前读取的字段值对应的SQL语句，包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述主键初始值和所述行号，确定目标记录在所述目的表中的主键目标值，包括：
8.根据权利要求3或4所述的方法，其特征
9.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取待同步的目标字段对应的列式数据档，包括：
10.一种数据同步装置，其特征在于，包括：
11.一种电子设备，其特征在于，包括：
12.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至9中任一项所述的数据同步方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的数据同步方法。
...【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述参数信息和所述数据文件中的字段值，生成结构化查询语言sql语句，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一标识信息、所述第二标识信息、所述主键和所述数据文件中的字段值，生成所述sql语句，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一标识信息、所述第二标识信息、所述主键和所述数据文件中的字段值，生成所述sql语句，包括：
5.根据权利要求4所述的方法，其特征在于，所述从所述数据文件中读取未被其他线程读取的字段值，包括：
6.根据权利要3或4所述的方法，其特征在于，所述根据所述第一标识信息、所述第二标识信息、所述主键、所述主键初始值和当前读取的字段值，生成所述当前读取的字段值对应的sql语句，包括：
【专利技术属性】
技术研发人员：黄川，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。