一种数据同步方法、同步装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及一种数据同步方法、同步装置、计算机设备及存储介质。该方法包括：获取第三方系统的目标数据；读取所述第三方系统目标数据的属性和数据；根据所述目标数据的属性和数据，配置对应目标数据的属性和数据的映射规则文件；根据所述目标数据的属性和数据的映射规则文件，调用数据存储通用方法，对所述目标数据进行对应的操作。实施本发明专利技术的技术方案，通过配置目标数据的映射规则文件的方式，减少了因接入第三方系统或者第三方系统的数据同步字段变化而产生的代码开发量，以及业务变动产生的代码变更量，稳定高效地实现异构系统之间的数据同步。的数据同步。的数据同步。

【技术实现步骤摘要】
一种数据同步方法、同步装置、计算机设备及存储介质


[0001]本专利技术涉及大数据应用
，更具体地说，涉及一种数据同步方法、同步装置、计算机设备及存储介质。

技术介绍

[0002]现有的数据同步技术方案中，可以实现不同系统数据库间的数据同步，但是不够稳定、高效以及低代码开发量。在相关技术中，不同系统数据库间的数据同步需要建立属性映射关系，受到不同系统数据库属性的影响需要单独开发代码，且这种数据同步技术往往受限于具体的系统数据库，需要利用数据库本身的特性进行数据同步，例如数据库本身触发器、存储过程等工具，以及利用数据库自身的日志做同步处理；因此，会造成数据同步与数据库有强相关关系，不方便系统数据库迭代、替换和数据同步，增加支持其他系统数据库的难度和较大的代码开发量。因此，如何稳定、高效地实现不同系统数据库之间的数据同步，以及减少由于不同系统间的数据同步字段变化所带来的代码开发量成为亟待解决的问题。

技术实现思路

[0003]为解决现有数据同步技术中所存在的问题，本专利技术提供一种数据同步方法、同步装置、计算机设备及存储介质。
[0004]本专利技术解决其技术问题所采用的技术方案是：提供一种数据同步方法，其特征在于，包括：
[0005]S1、获取第三方系统的目标数据；
[0006]S2、读取所述第三方系统目标数据的属性和数据；
[0007]S3、根据所述目标数据的属性和数据，配置对应所述目标数据的属性和数据的映射规则文件；
[0008]S4、根据所述目标数据的属性和数据的映射规则文件，调用数据存储通用方法，对所述目标数据进行对应的操作。
[0009]优选地，所述目标数据的属性包括：
[0010]所述目标数据的字典内容；
[0011]所述目标数据的关联关系；
[0012]所述目标数据的数据类型。
[0013]优选地，所述步骤S3包括以下步骤：
[0014]S3
‑
1：配置所述目标数据的映射规则XML文件整体结构片段，用于定义数据传输规则以及文件传输属性；
[0015]S3
‑
2：根据所述目标数据的数据，配置对应所述目标数据的数据的XML数据模板，用于将所述目标数据的数据读取到XML数据模板中对应的位置；
[0016]S3
‑
3：根据所述目标数据的字典内容，配置对应所述目标数据的字典内容的映射
规则XML文件片段，用于存储具有映射关系的所述目标数据；
[0017]S3
‑
4：根据所述目标数据的关联关系，配置对应所述目标数据的关联关系的映射规则XML文件片段，用于根据所述目标数据的关联关系查询与所述目标数据关联的多种所述目标数据结果；
[0018]S3
‑
5：根据所述目标数据的数据类型，配置对应所述目标数据的同步范围的映射规则XML文件片段，用于确定所述目标数据的同步范围以及标记所述目标数据的传输进行状态；
[0019]所述目标数据的同步范围的映射规则XML文件片段包括：目标数据的第一同步范围片段和目标数据的传递状态值片段；
[0020]S3
‑
6：联合所述目标数据的数据的XML数据模板和所有所述目标数据的属性的映射规则XML文件片段，结合所述目标数据的映射规则XML文件整体结构片段，形成完整的所述目标数据的属性和数据的映射规则XML文件。
[0021]优选地，所述数据存储通用方法包括：
[0022]M1：从所述第三方系统同步数据至所述基于Documentum的文档系统的数据存储通用方法；
[0023]M2：从所述基于Documentum的文档系统同步数据至所述第三方系统的数据存储通用方法；
[0024]M3：从所述第三方系统上传文件至所述基于Documentum的文档系统的数据存储通用方法；
[0025]M4：从所述基于Documentum的文档系统上传文件至所述第三方系统的数据存储通用方法。
[0026]优选地，所述步骤S4包括以下步骤：
[0027]S4
‑
1：根据所述目标数据的数据的XML数据模板和所述目标数据的属性的映射规则XML文件片段，调用所述数据存储通用方法M1，从所述第三方系统同步所述目标数据至所述基于Documentum的文档系统，对同步成功的所述目标数据移入历史数据库，对同步失败的所述目标数据进行重传；
[0028]所述历史数据库为所述基于Documentum的文档系统持久化存储同步成功的所述目标数据的文档数据库；
[0029]S4
‑
2：根据所述目标数据的映射规则XML文件整体结构片段，调用所述数据存储通用方法M3，从所述第三方系统上传文件至所述基于Documentum的文档系统。
[0030]优选地，所述步骤S3
‑
1包括：
[0031]根据dataType字段定义的第三方系统数据类型，调用resultMap字段配置对应所述目标数据的同步范围的映射规则XML文件片段；
[0032]通过所述dataType字段定义第三方系统数据类型和dctmType字段定义基于Documentum的文档系统数据类型，默认均为String类型；
[0033]根据fileConfig字段定义的文件传输属性，结合所述目标数据的属性和数据的映射规则XML文件片段，对所述目标数据进行对应的操作；
[0034]所述fileConfig字段定义了文件传输属性，支持FTP、SFTP、HTTP、SAMBA等多种传输协议的文件上传；
[0035]根据resultMap字段配置所述目标数据的属性和数据的映射规则XML文件片段；
[0036]所述resultMap字段中，id为所述目标数据的属性和数据的映射规则XML文件的唯一标识，result为所述目标数据的属性和数据的映射规则XML文件片段；
[0037]所述result字段中，column为所述第三方系统数据类型的属性名称，property为所述基于Documentum的文档系统数据类型的属性名称。
[0038]优选地，所述步骤S3
‑
2包括以下步骤：
[0039]根据读取的所述目标数据的数据，将所述目标数据的数据按照模板格式从第一个数据依顺序填入数据模板对应的位置，直至最后一个数据填入数据模板对应的位置，形成完整的目标数据的数据的XML数据模板。
[0040]优选地，所述步骤S3
‑
3包括以下步骤：
[0041]根据所述目标数据的字典内容，调用valueMaps字段配置对应所述目标数据的字典内容的映射规则XML文件片段；
[0042]所述valueMaps字段包含若干个valueMap字段，根据所述valueMap字段配置对应所述目标数据的字典内容的映射规则；
[0043]所述valueMa本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：S1、获取第三方系统的目标数据；S2、读取所述第三方系统目标数据的属性和数据；S3、根据所述目标数据的属性和数据，配置对应所述目标数据的属性和数据的映射规则文件；S4、根据所述目标数据的属性和数据的映射规则文件，调用数据存储通用方法，对所述目标数据进行对应的操作。2.根据权利要求1所述的数据同步方法，其特征在于，所述目标数据的属性包括：所述目标数据的字典内容；所述目标数据的关联关系；所述目标数据的数据类型。3.根据权利要求2所述的数据同步方法，其特征在于，所述步骤S3包括以下步骤：S3
‑
1：配置所述目标数据的映射规则XML文件整体结构片段，用于定义数据传输规则以及文件传输属性；S3
‑
2：根据所述目标数据的数据，配置对应所述目标数据的数据的XML数据模板，用于将所述目标数据的数据读取到XML数据模板中对应的位置；S3
‑
3：根据所述目标数据的字典内容，配置对应所述目标数据的字典内容的映射规则XML文件片段，用于存储具有映射关系的所述目标数据；S3
‑
4：根据所述目标数据的关联关系，配置对应所述目标数据的关联关系的映射规则XML文件片段，用于根据所述目标数据的关联关系查询与所述目标数据关联的多种所述目标数据结果；S3
‑
5：根据所述目标数据的数据类型，配置对应所述目标数据的同步范围的映射规则XML文件片段，用于确定所述目标数据的同步范围以及标记所述目标数据的传输进行状态；所述目标数据的同步范围的映射规则XML文件片段包括：目标数据的第一同步范围片段和目标数据的传递状态值片段；S3
‑
6：联合所述目标数据的数据的XML数据模板和所有所述目标数据的属性的映射规则XML文件片段，结合所述目标数据的映射规则XML文件整体结构片段，形成完整的所述目标数据的属性和数据的映射规则XML文件。4.根据权利要求3所述的数据同步方法，其特征在于，所述数据存储通用方法包括：M1：从所述第三方系统同步数据至所述基于Documentum的文档系统的数据存储通用方法；M2：从所述基于Documentum的文档系统同步数据至所述第三方系统的数据存储通用方法；M3：从所述第三方系统上传文件至所述基于Documentum的文档系统的数据存储通用方法；M4：从所述基于Documentum的文档系统上传文件至所述第三方系统的数据存储通用方法。5.根据权利要求4所述的数据同步方法，其特征在于，所述步骤S4包括以下步骤：S4
‑
1：根据所述目标数据的数据的XML数据模板和所述目标数据的属性的映射规则XML
文件片段，调用所述数据存储通用方法M1，从所述第三方系统同步所述目标数据至所述基于Documentum的文档系统，对同步成功的所述目标数据移入历史数据库，对同步失败的所述目标数据进行重传；所述历史数据库为所述基于Documentum的文档系统持久化存储同步成功的所述目标数据的文档数据库；S4
‑
2：根据所述目标数据的映射规则XML文件整体结构片段，调用所述数据存储通用方法M3，从所述第三方系统上传文件至所述基于Documentum的文档系统。6.根据权利要求3所述的数据同步方法，其特征在于，所述步骤S3
‑
1包括：根据dataType字段定义的第三方系统数据类型，调用resultMap字段配置对应所述目标数据的同步范围的映射规则XML文件片段；通过所述dataType字段定义第三方系统数据类型和dctmType字段定义基于Documentum的文档系统数据类型，默认均为String类型；根据fileConfig字段定义的文件传输属性，结合所述目标数据的属性和数据的映射规则XML文件片段，对所述目标数据进行对应的操作；所述fileConfig字段定义了文件传输属性，支持FTP、SFTP、HTTP、SAMBA等多种传输协议的文件上传；根据resultMap字段配置所述目标数据的属性和数据的映射规则XML文件片段；所述resultMap字段中，id为所述目标数据的属性和数据的映射规则XML文件的唯一标识，result为所述目标数据的属性和数据的映射规则XML文件片段；所述result字段中，column为所述第三方系统数据类型的属性名称，property为所述基于Documentum的文档系统数据类型的属性名称。7.根据权利要求3所述的数据同步方法，其特征在于，所述步骤S3
‑
2包括以下步骤：根据读取的所述目标数据的数据，将所述目标数据的数据按照模板格式从第一个数据依顺序填入数据模板对应的位置，直至最后一个数据填入数据模板对应的位置，形成完整的目标数据的数据的XML数据模板。8.根据权利要求3所述的数据同步方法，其特征在于，所述步骤S3
‑
3包括以下步骤：根据所述目标数据的字典内容，调用valueMaps字段配置对应所述目标数据的字典内容的映射规则XML文件片段；所述valueMaps字段包含若干个valueMap字段，根据所述valueMap字段配置对应所述目标数据的字典内容的映射规则；所述valueMap字段中，key为所述第三方系统目标数据的字典内容，value为所述基于Documentum的文档系统目标数据的字典内容。9.根据权利要求3所述的数据同步方法，其特征在于，所述步骤S3
‑
4包括以下步骤：根据所述目标数据的关联关系，调用relations字段配置对应所述目标数据的关联关系的映射规则XML文件片段；所述relations字段包含若干个relation字段，根据所述relation字段配置对应所述目标数据的关联关系的映射规则，每种所述目标数据的关联关系存放于一个所述relation字段中；所述relation字段中，name为所述目标数据的关联关系的类型，label为所述目标数据
的关联关系的名称，identity为所述目标数据的关联关系的唯一标识。10.根据权利要求3所述的数据同步方法，其特征在于，所述步骤S3
‑

【专利技术属性】
技术研发人员：侯斌，吴祥勇，汪鹏，王云福，涂红兵，
申请(专利权)人：中广核工程有限公司中国广核集团有限公司中国广核电力股份有限公司，
类型：发明
国别省市：