【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种数据同步系统、方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着信息管理的数字化转型持续推进，加之分布式技术体系日益完善，竖井式开发的企业内建系统如雨后春笋般拔地而起蓬勃生长。面对众多系统的自主扩张，数据孤岛问题也同时趋现。企业内部存量系统各自治理自有数据，而增量系统无法方便的复用存量数据源，导致不得不复辟并自我维护一套数据源，需求不断演进之后，增量系统又将形成一座新的数据孤岛，如此往复产生恶性循环。
2、现有技术中，企业可通过定制标准化数据提交方案，建设数据仓库/数据湖形成数据资源集中式维护，另逐步推进重构存量系统，开放可供下游系统接入数据同步的方案，以达到战略意义上的数据信息共享能力，解决孤岛效应。业界同时也有存量的框架技术实现，例如canal（一种同步数据库的增量数据到其他的存储应用的框架）、flinkcdc（基于数据库日志 cdc（change data capture）技术的实时数据集成框架）等数据同步工具。
3、然而，目前的数据同步框架技术，或多或少都依赖数据库底层特性，针对不同的数据库种类需要开发不同的同步策略，针对不同类型的数据的变更，需要开发人员通过逐个对变更的数据进行数据结构分析、并根据数据结构对变更的数据进行数据同步，导致对变更的数据的同步效率较低。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提高将各应用端中存在变更的数据进行同步的效率的数据同步系统、方法、装置、计
2、第一方面，本申请提供了一种数据同步系统，所述系统包括数据监听端、服务端和目标应用端，其中：
3、所述数据监听端，用于确定目标数据结构，向所述服务端发送针对所述目标数据结构的第一数据查询请求；
4、所述服务端，用于接收所述第一数据查询请求，根据所述第一数据查询请求，确定目标数据源地址以及目标信息采集路径，根据所述目标数据源地址，确定目标数据源所在的所述目标应用端，并向所述目标应用端发送第二数据查询请求；
5、所述目标应用端，用于接收所述第二数据查询请求，根据所述第二数据查询请求，生成包含初始数据源的响应报文，将所述响应报文发送至所述服务端；
6、所述服务端，还用于接收所述响应报文，根据所述目标信息采集路径，在所述响应报文中确定所述初始数据源，根据所述初始数据源，确定所述目标数据源，在所述目标数据源的数据变更情况符合数据变更条件时，将所述目标数据源发送至所述数据监听端。
7、在其中一个实施例中，所述服务端还用于：
8、将所述目标数据源与历史缓存数据进行比对，在所述目标数据源与所述历史缓存数据不完全一致的情况下，确定所述目标数据源的数据变更情况符合数据变更条件；
9、在所述目标数据源与所述历史缓存数据完全一致的情况下，确定所述目标数据源的数据变更情况不符合所述数据变更条件。
10、在其中一个实施例中，所述数据监听端集成有软件开发工具包sdk模块，所述sdk模块用于，在所述数据监听端启动时，采集所述数据监听端的配置信息，根据所述配置信息，将所述数据监听端注册至所述服务端，并与所述服务端建立心跳机制维护连接，其中，所述sdk模块中包含数据监听端配置约束信息、所述数据监听端与所述服务端交互方式信息、以及应用采集信息，所述配置信息中包含所述数据监听端的标识信息、以及所述数据监听端对应的数据适配模板。
11、在其中一个实施例中，所述sdk模块还用于，响应于数据查询操作，基于所述数据监听端的标识信息、所述目标数据源地址以及所述目标信息采集路径，生成所述第一数据查询请求，并将所述第一数据查询请求发送至所述服务端。
12、在其中一个实施例中，所述服务端还用于，获取所述数据监听端对应的数据适配模板，根据所述数据适配模板，对所述初始数据源进行模板映射，得到所述目标数据源。
13、在其中一个实施例中，所述服务端还用于：
14、接收所述第一数据查询请求，根据所述第一数据查询请求，对所述数据监听端进行注册信息完整性校验、并对所述目标应用端进行探活处理，确定所述数据监听端和所述目标应用端是否可用；
15、在所述数据监听端和所述目标应用端均可用的情况下，根据所述目标数据源地址，确定所述目标数据源所在的所述目标应用端，并向所述目标应用端发送第二数据查询请求。
16、在其中一个实施例中，所述数据监听端还用于，接收所述服务端发送的所述目标数据源，将所述目标数据源进行存储。
17、第二方面，本申请提供了一种数据同步方法，包括：
18、接收第一数据查询请求，根据所述第一数据查询请求，确定目标数据源地址以及目标信息采集路径；
19、根据所述目标数据源地址，确定目标数据源所在的目标应用，并向所述目标应用发送第二数据查询请求，所述第二数据查询请求用于指示所述目标应用生成包含初始数据源的响应报文；
20、接收所述响应报文，根据所述目标信息采集路径，在所述响应报文中确定所述初始数据源，根据所述初始数据源，确定所述目标数据源；
21、确定所述目标数据源的数据变更情况，在所述数据变更情况符合数据变更条件时，将所述目标数据源发送至数据监听端。
22、在其中一个实施例中，所述确定所述目标数据源的数据变更情况，包括：
23、将所述目标数据源与历史缓存数据进行比对，在所述目标数据源与所述历史缓存数据不完全一致的情况下，确定所述目标数据源的数据变更情况符合数据变更条件；
24、在所述目标数据源与所述历史缓存数据完全一致的情况下，确定所述目标数据源的数据变更情况不符合所述数据变更条件。
25、在其中一个实施例中，所述根据所述初始数据源，确定所述目标数据源，包括：
26、获取数据监听端对应的数据适配模板，根据所述数据适配模板，对所述初始数据源进行模板映射，得到所述目标数据源。
27、第三方面，本申请还提供了一种数据同步装置，包括：
28、第一确定模块，用于接收第一数据查询请求，根据所述第一数据查询请求，确定目标数据源地址以及目标信息采集路径；
29、第一发送模块，用于根据所述目标数据源地址，确定目标数据源所在的目标应用，并向所述目标应用发送第二数据查询请求，所述第二数据查询请求用于指示所述目标应用生成包含初始数据源的响应报文；
30、第二确定模块，用于接收所述响应报文，根据所述目标信息采集路径，在所述响应报文中确定所述初始数据源，根据所述初始数据源，确定所述目标数据源
31、第二发送模块，用于确定所述目标数据源的数据变更情况，在所述数据变更情况符合数据变更条件时，将所述目标数据源发送至数据监听端。
32、在其中一个实施例中，所述第二发送模块具体用于：
33、将所述目标数据源与历本文档来自技高网...
【技术保护点】
1.一种数据同步系统，其特征在于，所述系统包括数据监听端、服务端和目标应用端，其中：
2.根据权利要求1所述的系统，其特征在于，所述服务端还用于：
3.根据权利要求1所述的系统，其特征在于，所述数据监听端集成有软件开发工具包SDK模块，所述SDK模块用于，在所述数据监听端启动时，采集所述数据监听端的配置信息，根据所述配置信息，将所述数据监听端注册至所述服务端，并与所述服务端建立心跳机制维护连接，其中，所述SDK模块中包含数据监听端配置约束信息、所述数据监听端与所述服务端交互方式信息、以及应用采集信息，所述配置信息中包含所述数据监听端的标识信息、以及所述数据监听端对应的数据适配模板。
4.根据权利要求3所述的系统，其特征在于，所述SDK模块还用于，响应于数据查询操作，基于所述数据监听端的标识信息、所述目标数据源地址以及所述目标信息采集路径，生成所述第一数据查询请求，并将所述第一数据查询请求发送至所述服务端。
5.根据权利要求1所述的系统，其特征在于，所述服务端还用于，获取所述数据监听端对应的数据适配模板，根据所述数据适配模板，对所述初
6.根据权利要求1所述的系统，其特征在于，所述服务端还用于：
7.根据权利要求1所述的系统，其特征在于，所述数据监听端还用于，接收所述服务端发送的所述目标数据源，将所述目标数据源进行存储。
8.一种数据同步方法，其特征在于，所述方法包括：
9.根据权利要求8所述的方法，其特征在于，所述确定所述目标数据源的数据变更情况，包括：
10.根据权利要求8所述的方法，其特征在于，所述根据所述初始数据源，确定所述目标数据源，包括：
11.一种数据同步装置，其特征在于，所述装置包括：
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求8至10中任一项所述的方法的步骤。
14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求8至10中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据同步系统，其特征在于，所述系统包括数据监听端、服务端和目标应用端，其中：
2.根据权利要求1所述的系统，其特征在于，所述服务端还用于：
3.根据权利要求1所述的系统，其特征在于，所述数据监听端集成有软件开发工具包sdk模块，所述sdk模块用于，在所述数据监听端启动时，采集所述数据监听端的配置信息，根据所述配置信息，将所述数据监听端注册至所述服务端，并与所述服务端建立心跳机制维护连接，其中，所述sdk模块中包含数据监听端配置约束信息、所述数据监听端与所述服务端交互方式信息、以及应用采集信息，所述配置信息中包含所述数据监听端的标识信息、以及所述数据监听端对应的数据适配模板。
4.根据权利要求3所述的系统，其特征在于，所述sdk模块还用于，响应于数据查询操作，基于所述数据监听端的标识信息、所述目标数据源地址以及所述目标信息采集路径，生成所述第一数据查询请求，并将所述第一数据查询请求发送至所述服务端。
5.根据权利要求1所述的系统，其特征在于，所述服务端还用于，获取所述数据监听端对应的数据适配模板，根据所述数据适配模板，对所述初始数据源进行模板映射，得到所述...
【专利技术属性】
技术研发人员：朱毅文，张丹枫，王立林，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。