数据传输方法、系统以及电子设备技术方案

本申请提供了一种数据传输方法、系统以及电子设备，涉及数据处理技术领域，缓解了目标系统的数据完整性较低的技术问题。该方法包括：源系统的数据发送系统监测到源系统发生数据变化事件时，若根据数据变化事件对应的指定源数据同步条件，确定源数据需要同步，则获取源数据的参数信息，基于参数信息生成待同步数据包，将待同步数据包发送至数据分发系统；数据分发系统基于待同步数据包中的参数信息重新生成数据分发系统的数据包时间戳以及数据包唯一事务标识，基于数据包时间戳以及数据包唯一事务标识生成中间数据包，向数据转换传输系统发送中间数据包；数据转换传输系统基于中间数据包进行字段映射，根据字段映射结果向目标应用系统提交数据。标应用系统提交数据。标应用系统提交数据。

【技术实现步骤摘要】
数据传输方法、系统以及电子设备


[0001]本申请涉及数据处理
，尤其是涉及一种数据传输方法、系统以及电子设备。

技术介绍

[0002]目前，对于并发处理引起的数据修改等数据发生变化的情况，其并发发生在很短的时间。而并发修改数据发送时，由于后续处理节点的发送模块、接收模块的任务调度机制，可能导致目标系统将源系统后发生的数据修改先执行，先发生的数据修改后执行，导致目标系统的数据完整性异常，使目标系统的数据完整性较低。

技术实现思路

[0003]本专利技术的目的在于提供一种数据传输方法、系统以及电子设备，以缓解目标系统的数据完整性较低的技术问题。
[0004]第一方面，本申请实施例提供了一种数据传输方法，包括：
[0005]源系统的数据发送系统监测到所述源系统发生数据变化事件时，若根据所述数据变化事件对应的指定源数据同步条件，确定所述源数据需要同步，则获取所述源数据的参数信息，基于所述参数信息生成待同步数据包，并将所述待同步数据包发送至数据分发系统；其中，所述参数信息包含所述数据变化事件的数据变动时间戳以及所述源数据的唯一编码标识；
[0006]所述数据分发系统基于所述待同步数据包中的所述参数信息重新生成所述数据分发系统的数据包时间戳以及数据包唯一事务标识，并基于所述数据包时间戳以及所述数据包唯一事务标识生成中间数据包，向数据转换传输系统发送所述中间数据包；其中，所述数据包时间戳和所述数据包唯一事务标识用于控制所述数据分发系统的分发数据权限；
[0007]所述数据转换传输系统基于所述中间数据包进行字段映射，并根据字段映射结果向目标应用系统提交数据。
[0008]在一个可能的实现中，在所述数据发送系统将所述待同步数据包发送至数据分发系统之后，还包括：
[0009]所述数据分发系统在接收到所述待同步数据包后向所述数据发送系统发送第一成功反馈信息；所述数据发送系统根据所述第一成功反馈信息将本地的所述待同步数据包删除并记录同步日志；或，
[0010]所述数据发送系统接收第一失败反馈信息，并根据所述第一失败反馈信息更新本地的所述待同步数据包的时间戳，以启用延时同步机制。
[0011]在一个可能的实现中，在所述数据分发系统向数据转换传输系统发送所述中间数据包之后，还包括：
[0012]所述数据转换传输系统在接收到所述中间数据包后向所述数据分发系统发送第二成功反馈信息；所述数据分发系统根据所述第二成功反馈信息将本地的所述中间数据包
删除并记录同步日志；或，
[0013]所述数据分发系统接收第二失败反馈信息，并根据所述第二失败反馈信息更新本地的所述中间数据包的时间戳，以启用延时分发机制。
[0014]在一个可能的实现中，所述数据发送系统包括数据同步配置规则模块；所述数据发送系统监测到所述源系统发生数据变化事件时，还包括：
[0015]通过所述数据同步配置规则模块确定所述数据变化事件对应的数据同步规则的配置参数；
[0016]其中，所述配置参数包括下述任意一项或多项：所述源数据的类型、所述源数据的对应实体数据库表、所述源数据的唯一编码标识、所述源数据同步条件、所述源数据的数据变动类型以及所述源数据的事务控制类型。
[0017]在一个可能的实现中，所述参数信息还包括：所述源数据的类型、所述源数据的数据变动类型、所述源数据的对应实体数据库表、所述源数据的事务控制类型以及所述源数据同步条件；所述基于所述参数信息生成待同步数据包，包括：
[0018]将所述源数据的类型和所述唯一编码标识解析至所述实体数据库表中的唯一标识字段，得到待传输实体数据库表；
[0019]组合所述待传输实体数据库表并组合所述参数信息，通过所述唯一标识字段转换数据获取条件，基于所述数据获取条件和组合结果生成数据打包命令；
[0020]根据所述事务控制类型判断并生成所述源系统唯一的事务控制ID标识，对于所述源系统的所述数据变化事件，利用最新的数据内容和所述数据变动类型进行事务级别的排序，对所述数据变化事件的多次操作按照所述事务控制ID标识的顺序进行同步，得到同步结果；其中，所述数据变化事件包含数据产生、修改和删除；
[0021]基于所述数据打包命令和所述同步结果生成待同步数据包，对于所述待同步数据包的同一条数据存在的多次并发修改，按照所述事务控制ID标识和所述数据变动时间戳进行排序，并记录所述待同步数据包的日志。
[0022]在一个可能的实现中，在所述数据分发系统向数据转换传输系统发送所述中间数据包之前，还包括：
[0023]所述数据分发系统通过配置的数据分发规则定义待分发系统，并通过划分配置每个所述待分发系统的分发参数，针对每个所述待分发系统基于所述分发参数异步通知所述中间数据包的数据分发；
[0024]其中，所述分发参数包括下述任意一项或多项：
[0025]所述待分发系统需要的数据类型、同步数据权限规则、数据变动类型、事务控制类型、同步数据模型以及唯一编码标识字段。
[0026]在一个可能的实现中，所述数据转换传输系统基于所述中间数据包进行字段映射，并根据字段映射结果向目标应用系统提交数据，包括：
[0027]所述数据转换传输系统通过配置应用系统的连接参数，配置不同方式中的字段名称，并根据接收到的所述中间数据包按照所述连接参数、协议方式、函数及参数配置对所述字段名称进行字段映射，得到字段映射结果，根据所述字段映射结果向目标应用系统提交数据。
[0028]第二方面，提供了一种数据传输系统，包括：
[0029]源系统的数据发送系统，用于监测到所述源系统发生数据变化事件时，若根据所述数据变化事件对应的指定源数据同步条件，确定所述源数据需要同步，则获取所述源数据的参数信息，基于所述参数信息生成待同步数据包，并将所述待同步数据包发送至数据分发系统；其中，所述参数信息包含所述数据变化事件的数据变动时间戳以及所述源数据的唯一编码标识；
[0030]所述数据分发系统，用于基于所述待同步数据包中的所述参数信息重新生成所述数据分发系统的数据包时间戳以及数据包唯一事务标识，并基于所述数据包时间戳以及所述数据包唯一事务标识生成中间数据包，向数据转换传输系统发送所述中间数据包；其中，所述数据包时间戳和所述数据包唯一事务标识用于控制所述数据分发系统的分发数据权限；
[0031]所述数据转换传输系统，用于基于所述中间数据包进行字段映射，并根据字段映射结果向目标应用系统提交数据。
[0032]第三方面，本申请实施例又提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的第一方面所述的数据传输方法的步骤。
[0033]第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：源系统的数据发送系统监测到所述源系统发生数据变化事件时，若根据所述数据变化事件对应的指定源数据同步条件，确定所述源数据需要同步，则获取所述源数据的参数信息，基于所述参数信息生成待同步数据包，并将所述待同步数据包发送至数据分发系统；其中，所述参数信息包含所述数据变化事件的数据变动时间戳以及所述源数据的唯一编码标识；所述数据分发系统基于所述待同步数据包中的所述参数信息重新生成所述数据分发系统的数据包时间戳以及数据包唯一事务标识，并基于所述数据包时间戳以及所述数据包唯一事务标识生成中间数据包，向数据转换传输系统发送所述中间数据包；其中，所述数据包时间戳和所述数据包唯一事务标识用于控制所述数据分发系统的分发数据权限；所述数据转换传输系统基于所述中间数据包进行字段映射，并根据字段映射结果向目标应用系统提交数据。2.根据权利要求1所述的方法，其特征在于，在所述数据发送系统将所述待同步数据包发送至数据分发系统之后，还包括：所述数据分发系统在接收到所述待同步数据包后向所述数据发送系统发送第一成功反馈信息；所述数据发送系统根据所述第一成功反馈信息将本地的所述待同步数据包删除并记录同步日志；或，所述数据发送系统接收第一失败反馈信息，并根据所述第一失败反馈信息更新本地的所述待同步数据包的时间戳，以启用延时同步机制。3.根据权利要求1所述的方法，其特征在于，在所述数据分发系统向数据转换传输系统发送所述中间数据包之后，还包括：所述数据转换传输系统在接收到所述中间数据包后向所述数据分发系统发送第二成功反馈信息；所述数据分发系统根据所述第二成功反馈信息将本地的所述中间数据包删除并记录同步日志；或，所述数据分发系统接收第二失败反馈信息，并根据所述第二失败反馈信息更新本地的所述中间数据包的时间戳，以启用延时分发机制。4.根据权利要求1所述的方法，其特征在于，所述数据发送系统包括数据同步配置规则模块；所述数据发送系统监测到所述源系统发生数据变化事件时，还包括：通过所述数据同步配置规则模块确定所述数据变化事件对应的数据同步规则的配置参数；其中，所述配置参数包括下述任意一项或多项：所述源数据的类型、所述源数据的对应实体数据库表、所述源数据的唯一编码标识、所述源数据同步条件、所述源数据的数据变动类型以及所述源数据的事务控制类型。5.根据权利要求1所述的方法，其特征在于，所述参数信息还包括：所述源数据的类型、所述源数据的数据变动类型、所述源数据的对应实体数据库表、所述源数据的事务控制类型以及所述源数据同步条件；所述基于所述参数信息生成待同步数据包，包括：将所述源数据的类型和所述唯一编码标识解析至所述实体数据库表中的唯一标识字段，得到待传输实体数据库表；组合所述待传输实体数据库表并组合所述参数信息，通过所述唯一标识字段转换数据
获取条件，基于所述数据获取条件和组合结果生成数据打包命令；根据所述事务控制类型...

【专利技术属性】
技术研发人员：王变宏，吕斌，包洪庭，胡少慧，周立明，
申请(专利权)人：内蒙古伊泰信息技术有限公司，
类型：发明
国别省市：