异构系统数据同步方法和电子设备技术方案

本申请适用于数据处理技术领域，提供了异构系统数据同步方法和电子设备。上述异构系统数据同步方法包括：接收第一JSON消息，第一JSON消息为第一系统的Cannal按照预设数据结构对Binlog数据转化得到的，Binlog数据表征第一系统的Binlog的变化数据；对第一JSON消息进行裁剪或补充，生成第一目标数据，第一目标数据的数据格式满足第二系统的接口调用规范；向第二系统发送第一目标数据，以使得第二系统将第一目标数据存储到数据库中。上述方法通过设置同步系统来实现两个系统之间业务逻辑的转换，使得两个系统只需要完成自己的业务逻辑，而无需关心需要同步的对应系统的业务逻辑。而无需关心需要同步的对应系统的业务逻辑。而无需关心需要同步的对应系统的业务逻辑。

【技术实现步骤摘要】
异构系统数据同步方法和电子设备


[0001]本公开涉及数据处理
，尤其涉及一种异构系统数据同步方法和电子设备。

技术介绍

[0002]在企业信息化建设的过程中，由于业务范围的扩大与产品功能的延伸，不同时期的建设内容，经常会使用到不同的技术框架，不同的信息系统。在技术不断更新，业务不断扩展的背景下，对于企业数据进行统一管理已经成为提高企业竞争力、探索业务增长点、促进企业内部各个部门间打破壁垒横向联合，各个产品线相互联动，进一步扩展业务边界开拓市场打造拳头产品迫在眉睫的工作。然而，在对各个系统的数据进行统一管理的时候，由于各种客观原因，不能下线老系统，直接上线新系统，需要老系统和新系统并行运行，并且对于老系统并不能进行改造，也就是对老系统不能有任何侵入操作，同时还需要完成老系统的数据实时向新系统同步，新系统的数据实时向老系统同步。

技术实现思路

[0003]有鉴于此，本公开提出了一种异构系统数据同步方法和电子设备，使得数据同步的两个系统只需要完成自己的业务逻辑，而无需关心需要同步的对应系统的业务逻辑。
[0004]第一方面，本申请实施例提供了一种异构系统数据同步方法，应用于同步系统，所述方法包括：接收第一JSON消息，所述第一JSON消息为第一系统的Cannal按照预设数据结构对Binlog数据转化得到的，所述Binlog数据表征所述第一系统的Binlog的变化数据；对所述第一JSON消息进行裁剪或补充，生成第一目标数据，所述第一目标数据的数据格式满足第二系统的接口调用规范；向所述第二系统发送所述第一目标数据，以使得所述第二系统将所述第一目标数据存储到数据库中。
[0005]上述异构系统数据同步方法，在第一系统的Binlog数据发生变化时，Cannal按照预设数据结构对Binlog数据转化得到第一JSON消息。之后，对第一JSON消息进行裁剪或补充，生成数据格式满足第二系统的接口调用规范的第一目标数据，向第二系统发送第一目标数据，以使得第二系统将第一目标数据存储到数据库中。本申请实施例通过设置同步系统来实现两个系统之间业务逻辑的转换，使得两个系统只需要完成自己的业务逻辑，而无需关心需要同步的对应系统的业务逻辑。
[0006]第二方面，本申请实施例提供了一种异构系统数据同步方法，应用于第一系统，所述方法包括：所述第一系统的Cannal监控到所述第一系统的Binlog发生变化时，向所述第一系统的数据库请求Binlog数据；在确定需要将所述Binlog数据同步到第二系统时，Cannal按照预设数据结构将所述Binlog数据转化为第一JSON消息；向同步系统发送所述第一JSON消息，以使得所述同步系统对所述第一JSON消息进行裁剪或补充生成第一目标数据，所述第一目标数据的数据格式满足第二系统的接口调用规范。
[0007]上述异构系统数据同步方法，在第一系统的Binlog数据发生变化时，Cannal按照
预设数据结构对Binlog数据转化得到第一JSON消息。之后，对第一JSON消息进行裁剪或补充，生成数据格式满足第二系统的接口调用规范的第一目标数据，向第二系统发送第一目标数据，以使得第二系统将第一目标数据存储到数据库中。本申请实施例通过设置同步系统来实现两个系统之间业务逻辑的转换，使得两个系统只需要完成自己的业务逻辑，而无需关心需要同步的对应系统的业务逻辑。
[0008]结合第二方面，在一些可能的实现方式中，所述向所述第一系统的数据库请求Binlog数据，包括：Cannal模拟数据库MySQL Slave的交互协议，向MySQL Master发送Dump协议；MySQL Master响应所述Dump协议，将Binary Log推送给Cannal；Cannal解析Binary Log得到所述Binlog数据。
[0009]结合第二方面，在一些可能的实现方式中，所述预设数据结构包含消息描述头和消息内容，所述消息描述头包含元数据和业务数据，所述元数据包含消息类型、消息名称、时间戳和发送方，所述业务数据的内容和格式基于业务需求确定。
[0010]第三方面，本申请实施例提供了一种异构系统数据同步方法，应用于同步系统，所述方法包括：接收第二JSON消息，所述第二JSON消息为对第二系统所创建的新数据进行转化得到的；对所述第二JSON消息进行裁剪或补充，生成第二目标数据，所述第二目标数据的数据格式满足第一系统的接口调用规范；向所述第一系统发送所述第二目标数据，以使得所述第一系统将所述第二目标数据存储到数据库中。
[0011]上述异构系统数据同步方法，在第二系统创建新数据时，按照预设数据结构将创建的新数据转化得到第二JSON消息。之后，对第二JSON消息进行裁剪或补充，生成数据格式满足第一系统的接口调用规范的第二目标数据，向第一系统发送第二目标数据，以使得第一系统将第二目标数据存储到数据库中。本申请实施例通过设置同步系统来实现两个系统之间业务逻辑的转换，使得两个系统只需要完成自己的业务逻辑，而无需关心需要同步的对应系统的业务逻辑。
[0012]第四方面，本申请实施例提供了一种异构系统数据同步方法，应用于第一系统，所述方法包括：所述第二系统响应数据创建请求，将新创建的数据存入数据库；按照预设数据结构，将所述新创建的数据转换为第二JSON消息；向同步系统发送所述第二JSON消息，以使得所述同步系统对所述第二JSON消息进行裁剪或补充生成第二目标数据，所述第二目标数据的数据格式满足第一系统的接口调用规范。
[0013]上述异构系统数据同步方法，在第二系统创建新数据时，按照预设数据结构将创建的新数据转化得到第二JSON消息。之后，对第二JSON消息进行裁剪或补充，生成数据格式满足第一系统的接口调用规范的第二目标数据，向第一系统发送第二目标数据，以使得第一系统将第二目标数据存储到数据库中。本申请实施例通过设置同步系统来实现两个系统之间业务逻辑的转换，使得两个系统只需要完成自己的业务逻辑，而无需关心需要同步的对应系统的业务逻辑。
[0014]结合第四方面，在一些可能的实现方式中，所述预设数据结构包含消息描述头和消息内容，所述消息描述头包含元数据和业务数据，所述元数据包含消息类型、消息名称、时间戳和发送方，所述业务数据的内容和格式基于业务需求确定。
[0015]结合第四方面，在一些可能的实现方式中，所述第二系统响应数据创建请求，将新创建的数据存入数据库，包括：检测数据库中是否已存在所述新创建的数据；若所述数据库
中不存在所述新创建的数据，则将所述新创建的数据存入数据库；若所述数据库中已存在所述新创建的数据，则不将所述新创建的数据存入数据库。
[0016]第五方面，本申请实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，上述处理器被配置为执行上述可执行指令时实现如第一方面至第四方面任一项所述的方法。
[0017]第六方面，本申请实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，上述计算机程序指令本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构系统数据同步方法，其特征在于，应用于同步系统，所述方法包括：接收第一JSON消息，所述第一JSON消息为第一系统的Cannal按照预设数据结构对Binlog数据转化得到的，所述Binlog数据表征所述第一系统的Binlog的变化数据；对所述第一JSON消息进行裁剪或补充，生成第一目标数据，所述第一目标数据的数据格式满足第二系统的接口调用规范；向所述第二系统发送所述第一目标数据，以使得所述第二系统将所述第一目标数据存储到数据库中。2.一种异构系统数据同步方法，其特征在于，应用于第一系统，所述方法包括：所述第一系统的Cannal监控到所述第一系统的Binlog发生变化时，向所述第一系统的数据库请求Binlog数据；在确定需要将所述Binlog数据同步到第二系统时，Cannal按照预设数据结构将所述Binlog数据转化为第一JSON消息；向同步系统发送所述第一JSON消息，以使得所述同步系统对所述第一JSON消息进行裁剪或补充生成第一目标数据，所述第一目标数据的数据格式满足第二系统的接口调用规范。3.根据权利要求2所述的异构系统数据同步方法，其特征在于，所述向所述第一系统的数据库请求Binlog数据，包括：Cannal模拟数据库MySQL Slave的交互协议，向MySQL Master发送Dump协议；MySQL Master响应所述Dump协议，将Binary Log推送给Cannal；Cannal解析Binary Log得到所述Binlog数据。4.根据权利要求2所述的异构系统数据同步方法，其特征在于，所述预设数据结构包含消息描述头和消息内容，所述消息描述头包含元数据和业务数据，所述元数据包含消息类型、消息名称、时间戳和发送方，所述业务数据的内容和格式基于业务需求确定。5.一种异构系统数据同步方法，其...

【专利技术属性】
技术研发人员：秦敬，廉军利，张琳洁，温宸鉴，
申请(专利权)人：中国经济信息社有限公司，
类型：发明
国别省市：