数据同步的方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种数据同步的方法、装置、电子设备及可读存储介质，属于数据库领域，用以解决异构数据库之间不能进行实时稳定的数据同步的问题。所述方法包括：获取源数据库在单位时间内产生的增量数据；解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。操作类型将所述增量数据同步至目标数据库。操作类型将所述增量数据同步至目标数据库。

【技术实现步骤摘要】
数据同步的方法、装置、电子设备及可读存储介质


[0001]本申请属于数据库领域，具体涉及一种数据同步的方法、装置、电子设备及可读存储介质。

技术介绍

[0002]目前的数据同步技术，主要是通过在源端数据库和目标端数据库上分别搭建定制化开发的数据同步工具来实现的，通过定时任务来定期对源端数据库的数据进行抽取，再写入目标端数据库。且数据同步工具一般通过数据操纵语言(Data Manipulation Language,DML)来实现数据的抽取和写入，对源端数据库和目标端数据库的数据格式要求较高。
[0003]但数据同步工具如果在预设时间间隔内无法完成一次增量数据的同步，则需要拉长时间间隔，导致数据同步频率降低。且数据同步工具需要定制化开发，当源端数据库包括多种异构数据库时，还存在与目标端数据库之间字段类型不匹配、数据类型和特性不同的问题。所以如何满足异构数据库之间实时稳定的数据同步，目前还没有合适的解决方法。

技术实现思路

[0004]本申请实施例提供一种数据同步的方法、装置及电子设备，能够解决异构数据库之间不能进行实时稳定的数据同步的问题。
[0005]第一方面，本申请实施例提供了一种数据同步的方法，该方法包括：获取源数据库在单位时间内产生的增量数据；解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。
[0006]第二方面，本申请实施例提供了一种数据同步的装置，该装置包括：获取模块，用于获取源数据库在单位时间内产生的增量数据；解析模块，用于解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；同步模块，用于根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。
[0007]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0008]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0009]在本申请实施例中，通过获取源数据库在单位时间内产生的增量数据；解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库，能够解决异构数据库之间不能进行实时稳定的数据同步的问题。
附图说明
[0010]图1是本申请实施例提供的一种数据同步的方法的流程示意图；
[0011]图2是根据本申请的一个实施例的数据同步的装置的结构示意图；
[0012]图3是根据本申请的另一个实施例的电子设备的结构示意图。
具体实施方式
[0013]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0014]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0015]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的数据同步的方法、装置、电子设备及可读存储介质进行详细地说明。
[0016]图1示出本专利技术的一个实施例提供的一种数据同步的方法，该方法可以由电子设备执行，包括如下步骤：
[0017]S102：获取源数据库在单位时间内产生的增量数据。
[0018]具体单位时间的长度可以根据平台对数据实时性的要求来确定，例如可以预设单位时间为10分钟，根据源数据库的类型和权限，采取对应的增量数据采集策略，监听源数据库在10分钟内产生的数据，定时生成增量数据。在企业数据同步平台中，可能包含可以直接访问的内部数据源，也可能包含不能直接访问的外部数据源例如客户端或者子平台等，而且源数据库与待同步数据的目标数据库也可能是异构数据库，分别具有自己的管理机制和数据结构，所以在实际应用中，可根据源数据库的类型和访问权限，预先配置不同的增量数据采集策略。
[0019]S104：解析增量数据，以获取增量数据的元数据信息和操作类型。
[0020]通过预设的数据同步程序，实时解析获取到的增量数据，获取增量数据中中包含的元数据信息和操作类型。元数据信息包含数据库名称、数据表名称、列名称及其数据类型，操作类型包括对相应数据表的增、删、改操作。
[0021]S106：根据增量数据的元数据信息，按照操作类型将增量数据同步至目标数据库。
[0022]根据增量数据中包含的元数据信息，对目标数据库中的相应数据表执行增、删、改操作，将数据存储至目标数据库。
[0023]本专利技术实施例提供的一种数据同步的方法，通过获取源数据库在单位时间内产生的增量数据；解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库，能够解决异构数据库之间不能进行实时稳定的数据同步的问题，实现在源数据库类型多种多样的复
杂情况下，进行实时数据同步的效果。
[0024]在一种实现方式中，所述获取源数据库在单位时间内产生的增量数据，包括：在获取了所述源数据库的数据库访问权限的情况下，通过增量文件生成工具监听所述源数据库，以获取所述源数据库在单位时间内产生的增量数据。
[0025]具体的，源数据库属于内部数据源时，可以直接进行访问，此时可以通过配置增量文件生成工具，来监听源数据库，并每隔单位时间对获取到的数据进行数据处理，以获得源数据库在单位时间内产生的增量数据。
[0026]例如，增量文件生成工具IIE，每隔10分钟将其增量数据目录下的数据文件，打包成压缩文件，比如tar包。tar包的命名规则按照”业务编号.校验码.时间戳”的形式命名，中间用英文句号”.”分开，例如：
[0027]salesdbtb.123432.20190501020.tar
[0028]其中，校验码为tar包的值，用于校验文件的完整性。
[0029]tar包中的具体数据文件，需提供表名信息，按照“业务编号.数据表表名。操作类型.时间戳”的格式进行打包，例如：
[0030]salesdbtb.sauuser.insert.201905010本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步的方法，其特征在于，包括：获取源数据库在单位时间内产生的增量数据；解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。2.根据权利要求1所述的方法，其特征在于，所述获取源数据库在单位时间内产生的增量数据，包括：在获取了所述源数据库的数据库访问权限的情况下，通过增量文件生成工具监听所述源数据库，以获取所述源数据库在单位时间内产生的增量数据。3.根据权利要求1所述的方法，其特征在于，所述获取源数据库在单位时间内产生的增量数据，包括：在未能获取所述源数据库的数据库访问权限的情况下，通过软件服务接口采集单位时间内所述源数据库推送的增量数据。4.根据权利要求1所述的方法，其特征在于，在所述解析所述增量数据，以获取所述增量数据的元数据信息和操作类型之前，所述方法还包括：根据预设数据格式对所述增量数据进行处理，得到目标增量消息，其中，所述目标增量消息中包含所述增量数据的元数据信息和操作类型；将所述目标增量消息导入分布式消息中间件的消息队列中；所述解析所述增量数据，以获取所述增量数据的元数据信息和操作类型，包括：从所述消息队列中解析所述目标增量消息，以获取所述增量数据的元数据信息和操作类型。5.根据权利要求4所述的方法，其特征在于，所述将所述目标增量消息导入分布式消息中间...

【专利技术属性】
技术研发人员：林晓穗，黎晋廷，李子旺，
申请(专利权)人：中国人民财产保险股份有限公司，
类型：发明
国别省市：