数据库的数据同步方法、装置及计算机设备制造方法及图纸

本申请涉及一种数据库的数据同步方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，可用于金融领域下数据库之间的数据同步。其中，数据同步方法包括根据源端数据库的单元信息提取源端的目标数据，并根据源端数据库和目标数据库的单元信息之间的对应关系，建立目标数据的单元映射关系，再将目标数据转换的中间文件包传输至目标端数据库，调用驱动程序在目标端数据库还原得到目标数据。本方案提供的数据同步方法可以利用异构数据库自身的单元信息，快速实现数据从源端数据库到目标端数据库的传输和还原，有效解决了异构数据库之间的数据同步问题，提高了数据同步效率。提高了数据同步效率。提高了数据同步效率。

【技术实现步骤摘要】
数据库的数据同步方法、装置及计算机设备


[0001]本公开涉及数据处理领域，尤其涉及一种数据库的数据同步方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]随着企业业务规模的不断发展，服务于企业应用的信息化系统所面临的负载压力也越来越大。信息化系统下的数据库存储模式已经完全取代了传统的纸质存储方式，为了保证数据的可用性和安全性，对于企业生产系统，需要在至少两个数据库之间实现数据同步。
[0003]目前，相关技术中的数据同步只能用于两个相同结构的数据库，对于异构数据库之间的数据同步缺乏有效的解决方案。特别是随着数据规模的增大，越来越多的数据库采用单元化架构，数据被打散到各个数据分片上，这种与集中式数据库不同的架构，更加加剧了异构数据库之间数据同步的实现难度。

技术实现思路

[0004]基于此，针对上述技术问题，提供一种数据库的数据同步方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。本公开的技术方案如下：
[0005]根据本公开实施例的一个方面，提供一种数据库的数据同步方法，包括：
[0006]分别获取源端数据库和目标端数据库的单元信息；所述源端数据库和所述目标端数据库均采用单元化架构；
[0007]根据所述源端数据库的单元信息，提取所述源端数据库中的目标数据；
[0008]根据所述源端数据库的单元信息和所述目标端数据库的单元信息，建立所述目标数据的单元映射关系；
[0009]基于预设的格式标准，将所述目标数据转换为中间文件包；
[0010]将所述中间文件包传输至所述目标端数据库；
[0011]调用所述目标端数据库的驱动程序读取所述中间文件包；所述驱动程序用于根据所述格式标准将所述中间文件包还原为所述目标数据，并根据所述单元映射关系将还原后的目标数据存储至所述目标端数据库的指定单元。
[0012]在其中一个实施例中，在根据所述源端数据库的单元信息，提取所述源端数据库中的目标数据之后，还包括：
[0013]在所述目标数据中写入埋点信息；
[0014]所述驱动程序还用于对所述还原后的目标数据中的埋点信息进行校验。
[0015]在其中一个实施例中，在将所述中间文件包传输至所述目标端数据库之后，还包括：
[0016]周期性采集所述源端数据库的增量数据；
[0017]根据所述格式标准将所述增量数据转换为新的中间文件包。
[0018]在其中一个实施例中，所述周期性采集所述源端数据库的增量数据包括：
[0019]获取上一次提取目标数据的终止位置；
[0020]从所述终止位置开始采集所述源端数据库的新增数据。
[0021]在其中一个实施例中，在将所述中间文件包传输至所述目标端数据库之前，还包括：
[0022]基于所述单元映射关系，确定所述目标端数据库中指定单元的存储容量；
[0023]在所述存储容量不足以存储所述目标数据的情况下，中止所述中间文件包的传输。
[0024]在其中一个实施例中，在根据所述源端数据库的单元信息，提取所述源端数据库中的目标数据之后，还包括：
[0025]记录提取所述目标数据时源端数据库的系统时间；
[0026]将所述系统时间写入所述中间文件包。
[0027]根据本公开实施例的另一方面，提供一种数据库的数据同步装置，包括：
[0028]单元信息获取模块，用于分别获取源端数据库和目标端数据库的单元信息；所述源端数据库和所述目标端数据库均采用单元化架构；
[0029]数据提取模块，用于根据所述源端数据库的单元信息，提取所述源端数据库中的目标数据；
[0030]单元映射模块，用于根据所述源端数据库的单元信息和所述目标端数据库的单元信息，建立所述目标数据的单元映射关系；
[0031]数据转换模块，用于基于预设的格式标准，将所述目标数据转换为中间文件包；
[0032]数据传输模块，用于将所述中间文件包传输至所述目标端数据库；
[0033]数据读取模块，用于调用所述目标端数据库的驱动程序读取所述中间文件包；所述驱动程序用于根据所述格式标准将所述中间文件包还原为所述目标数据，并根据所述单元映射关系将还原后的目标数据存储至所述目标端数据库的指定单元。
[0034]根据本公开实施例的另一方面，还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0035]根据本公开实施例的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0036]根据本公开实施例的另一方面，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0037]本公开实施例提供的技术方案中，可以根据源端数据库的单元信息提取源端的目标数据，并根据源端数据库和目标数据库的单元信息之间的对应关系，建立目标数据的单元映射关系，再将目标数据转换的中间文件包传输至目标端数据库，调用驱动程序在目标端数据库还原得到目标数据。本方案提供的数据同步方法可以利用异构数据库自身的单元信息，快速实现数据从源端数据库到目标端数据库的传输和还原，有效解决了异构数据库之间的数据同步问题，提高了数据同步效率。
[0038]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0039]为了更清楚地说明本说明书实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是一个实施例中一种数据库的数据同步方法的流程示意图；
[0041]图2是另一个实施例中一种数据库的数据同步方法的流程示意图；
[0042]图3是一个实施例中一种增量数据的数据同步方法的流程示意图；
[0043]图4是一个实施例中一种增量数据的采集方法的流程示意图；
[0044]图5是另一个实施例中一种数据库的数据同步方法的流程示意图；
[0045]图6是另一个实施例中一种数据库的数据同步方法的流程示意图；
[0046]图7是一个实施例中一种数据库的数据同步装置的结构示意图；
[0047]图8是一个实施例中一种计算机设备的内部结构示意图。
具体实施方式
[0048]为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
[0049]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库的数据同步方法，其特征在于，包括：分别获取源端数据库和目标端数据库的单元信息；所述源端数据库和所述目标端数据库均采用单元化架构；根据所述源端数据库的单元信息，提取所述源端数据库中的目标数据；根据所述源端数据库的单元信息和所述目标端数据库的单元信息，建立所述目标数据的单元映射关系；基于预设的格式标准，将所述目标数据转换为中间文件包；将所述中间文件包传输至所述目标端数据库；调用所述目标端数据库的驱动程序读取所述中间文件包；所述驱动程序用于根据所述格式标准将所述中间文件包还原为所述目标数据，并根据所述单元映射关系将还原后的目标数据存储至所述目标端数据库的指定单元。2.根据权利要求1所述的方法，其特征在于，在根据所述源端数据库的单元信息，提取所述源端数据库中的目标数据之后，还包括：在所述目标数据中写入埋点信息；所述驱动程序还用于对所述还原后的目标数据中的埋点信息进行校验。3.根据权利要求1所述的方法，其特征在于，在将所述中间文件包传输至所述目标端数据库之后，还包括：周期性采集所述源端数据库的增量数据；根据所述格式标准将所述增量数据转换为新的中间文件包。4.根据权利要求3所述的方法，其特征在于，所述周期性采集所述源端数据库的增量数据包括：获取上一次提取目标数据的终止位置；从所述终止位置开始采集所述源端数据库的新增数据。5.根据权利要求1所述的方法，其特征在于，在将所述中间文件包传输至所述目标端数据库之前，还包括：基于所述单元映射关系，确定所述目标端数据库中指定单元的存储容量；在所述存储容量不足以存储所述目标数据的情况下，中...

【专利技术属性】
技术研发人员：屈贯伟，唐锆，王聪，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：