数据同步方法、装置、设备及计算机可读存储介质制造方法及图纸

本公开涉及一种数据同步方法、装置、设备及计算机可读存储介质，该方法包括：从源端服务器接收记录信息，所述记录信息包括源端数据库中存储的数据的变化信息；若发生网络传输中断，则在网络恢复正常时，向所述源端服务器发送中断之前所述目的端服务器接收到的最后一个记录信息的标识；从所述源端服务器接收所述最后一个记录信息之后的其他记录信息。本公开通过根据中断之前目的端服务器接收到的最后一个记录信息的标识对数据传输中断点进行准确定位，进一步获取中断点之后的记录信息，而无需重新发送所有记录信息就能够继续进行数据同步，从而避免了资源浪费，提高了数据同步的效率与灵活性。的效率与灵活性。的效率与灵活性。

【技术实现步骤摘要】
数据同步方法、装置、设备及计算机可读存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据同步方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]随着数据库技术的不断发展，数据的实时同步也逐渐被重视起来。通常情况下，数据同步工具可以将源端数据库中数据的变化信息发送给目标端数据库，从而使得目标端数据库可以根据该变化信息对该目标端数据库中存储的数据进行同步更新，从而保证源端数据库中存储的数据和目标端数据库中存储的数据一致。
[0003]但是，如果该变化信息在传输过程中发生了网络中断，将导致目标端数据库无法对本地存储的数据进行同步更新。
[0004]现有技术中，在网络恢复正常后，数据同步工具将全部的变化信息重新进行发送，这种方法重复发送了已经同步过的数据，造成了资源浪费，同步效率较低。

技术实现思路

[0005]为了解决上述技术问题，本公开提供了一种数据同步方法、装置、设备及计算机可读存储介质，以提高了数据同步的效率与灵活性。
[0006]第一方面，本公开实施例提供一种数据同步方法，应用于目的端服务器，该方法包括：
[0007]从源端服务器接收记录信息，所述记录信息包括源端数据库中存储的数据的变化信息；
[0008]若发生网络传输中断，则在网络恢复正常时，向所述源端服务器发送中断之前所述目的端服务器接收到的最后一个记录信息的标识；
[0009]从所述源端服务器接收所述最后一个记录信息之后的其他记录信息。
[0010]第二方面，本公开实施例提供一种数据同步方法，应用于源端服务器，该方法包括：
[0011]向目的端服务器发送记录信息，所述记录信息包括源端数据库中存储的数据的变化信息；
[0012]若发生网络传输中断，则在网络恢复正常时，从所述目的端服务器接收中断之前所述目的端服务器接收到的最后一个记录信息的标识；
[0013]向所述目的端服务器发送所述最后一个记录信息之后的其他记录信息。
[0014]第三方面，本公开实施例提供一种数据同步装置，该装置位于目的端服务器，所述装置包括：
[0015]第一接收模块，用于从源端服务器接收记录信息，所述记录信息包括源端数据库中存储的数据的变化信息；
[0016]第一发送模块，用于若发生网络传输中断，则在网络恢复正常时，向所述源端服务
器发送中断之前所述目的端服务器接收到的最后一个记录信息的标识；
[0017]第二接收模块，用于从所述源端服务器接收所述最后一个记录信息之后的其他记录信息。
[0018]第四方面，本公开实施例提供一种数据同步装置，该装置位于源端服务器，所述装置包括：
[0019]第二发送模块，用于向目的端服务器发送记录信息，所述记录信息包括源端数据库中存储的数据的变化信息；
[0020]第三接收模块，用于若发生网络传输中断，则在网络恢复正常时，从所述目的端服务器接收中断之前所述目的端服务器接收到的最后一个记录信息的标识；
[0021]第三发送模块，用于向所述目的端服务器发送所述最后一个记录信息之后的其他记录信息。
[0022]第五方面，本公开实施例提供一种服务器，包括：
[0023]存储器；
[0024]处理器；以及
[0025]计算机程序；
[0026]其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面或第二方面所述的方法。
[0027]第六方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面或第二方面所述的方法。
[0028]第七方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的数据同步方法。
[0029]本公开实施例提供的数据同步方法、装置、设备及计算机可读存储介质，通过根据中断之前目的端服务器接收到的最后一个记录信息的标识对数据传输中断点进行准确定位，进一步获取中断点之后的记录信息，而无需重新发送所有记录信息就能够继续进行数据同步，从而避免了资源浪费，提高了数据同步的效率与灵活性。
附图说明
[0030]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0031]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本公开实施例提供的数据同步方法流程图；
[0033]图2为本公开实施例提供的一种应用场景的示意图；
[0034]图3为本公开实施例提供的数据同步方法流程图；
[0035]图4为本公开实施例提供的数据同步装置的结构示意图；
[0036]图5为本公开实施例提供的数据同步装置的结构示意图；
[0037]图6为本公开实施例提供的服务器的结构示意图。
具体实施方式
[0038]为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
[0039]在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
[0040]一般情况下，利用数据同步工具在数据库之间进行数据实时同步分为三个阶段，第一阶段是进行初始化装载，将源数据库的存量数据装载到目标数据库中，得到数据同步的基础点；第二阶段是以数据同步的基础点为基准进行增量数据的同步，通过分析源数据库的日志获取数据的增删改数据变化，将这些变化经过数据格式的转换以及通过私有协议进行传输，最终使得目标端数据库可以执行相应的语句，从而完成增量数据的同步；第三阶段是定期对源数据库的数据以及目标数据库的数据进行比对校验，以确认在数据同步的过程中没有丢失数据。其中第二阶段与第三阶段会处于长时间并行状态，一旦传输过程中网络中断，就无法对目标端数据库进行数据同步。针对该问题，本公开实施例提供了一种数据同步方法，下面结合具体的实施例对该方法进行介绍。
[0041]图1为本公开实施例提供的数据同步方法流程图。该方法可以应用于图2所示的应用场景，该应用场景中包括源端数据库21、源端服务器22、目的端服务器23、目标端数据库24。可以理解的是，目标端数据库的数量可以是一个或多个，为便于表述以下实施例中均以一个目标端数据库为例，本公开实施例提供的数据同步方法还可以应用在其他场景中。
[0042]下面结合图2所示的应用场景，对图1所示的数据同步方法进行介绍，该方法包括的具体步骤如下：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于目的端服务器，所述方法包括：从源端服务器接收记录信息，所述记录信息包括源端数据库中存储的数据的变化信息；若发生网络传输中断，则在网络恢复正常时，向所述源端服务器发送中断之前所述目的端服务器接收到的最后一个记录信息的标识；从所述源端服务器接收所述最后一个记录信息之后的其他记录信息。2.根据权利要求1所述的方法，其特征在于，从源端服务器接收记录信息之后，所述方法还包括：将所述记录信息存储在第一记录文件中；将所述第一记录文件中的记录信息依次发送给目标端数据库，以使所述目标端数据库根据所述记录信息对所述目标端数据库中存储的数据进行同步更新。3.根据权利要求1或2所述的方法，其特征在于，所述目的端服务器和所述目标端数据库通信连接，或者所述目的端服务器包括所述目标端数据库；所述源端服务器与所述源端数据库通信连接，或者所述源端服务器包括所述源端数据库。4.一种数据同步方法，其特征在于，应用于源端服务器，所述方法包括：向目的端服务器发送记录信息，所述记录信息包括源端数据库中存储的数据的变化信息；若发生网络传输中断，则在网络恢复正常时，从所述目的端服务器接收中断之前所述目的端服务器接收到的最后一个记录信息的标识；向所述目的端服务器发送所述最后一个记录信息之后的其他记录信息。5.根据权利要求4所述的方法，其特征在于，向目的端服务器发送记录信息之前，所述方法还包括：根据所述源端数据库中的日志信息，生成所述记录信息；将所述记录信息存储在第二记录文件中；相应的，向目的端服务器发送记录信息，包括：将所述第二记录文件中的记录信息依次发送给所述目的端服务器。6.根据权利要求5所述的方法，其特征在于，向所述目的端服务器发送所述最后一个记录信息之后的其他记录信息之前，所述方法还包...

【专利技术属性】
技术研发人员：王凯龙，
申请(专利权)人：北京人大金仓信息技术股份有限公司，
类型：发明
国别省市：