数据库同步过程中的数据比对校验方法、系统及存储介质技术方案

本发明专利技术提供一种数据库同步过程中的数据比对校验方法、系统及存储介质，属于数据校验技术领域。所述方法包括：比对源端数据库和目标端数据库中全量数据的CRC校验码进行校验；若校验结果不一致，则对目标端数据库的差异数据集合进行差量数据补充；将源端数据库的差异数据集合与进行差量数据补充后的目标端数据库的差异数据集合进行比对。本方法采用差量数据补全的方式进行比对，大大缩短了整个数据比对校验流程，提高了数据校验效率。提高了数据校验效率。提高了数据校验效率。

【技术实现步骤摘要】
数据库同步过程中的数据比对校验方法、系统及存储介质


[0001]本专利技术涉及数据校验
，具体地涉及一种数据库同步过程中的数据比对校验方法、一种数据库同步过程中的数据比对校验系统以及一种计算机可读存储介质。

技术介绍

[0002]在数据同步过程中，涉及多种数据比对校验的方式，按照数据库类型划分可分为同构数据比对、异构数据比对；按照数据变化成都划分可分为静态比对、动态比对。
[0003]目前比较常用的比对方法有快照比对法、日志比对法、控制表比对法、时间戳比对法等。
[0004](1)快照比对法的原理是在某一时刻对两侧数据库进行一次快照，生成两个描述两个数据库瞬时状态的静态文件，然后对两个快照进行比对校验。
[0005](2)日志比对法的原理是通过分析数据库日志来获取数据变化信息，通过比对两侧数据库日志变化信息来校验数据一致性。
[0006](3)控制表比对法的原理是为源端数据库的表创建控制表，记录表的主键信息和控制信息(如更新时间、更新类型等)，当源表某条记录发生变化时，对控制表中的主键信息和时间信息进行添加或修改，最后查询两端数据库对应的变更内容，实现数据比对校验。
[0007](4)时间戳比对法的前提是源端数据库的每张表都有时间戳字段，来记录每张表的修改时间，然后根据不同时间段和时间点获取的数据进行比对校验。
[0008]上述的数据比对校验方法都存在这不同的缺陷，例如：
[0009]快照比对法，需要对两侧数据块进行完整拷贝，才能进行静态文件的比对，这就要求两侧数据库的类型、版本、数据结构保持一致，无法实现对异构数据的比对，应用场景较窄。
[0010]日志比对法，不同数据库类型、同种数据库不同版本的操作日志的内容是不相同的，日志比对法不适用于异构数据库之间的比对与校验。
[0011]控制表比对法，控制表需要记录收集两侧数据库所有变更操作，会占用大量的存储空间，此外，比对程序会根据收到的记录表中的变更信息，去两侧数据库逐条查询数据，对两侧数据库的性能影响很大。
[0012]时间戳比对法，通过获取多个时间点和时间段的全量数据和增量数据才能完成一次数据比对校验，效率低。同时对两侧数据库性能影响大，不适于对重要生产系统的比对校验。

技术实现思路

[0013]本专利技术实施方式的目的是提供一种数据库同步过程中的数据比对校验方法、一种数据库同步过程中的数据比对校验系统以及一种计算机可读存储介质，以至少解决在异构数据库和不通数据库版本之间的数据比过程中的效率问题、以及异构数据库之间的全量数据和增量数据的快速比对校验问题、异构数据库和不同数据库版本之间的数据比对校验资
源消耗过多的问题。
[0014]为了实现上述目的，本专利技术第一方面提供一种在数据库同步过程中的数据比对校验方法，包括：
[0015]比对源端数据库和目标端数据库中全量数据的CRC校验码进行校验；
[0016]若校验结果不一致，则对目标端数据库的差异数据集合进行差量数据补充；
[0017]将源端数据库的差异数据集合与进行差量数据补充后的目标端数据库的差异数据集合进行比对。
[0018]本方法基于CRC校验码进行校验比对，扩大了数据比对校验范围，对于不一致的数据，采用差量补充的方式来进行增量数据比对，缩短了数据比对校验的流程。
[0019]可选的，还包括：
[0020]获取源端数据库的全量数据CRC校验码；
[0021]获取发送端数据库的全量数据CRC校验码。
[0022]可选的，利用在同步过程中产生的差量数据交易集合实现对所述目标端数据库的差异数据集合的差量数据补充。
[0023]差量数据交易集合即在同步过程中未完成传输的数据构成的集合，利用该差量数据交易集合进行差量数据补充，能够完整补充目标端数据库因传输时间差产生的差量数据。
[0024]可选的，还包括：获取所述差量数据交易集合，所述差量数据交易集合获取过程包括：
[0025]获取同步过程中源端数据库全量数据的最后一个交易序号以及目标端数据库全量数据的最后一个交易序号；
[0026]获取两个序号之间的所有交易数据，构成差量数据交易集合。
[0027]两个交易序号表示同步传输的时间点，获取这两个交易序号之间的数据，则能获得未传输的差量数据。
[0028]可选的，所述对目标端数据库的差异数据集合进行差量数据补充，包括：
[0029]将目标端数据库的差异数据集合传输至验证服务器，在所述验证服务器上，利用所述差量数据交易集合对所述目标端数据库的差异数据集合进行差量数据补充。
[0030]将差量数据补充这一步骤转移至验证服务器中进行，可以减少对系统同步环境的影响。
[0031]可选的，在校验结果不一致后，还包括：
[0032]根据校验结果，获取源端数据库在同步过程中的不一致数据，构成源端数据库的差异数据集合；
[0033]根据校验结果，获取目标端数据库在同步过程中的不一致数据，构成目标端的差异数据集合。
[0034]可选的，若源端数据库的差异数据集合与进行差量数据补充后的目标端数据库的差异集合比对结果不一致，则根据源端数据库的差异数据集合对目标端数据库的差异数据集合进行数据修复。
[0035]本专利技术第二方面提供一种数据库同步过程中的数据比对校验系统，包括：
[0036]第一比对模块，用于比对源端数据库和目标端数据库的CRC校验码；
[0037]差量数据补充模块，用于对目标端数据库的差异数据集合进行差量数据补充；
[0038]第二比对模块，用于将源端数据库的差异数据集合和进行差量数据补充后的目标端数据库的差异数据集合进行比对。
[0039]可选的，还包括：
[0040]CRC校验码生成获取模块，用于生成并获取源端数据库中全量数据的CRC校验码以及目标端数据库中全量数据的CRC校验码；
[0041]差量数据交易集合获取模块，用于获取差量数据交易集合；
[0042]差异数据集合获取模块，用于获取差异数据集合。
[0043]本专利技术第三方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令在计算机上执行时，使得所述计算机执行第一方面所述的方法。
[0044]本专利技术的有益效果如下：
[0045](1)本专利技术提供的数据比对校验方法适用于静态数据比对场景、动态数据比对场景、同构数据同步场景、异构数据同步场景、全量数据比对校验场景、部分数据表的单独比对校验场景，实用性非常广泛；解决了快照比对法和日志比对法无法对异构数据进行比对的问题；
[0046](2)本专利技术中针对不一致的数据集采用了差量数据补全的方法，来进行增量数据比对，与控制表比对法和时间戳比对法相比，缩短了整个数据比对校验的流程，大大降低了对源端数据库和目标端数据库的资源占用和性能影响；
[0047](3)在本专利技术中能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在数据库同步过程中的数据比对校验方法，其特征在于，包括：比对源端数据库和目标端数据库中全量数据的CRC校验码进行校验；若校验结果不一致，则对目标端数据库的差异数据集合进行差量数据补充；将源端数据库的差异数据集合与进行差量数据补充后的目标端数据库的差异数据集合进行比对。2.根据权利要求1所述的在数据库同步过程中的数据比对校验方法，其特征在于，还包括：获取源端数据库的全量数据CRC校验码；获取发送端数据库的全量数据CRC校验码。3.根据权利要求1所述的在数据库同步过程中的数据比对校验方法，其特征在于，利用在同步过程中产生的差量数据交易集合实现对所述目标端数据库的差异数据集合的差量数据补充。4.根据权利要求3所述的在数据库同步过程中的数据比对校验方法，其特征在于，还包括：获取所述差量数据交易集合，所述差量数据交易集合获取过程包括：获取同步过程中源端数据库全量数据的最后一个交易序号以及目标端数据库全量数据的最后一个交易序号；获取两个序号之间的所有交易数据，构成差量数据交易集合。5.根据权利要求3所述的在数据库同步过程中的数据比对校验方法，其特征在于，所述对目标端数据库的差异数据集合进行差量数据补充，包括：将目标端数据库的差异数据集合传输至验证服务器，在所述验证服务器上，利用所述差量数据交易集合对所述目标端数据库的差异数据集合进行差量数据补充。6.根据权利要求1所述的在数据库同步过程中的数据比对校验方法，其特征...

【专利技术属性】
技术研发人员：狄广义，高磊，徐会军，宋文博，李永中，王耀坤，
申请(专利权)人：国能网信科技北京有限公司，
类型：发明
国别省市：