数据中心的一致性校验方法及系统技术方案

本申请涉及数据备份技术领域，公开了一种数据中心的一致性校验方法及系统。所述方法包括：在第一数据中心或第二数据中心中，分别统计一个数据表的多个时间字段中每一个时间字段在预定时间范围内的记录条数；选择所述记录条数最多的时间字段作为第一时间字段；分别在所述第一数据中心和第二数据中心中查询所述数据表在所述预定时间范围内各数据记录的所述第一时间字段和预定的核心字段以组成特征字符串；对所述特征字符串进行加密；比较加密后的特征字符串，并且根据比较结果判断所述数据表在所述第一数据中心和第二数据中心是否一致。本申请可同时对不同类型数据库进行数据校验，校验效率高。校验效率高。校验效率高。

【技术实现步骤摘要】
数据中心的一致性校验方法及系统


[0001]本申请涉及数据备份
，特别涉及一种数据中心的一致性校验方法及系统。

技术介绍

[0002]双中心数据部署中需要从A中心(源端)将数据同步到B中心(目标端)，但是在同步过程中数据一致性无法做得保障，需要对A中心和B中心的数据库一致性进行校验。基于可能存在的问题需要部署一套针对mongodb和mysql数据库一致性校验工具，以方便快速知道数据同步是否正常。现有技术中分别捕获目标端和源端事务日志并针对捕获的日志进行加密后做一致性校验。此方案有如下不足：
[0003]第一，只能校验一种类型的数据库，不能同时校验多种类型的数据库。
[0004]第二，监控时间范围有限，只能监控实时的数据一致性，如果目标端后期数据被人为修改或是删除则无法知晓。
[0005]第三，校验的内容单一，只是对目标端和源端的事务日志做校验，并没有对数据行数没校验。

技术实现思路

[0006]本申请的目的在于提供一种数据中心的一致性校验方法及系统，可同时对不同类型数据库进行数据校验。
[0007]本申请公开了一种数据中心的一致性校验方法，包括：
[0008]在第一数据中心或第二数据中心中，分别统计一个数据表的多个时间字段中每一个时间字段在预定时间范围内的记录条数；
[0009]选择所述记录条数最多的时间字段作为第一时间字段；
[0010]分别在所述第一数据中心和第二数据中心中查询所述数据表在所述预定时间范围内各数据记录的所述第一时间字段和预定的核心字段以组成特征字符串；
[0011]对所述特征字符串进行加密；
[0012]比较加密后的特征字符串，并且根据比较结果判断所述数据表在所述第一数据中心和第二数据中心是否一致。
[0013]在一个优选例中，所述查询所述数据表进一步包括：
[0014]判断所述数据表的总记录数目是否大于预定门限；如果是，直接根据查询条件进行查询，否则，先查询满足查询条件的数据记录的主键，形成一个临时表，根据所述临时表中的主键进一步查询所述第一时间字段和预定的核心字段以组成特征字符串。
[0015]在一个优选例中，所述预定门限大于等于1000万。
[0016]在一个优选例中，所述时间字段包括下组中的至少一个：创建时间、结算时间、修改时间、设备过期时间。
[0017]在一个优选例中，所述数据表没有主键。
[0018]在一个优选例中，查询所述数据表进一步包括：
[0019]判断所述数据表的类型；
[0020]如果所述数据表属于文件型数据表，查询所述数据表在所述预定时间范围内各数据记录的所述第一时间字段和预定的核心字段对应的总条数；
[0021]如果所述数据表属于关系型数据表，查询所述数据表在所述预定时间范围内各数据记录的所述第一时间字段和预定的核心字段对应的总条数并且查询各数据记录的所述第一时间字段和预定的核心字段以组成特征字符。
[0022]在一个优选例中，进一步包括：
[0023]判断所述第一数据中心或第二数据中心中的数据表是否有主键，如果有，则查询所述数据表在所述预定时间范围内各数据记录的所述主键和预定的核心字段以组成特征字符。
[0024]在一个优选例中，还包括：通过邮件形式报告所述数据表在所述第一数据中心和第二数据中心是否一致的校验结果。
[0025]本申请还公开了一种数据中心的一致性校验系统，包括：
[0026]统计模块，用于在第一数据中心或第二数据中心中，分别统计一个数据表的多个时间字段中每一个时间字段在预定时间范围内的记录条数；
[0027]字段选择模块，用于选择所述记录条数最多的时间字段作为第一时间字段；
[0028]查询模块，用于分别在所述第一数据中心和第二数据中心中查询所述数据表在所述预定时间范围内各数据记录的所述第一时间字段和预定的核心字段以组成特征字符串；
[0029]加密模块，用于对所述特征字符串进行加密；
[0030]比较模块，用于比较加密后的特征字符串，并且根据比较结果判断所述数据表在所述第一数据中心和第二数据中心是否一致。
[0031]本申请还公开了一种计算机可读存储介质所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。
[0032]本申请实施方式中，可同时对mongodb和mysql数据库同时进行数据校验，mongodb校验主体是表和行数是否一致，mysql校验主体是表的行数和字段内容是否一致。
[0033]本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述
技术实现思路
中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均应该视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
[0034]图1是根据本申请第一实施方式的数据中心的一致性校验方法的流程示意图。
[0035]图2是根据本申请第一实施方式的mongodb校验的流程示意图。
[0036]图3是根据本申请第一实施方式的sql行数校验的流程示意图。
[0037]图4是根据本申请第一实施方式的sql内容校验的流程示意图。
[0038]图5是根据本申请第一实施方式的mongodb和sql校验的整体流程示意图。
[0039]图6是根据本申请第二实施方式的数据中心的一致性校验系统的结构示意图。
具体实施方式
[0040]在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
[0041]部分概念的说明：
[0042]数据中心：数据中心是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。
[0043]数据库：是“按照数据结构来组织、存储和管理数据的仓库”，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
[0044]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
[0045]本申请的第一实施方式涉及一种数据中心的一致性校验方法，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据中心的一致性校验方法，其特征在于，包括：在第一数据中心或第二数据中心中，分别统计一个数据表的多个时间字段中每一个时间字段在预定时间范围内的记录条数；选择所述记录条数最多的时间字段作为第一时间字段；分别在所述第一数据中心和第二数据中心中查询所述数据表在所述预定时间范围内各数据记录的所述第一时间字段和预定的核心字段以组成特征字符串；对所述特征字符串进行加密；以及比较加密后的特征字符串，并且根据比较结果判断所述数据表在所述第一数据中心和第二数据中心是否一致。2.根据权利要求1所述的数据中心的一致性校验方法，其特征在于，所述查询所述数据表进一步包括：判断所述数据表的总记录数目是否大于预定门限；如果是，直接根据查询条件进行查询，否则，先查询满足查询条件的数据记录的主键，形成一个临时表，根据所述临时表中的主键进一步查询所述第一时间字段和预定的核心字段以组成特征字符串。3.根据权利要求2所述的数据中心的一致性校验方法，其特征在于，所述预定门限大于等于1000万。4.根据权利要求1所述的数据中心的一致性校验方法，其特征在于，所述时间字段包括下组中的至少一个：创建时间、结算时间、修改时间、设备过期时间。5.根据权利要求1所述的数据中心的一致性校验方法，其特征在于，所述数据表没有主键。6.根据权利要求1所述的数据中心的一致性校验方法，其特征在于，查询所述数据表进一步包括：判断所述数据表的类型；如果所述数据表属于文件型数据表，查询所述数据表在所述预定时间范围内各数据记录的所述第一时间字段和预定的核心字段对应...

【专利技术属性】
技术研发人员：姬星，
申请(专利权)人：千寻位置网络有限公司，
类型：发明
国别省市：