本发明专利技术涉及数据库技术领域，具体提供一种异构数据库的数据比对方法、装置及介质，旨在解决在进行异构数据库数据同步中的数据比对时，如何实现比对过程的更高的效率，并占用更少的资源的问题。为此目的，本发明专利技术当检测到源数据库中源数据表的数据发送变化时，可以根据发生变化的数据生成哈希标识符，并将哈希标识符加入至目标数据库中的目标数据表的哈希列中，通过解析哈希列中的哈希标识符，来确定目标数据表中哈希标识符对应的数据列的数据与源数据表中发生变化的数据列的数据是否一致，以获取源数据表与目标数据表的数据比对结果，能够避免对源数据表和目标数据表中的数据进行逐条比对的过程，有效提升数据比对的效率，降低资源的占用率。降低资源的占用率。降低资源的占用率。
【技术实现步骤摘要】
异构数据库的数据比对方法、数据同步方法、装置及介质
[0001]本专利技术涉及数据库
，具体提供一种异构数据库的数据比对方法、装置及介质。
技术介绍
[0002]目前，分布式异构数据库由于业务需求会需要进行数据同步。其中数据同步的方式主要包括增量同步和全量同步。如果选择增量同步的方式，那么就需要对异构数据中的数据进行实时的数据比对。现有技术中，数据比对的方式主要是将源数据表和目标数据表中的数据进行逐条比对。这种比对方式在大数据的情况下(如使用第三方支付业务的情形)，会存在效率过低，占用资源巨大的问题。
[0003]相应地，本领域需要一种新的数据比对方案来解决上述问题。
技术实现思路
[0004]为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决在进行异构数据库数据同步中的数据比对时，如何实现比对过程的更高的效率，并占用更少的资源的问题。
[0005]在第一方面，本专利技术提供一种异构数据库的数据比对方法，所述方法包括：
[0006]当检测到源数据库中的源数据表的数据发生变化时，根据发生变化的数据生成哈希标识符；
[0007]将所述哈希标识符加入至目标数据库中的目标数据表的哈希列中；
[0008]通过解析所述哈希列中的哈希标识符，根据所述源数据表与所述目标数据表之间的数据映射关系，确定所述目标数据表中所述哈希标识符对应的数据列的数据与所述源数据表中发生变化的数据列的数据是否一致，以获取所述源数据表与所述目标数据表的数据比对结果
[0009]在上述异构数据库的数据比对方法的一个技术方案中，所述当检测到源数据库中的源数据表的数据发生变化时，根据发生变化的数据生成哈希标识符，包括：
[0010]当检测到所述源数据表中的数据发生变化时，获取发生变化的数据的所在数据列和所述发生变化的数据的数据值；
[0011]根据所述数据列和数据值，生成所述哈希标识符。
[0012]在上述异构数据库的数据比对方法的一个技术方案中，所述方法还包括：
[0013]当检测所述源数据表的数据发生变化时，获取数据发生变化的时间戳；
[0014]所述根据所述数据列和数据值，生成所述哈希标识符，包括：
[0015]根据发生变化的数据所在的数据列，生成所述数据列的唯一ID；
[0016]根据发生变化的数据的数据值，生成所述数据值的第一哈希值；
[0017]根据所述时间戳、所述唯一ID和所述第一哈希值，获取所述哈希标识符。
[0018]在上述异构数据库的数据比对方法的一个技术方案中，所述方法还包括：
[0019]设置定时任务，根据所述时间戳，对所述哈希列中的哈希标识符进行定时筛选，获取需要解析的哈希标识符。
[0020]在上述异构数据库的数据比对方法的一个技术方案中，所述通过解析所述哈希列中的哈希标识符，确定所述目标数据表中所述哈希标识符对应的数据列的数据与所述源数据表中发生变化的数据列的数据是否一致，包括：
[0021]解析每一个需要解析的哈希标识符，获取所述唯一ID和所述第一哈希值；
[0022]根据所述唯一ID，获取所述源数据表中数据发生变化的数据列；
[0023]根据所述源数据表和目标数据表之间的数据映射关系，确定所述数据发生变化的数据列对应的目标数据表的数据列，并获取所述目标数据表的数据列的数据值对应的第二哈希值；
[0024]将所述第一哈希值与所述第二哈希值进行比较，以确定所述源数据表和所述目标数据表的数据是否一致。
[0025]在上述异构数据库的数据比对方法的一个技术方案中，所述方法包括：
[0026]当检测到所述源数据表发生变化时，生成捕获日志；
[0027]根据所述捕获日志获取所述源数据表中数据发生变化的数据列、数据值和时间戳。
[0028]在第二方面，本专利技术提供一种异构数据库的数据同步方法，所述方法包括：
[0029]从源数据库中的选择需要同步的源数据表，并确定所述源数据表中需要同步的字段；
[0030]根据所述需要同步的字段，建立所述源数据表与所述目标数据库中的目标数据表之间的数据映射关系；
[0031]根据所述数据映射关系，并根据权利要求1至6中任一项所述的异构数据库的数据比对方法，确定所述源数据表与所述目标数据表的数据比对结果；
[0032]根据所述数据比对结果，对所述目标数据表进行增量同步。
[0033]在上述异构数据库的数据同步方法的一个技术方案中，在所述从源数据库中的选择需要同步的源数据表，并确所述源数据表中需要同步的字段之前，所述方法还包括：
[0034]根据所述源数据库和所述目标数据库的注册信息，建立所述源数据库与所述目标数据库的网络连接。
[0035]在第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述异构数据库的数据比对方法方法的技术方案中任一项技术方案所述的异构数据库的数据比对方法，和/或上述异构数据库的数据同步方法的技术方案中任一项技术方案所述的异构数据库的数据同步方法。
[0036]在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述异构数据库的数据比对方法方法的技术方案中任一项技术方案所述的异构数据库的数据比对方法，和/或上述异构数据库的数据同步方法的技术方案中任一项技术方案所述的异构数据库的数据同步方法。
[0037]本专利技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0038]在实施本专利技术的技术方案中，本专利技术当检测到源数据库中源数据表的数据发送变化时，可以根据发生变化的数据生成哈希标识符，并将哈希标识符加入至目标数据库中的目标数据表的哈希列中，通过解析哈希列中的哈希标识符，来确定目标数据表中哈希标识符对应的数据列的数据与源数据表中发生变化的数据列的数据是否一致，以获取源数据表与目标数据表的数据比对结果。通过上述配置方式，由于本专利技术中的哈希标识符是基于源数据表发生变化的数据生成的，通过解析哈希标识符来获取源数据表和目标数据表之间的数据比对结果，避免了对源数据表和目标数据表中的数据进行逐条比对的过程，能够有效提升数据比对的效率，同时降低资源的占用率。
附图说明
[0039]参照附图，本专利技术的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本专利技术的保护范围组成限制。其中：
[0040]图1是根据本专利技术的一个实施例的异构数据库的数据比对方法的主要步骤流程示意图；
[0041]图2是根据本专利技术的一个实施例的异构数据库的数据同步方法的主要步骤流程示意图；
[0042]图3是根据本专利技术实施例的一个实施方式中确定源数据表中需要同步的字段的可视化管理界面的示意图；
[0043]图4是根据本专利技术实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异构数据库的数据比对方法，其特征在于，所述方法包括：当检测到源数据库中的源数据表的数据发生变化时，根据发生变化的数据生成哈希标识符；将所述哈希标识符加入至目标数据库中的目标数据表的哈希列中；通过解析所述哈希列中的哈希标识符，根据所述源数据表与所述目标数据表之间的数据映射关系，确定所述目标数据表中所述哈希标识符对应的数据列的数据与所述源数据表中发生变化的数据列的数据是否一致，以获取所述源数据表与所述目标数据表的数据比对结果。2.根据权利要求1所述的异构数据库的数据比对方法，其特征在于，所述当检测到源数据库中的源数据表的数据发生变化时，根据发生变化的数据生成哈希标识符，包括：当检测到所述源数据表中的数据发生变化时，获取发生变化的数据的所在数据列和所述发生变化的数据的数据值；根据所述数据列和数据值，生成所述哈希标识符。3.根据权利要求2所述的异构数据库的数据比对方法，其特征在于，所述方法还包括：当检测所述源数据表的数据发生变化时，获取数据发生变化的时间戳；所述根据所述数据列和数据值，生成所述哈希标识符，包括：根据发生变化的数据所在的数据列，生成所述数据列的唯一ID；根据发生变化的数据的数据值，生成所述数据值的第一哈希值；根据所述时间戳、所述唯一ID和所述第一哈希值，获取所述哈希标识符。4.根据权利要求3所述的异构数据库的数据比对方法，其特征在于，所述方法还包括：设置定时任务，根据所述时间戳，对所述哈希列中的哈希标识符进行定时筛选，获取需要解析的哈希标识符。5.根据权利要求4所述的异构数据库的数据比对方法，其特征在于，所述通过解析所述哈希列中的哈希标识符，确定所述目标数据表中所述哈希标识符对应的数据列的数据与所述源数据表中发生变化的数据列的数据是否一致，包括：解析每一个需要解析的哈希标识符，获取所述唯一ID和所述第一哈希值；根据所述唯一ID，获取所述源数据表中数据发生变化的数...
【专利技术属性】
技术研发人员：高晓凯，
申请(专利权)人：北京结慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。