无索引表格数据比对方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了无索引表格数据比对方法、装置、计算机设备及存储介质。所述方法包括：配置比对计划；根据所述比对计划查询数据库表格元数据，确定每张表格参与比对的字段列表；抽取所述表格元数据，并存储于内存内；对所述内存内的每一行数据生成指纹，并存储于设定存储介质内；对所述设定存储介质内的指纹进行排序，以得到排序结果；获取所述排序结果内的指纹并进行比对，以得到比对结果。通过实施本发明专利技术实施例的方法实现可比对异构数据库无索引表格的数据，效率高，且准确率高。且准确率高。且准确率高。

【技术实现步骤摘要】
无索引表格数据比对方法、装置、计算机设备及存储介质


[0001]本专利技术涉及数据比对方法，更具体地说是指无索引表格数据比对方法、装置、计算机设备及存储介质。

技术介绍

[0002]针对当前社会上不同数据库之间的数据同步，由于网络异常以及一些非人为可控的异常情况下，造成的数据不一致，及时发现数据的不一致是一个迫切需要解决的问题。
[0003]在当前的数据比对方法中，都是在同一种类型的数据库基础上，基于两边都存在着一样可排序的字段，基于可排序的字段进行数据比对，优先根据索引字段比较，索引字段一致再比对剩余属性字段；但是该方法有着明显的缺点，一是必须基于有索引字段的表格才能排序比对，对于无索引表的比对，该方法并不能适用；二是索引字段比对，必须是同一种数据库类型，不同数据库同一种类型的字段，由于精度的不同，比对结果会存在很大差异；三是同一个索引字段，但是由于数据库的字符集不一致，比对数据可能会存在乱码，从而严重影响比对结果的正确性；四是如果表格存在大量的字段，在比完索引字段后，比较剩余字段时，需要逐个字段比对，会消耗大量的时间，对比对的整体效率有很大影响。
[0004]因此，有必要设计一种新的方法，实现可比对异构数据库无索引表格的数据，效率高，且准确率高。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提供无索引表格数据比对方法、装置、计算机设备及存储介质。
[0006]为实现上述目的，本专利技术采用以下技术方案：无索引表格数据比对方法，包括：
[0007]配置比对计划；
[0008]根据所述比对计划查询数据库表格元数据，确定每张表格参与比对的字段列表；
[0009]抽取所述表格元数据，并存储于内存内；
[0010]对所述内存内的每一行数据生成指纹，并存储于设定存储介质内；
[0011]对所述设定存储介质内的指纹进行排序，以得到排序结果；
[0012]获取所述排序结果内的指纹并进行比对，以得到比对结果。
[0013]其进一步技术方案为：所述比对计划包括数据库连接信息、数据比对的表格级别以及表格字段的映射关系，数据比对的表格级别包括数据库级别、用户级别以及表格级别。
[0014]其进一步技术方案为：所述根据所述比对计划查询数据库表格元数据，确定每张表格参与比对的字段列表，包括：
[0015]根据数据库连接信息获取数据库字典；
[0016]根据所述数据库字典获取相应表格的元数据；
[0017]根据表格字段的映射关系以及相应表格的元数据生成需要比对的字段列表以及映射关系，以得到每张表格参与比对的字段列表。
[0018]其进一步技术方案为：所述对所述内存内的每一行数据生成指纹，并存储于设定存储介质内，包括：
[0019]将对所述内存内的不同数据库的同一类型数据进行归一化，以得到归一化结果；
[0020]根据指纹算法对所述归一化结果进行计算，生成指纹；
[0021]将所述元数据以及指纹存入设定存储介质中。
[0022]其进一步技术方案为：所述对所述设定存储介质内的指纹进行排序，以得到排序结果，包括：
[0023]获取所述设定存储介质内的每个表格对应的文件列表；
[0024]对所述文件列表中的所有指纹进行排序，以得到排序结果；
[0025]将排序结果存放至新的目录，删除原有文件。
[0026]其进一步技术方案为：所述对所述文件列表中的所有指纹进行排序，以得到排序结果，包括：
[0027]对所述文件列表中的所有指纹进行多路归并排序，以得到排序结果。
[0028]本专利技术还提供了无索引表格数据比对装置，包括：
[0029]配置单元，用于配置比对计划；
[0030]确定单元，用于根据所述比对计划查询数据库表格元数据，确定每张表格参与比对的字段列表；
[0031]抽取单元，用于抽取所述表格元数据，并存储于内存内；
[0032]指纹生成单元，用于对所述内存内的每一行数据生成指纹，并存储于设定存储介质内；
[0033]排序单元，用于对所述设定存储介质内的指纹进行排序，以得到排序结果；
[0034]比对单元，用于获取所述排序结果内的指纹并进行比对，以得到比对结果。
[0035]其进一步技术方案为：所述确定单元包括：
[0036]字典获取子单元，用于根据数据库连接信息获取数据库字典；
[0037]元数据获取子单元，用于根据所述数据库字典获取相应表格的元数据；
[0038]字段确定子单元，用于根据表格字段的映射关系以及相应表格的元数据生成需要比对的字段列表以及映射关系，以得到每张表格参与比对的字段列表。
[0039]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
[0040]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0041]本专利技术与现有技术相比的有益效果是：本专利技术通过根据配置的比对计划获取元数据，并确定比对的字段列表，对元数据生成指纹，并存储在设定存储介质内，对指纹进行排序后再进行比对，实现可比对异构数据库无索引表格的数据，效率高，且准确率高。
[0042]下面结合附图和具体实施例对本专利技术作进一步描述。
附图说明
[0043]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普
通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]图1为本专利技术实施例提供的无索引表格数据比对方法的应用场景示意图；
[0045]图2为本专利技术实施例提供的无索引表格数据比对方法的流程示意图；
[0046]图3为本专利技术实施例提供的无索引表格数据比对方法的子流程示意图；
[0047]图4为本专利技术实施例提供的无索引表格数据比对方法的子流程示意图；
[0048]图5为本专利技术实施例提供的无索引表格数据比对方法的子流程示意图；
[0049]图6为本专利技术实施例提供的无索引表格数据比对装置的示意性框图；
[0050]图7为本专利技术实施例提供的无索引表格数据比对装置的确定单元的示意性框图；
[0051]图8为本专利技术实施例提供的无索引表格数据比对装置的指纹生成单元的示意性框图；
[0052]图9为本专利技术实施例提供的无索引表格数据比对装置的排序单元的示意性框图；
[0053]图10为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0054]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.无索引表格数据比对方法，其特征在于，包括：配置比对计划；根据所述比对计划查询数据库表格元数据，确定每张表格参与比对的字段列表；抽取所述表格元数据，并存储于内存内；对所述内存内的每一行数据生成指纹，并存储于设定存储介质内；对所述设定存储介质内的指纹进行排序，以得到排序结果；获取所述排序结果内的指纹并进行比对，以得到比对结果。2.根据权利要求1所述的无索引表格数据比对方法，其特征在于，所述比对计划包括数据库连接信息、数据比对的表格级别以及表格字段的映射关系，数据比对的表格级别包括数据库级别、用户级别以及表格级别。3.根据权利要求2所述的无索引表格数据比对方法，其特征在于，所述根据所述比对计划查询数据库表格元数据，确定每张表格参与比对的字段列表，包括：根据数据库连接信息获取数据库字典；根据所述数据库字典获取相应表格的元数据；根据表格字段的映射关系以及相应表格的元数据生成需要比对的字段列表以及映射关系，以得到每张表格参与比对的字段列表。4.根据权利要求1所述的无索引表格数据比对方法，其特征在于，所述对所述内存内的每一行数据生成指纹，并存储于设定存储介质内，包括：将对所述内存内的不同数据库的同一类型数据进行归一化，以得到归一化结果；根据指纹算法对所述归一化结果进行计算，生成指纹；将所述元数据以及指纹存入设定存储介质中。5.根据权利要求1所述的无索引表格数据比对方法，其特征在于，所述对所述设定存储介质内的指纹进行排序，以得到排序结果，包括：获取所述设定存储介质内的每个表格对应的文件列表；对所述文件列表中的所...

【专利技术属性】
技术研发人员：王仲沅，柳遵梁，
申请(专利权)人：杭州美创科技有限公司，
类型：发明
国别省市：