分布式数据库架构下的数据核对方法及装置制造方法及图纸

本发明专利技术提供了一种分布式数据库架构下的数据核对方法及装置，应用于分布式技术领域，该方法包括：分析分布式数据库架构下每个数据库表的最小数据集；根据所述最小数据集，采集待核对的数据库表的文本文件；按照文本文件的来源，对所有的文本文件进行归并；根据最小数据集，将归并的文本文件的数据装载到归集点数据库的数据库表，形成归集点数据库中最小数据集的数据库表；在归集点数据库，对最小数据集的数据库表进行关联核对与查询。本发明专利技术可以实现分布式数据库架构下跨数据库的数据核对。现分布式数据库架构下跨数据库的数据核对。现分布式数据库架构下跨数据库的数据核对。

【技术实现步骤摘要】
分布式数据库架构下的数据核对方法及装置


[0001]本专利技术涉及分布式
，尤其涉及一种分布式数据库架构下的数据核对方法及装置。

技术介绍

[0002]在分布式数据库架构下，数据实际存储在多个数据服务器节点。如果关联数据能恰好存储在一个数据库中，则可以基于该单点库进行关联查询等操作。但势必还存在一部分数据的确分别存储在不同的数据库服务器节点上，物理上是分割的，如何对这部分数据进行跨数据库的读取核对，是一个要解决的问题。

技术实现思路

[0003]本专利技术实施例提出一种分布式数据库架构下的数据核对方法，用以实现分布式数据库架构下跨数据库的数据核对，该方法包括：
[0004]分析分布式数据库架构下每个数据库表的最小数据集；
[0005]根据所述最小数据集，采集待核对的数据库表的文本文件；
[0006]按照文本文件的来源，对所有的文本文件进行归并；
[0007]根据最小数据集，将归并的文本文件的数据装载到归集点数据库的数据库表，形成归集点数据库中最小数据集的数据库表；
[0008]在归集点数据库，对最小数据集的数据库表进行关联核对与查询。
[0009]本专利技术实施例提出一种分布式数据库架构下的数据核对装置，用以实现分布式数据库架构下跨数据库的数据核对，该装置包括：
[0010]数据分析模块，用于分析分布式数据库架构下每个数据库表的最小数据集；
[0011]数据采集模块，用于根据所述最小数据集，采集待核对的数据库表的文本文件；
[0012]数据归并模块，用于按照文本文件的来源，对所有的文本文件进行归并；
[0013]数据装载模块，用于根据最小数据集，将归并的文本文件的数据装载到归集点数据库的数据库表，形成归集点数据库中最小数据集的数据库表；
[0014]数据核对模块，用于在归集点数据库，对最小数据集的数据库表进行关联核对与查询。
[0015]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述分布式数据库架构下的数据核对方法。
[0016]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述分布式数据库架构下的数据核对方法。
[0017]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述分布式数据库架构下的数据核对方法。
[0018]在本专利技术实施例中，分析分布式数据库架构下每个数据库表的最小数据集；根据所述最小数据集，采集待核对的数据库表的文本文件；按照文本文件的来源，对所有的文本文件进行归并；根据最小数据集，将归并的文本文件的数据装载到归集点数据库的数据库表，形成归集点数据库中最小数据集的数据库表；在归集点数据库，对最小数据集的数据库表进行关联核对与查询。在上述过程中，为了解决跨库关联访问的难题，只能采用避免发生跨库的发生，即在不做跨库关联查询的前提下，完成不同数据库之间的关联数据的核对。本专利技术实施例分析分布式数据库架构下每个数据库表的最小数据集，并基于该最小数据集，实现对最小数据集的数据库表进行关联核对与查询，从而完成了不用数据库之间的关联数据的核对。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0020]图1为本专利技术实施例中分布式数据库架构下的数据核对方法的流程图一；
[0021]图2为本专利技术实施例中分析分布式数据库架构下每个数据库表的最小数据集的流程图；
[0022]图3为本专利技术实施例中分布式数据库架构下的数据核对方法的流程图二；
[0023]图4为本专利技术实施例中分布式数据库架构下的数据核对装置的示意图；
[0024]图5为本专利技术实施例中计算机设备的示意图。
具体实施方式
[0025]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0026]在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
[0027]专利技术人认为，为了解决跨库关联访问的难题，只能采用避免发生跨库的发生，即在不做跨库关联查询的前提下，完成不同数据库节点之间的关联数据的核对。为次，本专利技术设计了一套分布式数据库架构下的数据核对方案，分为数据分析，数据采集，数据归并，数据装载，数据核对。
[0028]图1为本专利技术实施例中分布式数据库架构下的数据核对方法的流程图，如图1所示，包括：
[0029]步骤101，分析分布式数据库架构下每个数据库表的最小数据集；
[0030]步骤102，根据所述最小数据集，采集待核对的数据库表的文本文件；
[0031]步骤103，按照文本文件的来源，对所有的文本文件进行归并；
[0032]步骤104，根据最小数据集，将归并的文本文件的数据装载到归集点数据库的数据库表，形成归集点数据库中最小数据集的数据库表；
[0033]步骤105，在归集点数据库，对最小数据集的数据库表进行关联核对与查询。
[0034]在本专利技术实施例中，分析分布式数据库架构下每个数据库表的最小数据集；根据所述最小数据集，采集待核对的数据库表的文本文件；按照文本文件的来源，对所有的文本文件进行归并；根据最小数据集，将归并的文本文件的数据装载到归集点数据库的数据库表，形成归集点数据库中最小数据集的数据库表；在归集点数据库，对最小数据集的数据库表进行关联核对与查询。在上述过程中，为了解决跨库关联访问的难题，只能采用避免发生跨库的发生，即在不做跨库关联查询的前提下，完成不同数据库之间的关联数据的核对。本专利技术实施例分析分布式数据库架构下每个数据库表的最小数据集，并基于该最小数据集，实现对最小数据集的数据库表进行关联核对与查询，从而完成了不用数据库之间的关联数据的核对。
[0035]在步骤101，分析分布式数据库架构下每个数据库表的最小数据集；图2为本专利技术实施例中分析分布式数据库架构下每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据库架构下的数据核对方法，其特征在于，包括：分析分布式数据库架构下每个数据库表的最小数据集；根据所述最小数据集，采集待核对的数据库表的文本文件；按照文本文件的来源，对所有的文本文件进行归并；根据最小数据集，将归并的文本文件的数据装载到归集点数据库的数据库表，形成归集点数据库中最小数据集的数据库表；在归集点数据库，对最小数据集的数据库表进行关联核对与查询。2.如权利要求1所述的方法，其特征在于，分析分布式数据库架构下每个数据库表的最小数据集，包括：对每个数据库表，在该数据库表的关联关系不符合核对要求时，将所述关联关系切分为符合核对要求的多个关联关系；分析该数据库表中数据的核对要素，所述核对要素包括主键、关联键、约束、过滤条件中的至少一种；根据符合核对要求的多个关联关系和核对要素，形成对每个数据库表的最小数据集。3.如权利要求1所述的方法，其特征在于，根据所述最小数据集，采集待核对的数据库表的文本文件，包括：采用单点发起或多点发起，根据所述最小数据集，采集待核对的数据库表的文本文件。4.如权利要求1所述的方法，其特征在于，根据最小数据集，将归并的文本文件的数据装载到归集点数据库的数据库表，包括：如果归并的文本文件的数据量大于预设值，根据最小数据集，采用分区或者分表的方式将所述数据装载到归集点数据库的数据库表。5.如权利要求1所述的方法，其特征在于，按照文本文件的来源，对所有的文本文件进行归并，包括：对所述文本文件添加来源标识，基于所述来源标识，对所有的文本文件进行归并；在归集点数据库，对最小数据集的数据库表进行关联核对与查询，包括：在归集点数据库，基于所述来源标识，对最小数据集的数据库表进行关联核对与查询。6.一种分布式数据库架构下的数据核对装置，其特征在于，包括：数据分析模块，用于分析分布式数据库架构下每个数据库表的最小数据集；数据采集模块，用于根据所述最小数据集，采集待核对的数据库表...

【专利技术属性】
技术研发人员：肖勇博，王见广，侯金泽，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：