本发明专利技术涉及数据处理技术，揭露一种数据一致性比对方法，包括：对第一数据源及第二数据源执行对等的分块操作，为对等的分块区域分配相同的标识；对相同标识的分块区域对应的第一数据源中的数据及第二数据源中的数据进行数据转换，得到第一转换数据及第二转换数据；比对所述第一转换数据及所述第二转换数据；若所述第一转换数据与所述第二转换数据相同，则相应的分块区域对应的第一数据源中的数据与第二数据源中的数据一致；若所述第一转换数据与所述第二转换数据不同，则相应的分块区域对应的第一数据源中的数据与第二数据源中的数据不一致。本发明专利技术还提出一种数据一致性比对装置、设备以及介质。本发明专利技术可以提升数据一致性比对方法的效率及普适性。比对方法的效率及普适性。比对方法的效率及普适性。
【技术实现步骤摘要】
数据一致性比对方法、装置、设备及介质
[0001]本专利技术涉及数据处理
，尤其涉及一种数据一致性比对方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]在大数据运营场景中，存在将源存储设备中的数据搬迁或同步到目标存储设备中的数据搬迁或数据同步的应用场景，以及生成源存储设备中的数据的副本数据，将副本数据存储到中间存储设备上的数据备份的应用场景。在数据搬迁、数据同步以及数据备份的过程中，由于网络、服务器或者软件故障，可能会导致源存储设备中的数据与目标存储设备中的数据之间，或者源存储设备中的数据与备份副本数据之间存在部分数据内容不一致或数据丢失的情况。为了防范这种情况的发生，通常需要定时对源存储设备中的数据和目标存储设备中或中间存储设备中的数据进行数据一致性比对操作。
[0003]常见的数据一致性比对方法是根据业务场景对源存储设备中的数据进行指定逻辑的数据加工，根据预设的比对算法将源存储设备中加工后的数据与待比较数据进行一致性的比对，输出一致性比对结果。这种数据一致性比对方法存在如下问题：
[0004]1、每次比对的数据量比较大，比对计算工作量大，且占用较大的缓存空间，相应的比对效率低；
[0005]2、比对算法根据业务场景定制得到，可复用性得不到保证，在新增业务时，需要根据新业务逻辑对老业务逻辑做适应性修改，可维护性、可扩展性差。
技术实现思路
[0006]本专利技术提供一种数据一致性比对方法、装置及计算机可读存储介质，其主要目的在于提升数据一致性比对方法的效率及普适性。
[0007]为实现上述目的，本专利技术提供的一种数据一致性比对方法，包括：
[0008]对第一数据源及第二数据源执行对等的分块操作，得到预设数量的对等的分块区域，为每对所述对等的分块区域分配相同的标识；
[0009]分别对相同标识的分块区域对应的第一数据源中的数据及第二数据源中的数据进行数据转换，得到每对所述相同标识对应的第一转换数据及第二转换数据；
[0010]从所有所述标识中逐次选取其中一对相同标识作为目标标识，比对所述目标标识对应的第一转换数据及第二转换数据；
[0011]若所述目标标识对应的第一转换数据与第二转换数据相同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据一致；
[0012]若所述目标标识对应的第一转换数据与第二转换数据不同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据不一致。
[0013]可选地，所述对第一数据源及第二数据源执行对等的分块操作，得到预设数量的对等的分块区域，包括：
[0014]对所述第一数据源及所述第二数据源执行数据对齐操作；
[0015]根据预设的分块策略，对数据对齐后的所述第一数据源及所述第二数据源同步执行分块操作，得到预设数量的对等的分块区域。
[0016]可选地，所述为每对所述对等的分块区域分配相同的标识，包括：
[0017]随机生成第二预设数量的字符串；
[0018]为每对所述对等的分块区域分配一个所述字符串，将分配的所述字符串作为对应的每对所述对等的分块区域的标识；
[0019]分别获取每对所述对等的分块区域对应的起始物理存储地址及结尾物理存储地址；
[0020]利用所述标识、所述起始物理存储地址及所述结尾物理存储地址，创建每个所述分块区域与对应的标识之间的映射关系。
[0021]可选地，所述分别对相同标识的分块区域对应的第一数据源中的数据及第二数据源中的数据进行数据转换，得到每对所述相同标识对应的第一转换数据及第二转换数据，包括：
[0022]根据所述映射关系，逐次获取每个标识对应的分块区域内的第一数据源中的数据及第二数据源中的数据；
[0023]按照预设的转换算法，分别对相同标识对应的分块区域内第一数据源中的数据及第二数据源中的数据进行数据转换，得到每对所述相同标识对应的第一转换数据及第二转换数据。
[0024]可选地，所述比对所述目标标识对应的第一转换数据及第二转换数据，包括：
[0025]将所述第一转换数据及所述第一转换数据对应的目标标识存储到预设的第一缓存中；
[0026]将所述第二转换数据及所述第二转换数据对应的目标标识存储到预设的第二缓存中；
[0027]启动第三预设数量的线程比对所述第一缓存中以及所述第二缓存中所述目标标识对应的数据是否相同。
[0028]可选地，所述若所述目标标识对应的第一转换数据与第二转换数据不同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据不一致之后，所述方法还包括：
[0029]判断相同标识且数据不一致的分块区域是否满足预设的分块条件；
[0030]若所述相同标识且数据不一致的分块区域满足所述预设的分块条件，则对相应的分块区域对应的第一数据源及第二数据源执行对等的分块操作并为每对所述对等的分块区域分配相同的标识，返回上述的分别对相同标识的分块区域对应的第一数据源中的数据及第二数据源中的数据进行数据转换的步骤；
[0031]若所述相同标识且数据不一致的分块区域不满足所述预设的分块条件，则利用预设的比对工具确定相应的分块区域中不一致的数据；
[0032]可选地，所述若所述目标标识对应的第一转换数据与第二转换数据不同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据不一致之后，所述方法还包括：
[0033]汇集每次数据一致性比对中数据不一致的分块区域；
[0034]统计每块所述分块区域数据不一致的发生率，并根据所述发生率对每个所述分块区域进行排序；
[0035]将排序在预设排序范围内的分块区域作为重点比对分块区域。
[0036]为了解决上述问题，本专利技术还提供一种数据一致性比对装置，所述装置包括：
[0037]数据分块模块，用于对第一数据源及第二数据源执行对等的分块操作，得到预设数量的对等的分块区域，为每对所述对等的分块区域分配相同的标识；
[0038]分块数据转换模块，用于分别对相同标识的分块区域对应的第一数据源中的数据及第二数据源中的数据进行数据转换，得到每对所述相同标识对应的第一转换数据及第二转换数据；
[0039]转换数据比对模块，用于从所有所述标识中逐次选取其中一对相同标识作为目标标识，比对所述目标标识对应的第一转换数据及第二转换数据；
[0040]比对结果生成模块，用于若所述目标标识对应的第一转换数据与第二转换数据相同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据一致；若所述目标标识对应的第一转换数据与第二转换数据不同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据不一致。
[0041]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0042]存储器，存储至少一个计算机程序；及
[0043]处理器，执行所述存储器中存储的程序以实现上述所述的数据一致性比对方法。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据一致性比对方法，其特征在于，所述方法包括：对第一数据源及第二数据源执行对等的分块操作，得到预设数量的对等的分块区域，为每对所述对等的分块区域分配相同的标识；分别对相同标识的分块区域对应的第一数据源中的数据及第二数据源中的数据进行数据转换，得到每对所述相同标识对应的第一转换数据及第二转换数据；从所有所述标识中逐次选取其中一对相同标识作为目标标识，比对所述目标标识对应的第一转换数据及第二转换数据；若所述目标标识对应的第一转换数据与第二转换数据相同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据一致；若所述目标标识对应的第一转换数据与第二转换数据不同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据不一致。2.如权利要求1所述的数据一致性比对方法，其特征在于，所述对第一数据源及第二数据源执行对等的分块操作，得到预设数量的对等的分块区域，包括：对所述第一数据源及所述第二数据源执行数据对齐操作；根据预设的分块策略，对数据对齐后的所述第一数据源及所述第二数据源同步执行分块操作，得到预设数量的对等的分块区域。3.如权利要求1所述的数据一致性比对方法，其特征在于，所述为每对所述对等的分块区域分配相同的标识，包括：随机生成第二预设数量的字符串；为每对所述对等的分块区域分配一个所述字符串，将分配的所述字符串作为对应的每对所述对等的分块区域的标识；分别获取每对所述对等的分块区域对应的起始物理存储地址及结尾物理存储地址；利用所述标识、所述起始物理存储地址及所述结尾物理存储地址，创建每个所述分块区域与对应的标识之间的映射关系。4.如权利要求1至3中任一项所述的数据一致性比对方法，其特征在于，所述分别对相同标识的分块区域对应的第一数据源中的数据及第二数据源中的数据进行数据转换，得到每对所述相同标识对应的第一转换数据及第二转换数据，包括：根据所述映射关系，逐次获取每个标识对应的分块区域内的第一数据源中的数据及第二数据源中的数据；按照预设的转换算法，分别对相同标识对应的分块区域内第一数据源中的数据及第二数据源中的数据进行数据转换，得到每对所述相同标识对应的第一转换数据及第二转换数据。5.如权利要求1所述的数据一致性比对方法，其特征在于，所述比对所述目标标识对应的第一转换数据及第二转换数据，包括：将所述第一转换数据及所述第一转换数据对应的目标标识存储到预设的第一缓存中；将所述第二转换数据及所述第二转换数据对应的目标标识存储到预设的第二缓存中；启动第三预设数量的线程比对所述第一缓存中以及所述第二缓存中所述目标标识对应的数据是否相同。6.如权利要...
【专利技术属性】
技术研发人员：赵恩杰，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。