System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据同步的结果确定方法及设备技术_技高网

数据同步的结果确定方法及设备技术

技术编号:40235934 阅读:6 留言:0更新日期:2024-02-02 22:36
本公开实施例提供一种数据同步的结果确定方法及设备,涉及数据处理技术领域。该方法包括:在从第一数据库向第二数据库进行数据同步之后,获取第一数据库的第一数据集合的第一标识树和第二数据库的第二数据集合的标识,第一标识树的每个节点中存储有第一数据集合中的一个第一子集合的第一标识;将第二数据集合的标识与第一标识树中的第一标识进行匹配,得到匹配结果;在第二数据集合的标识与其中一个第一标识的匹配结果为匹配成功时,确定数据同步的结果为同步成功。本公开实施例不需要将第一数据集合中的每个数据记录均与第二数据集合中的每个数据记录进行匹配,可以有效降低匹配次数和匹配复杂度。

【技术实现步骤摘要】

本公开实施例涉及数据处理,尤其涉及一种数据同步的结果确定方法及设备


技术介绍

1、在一些基于数据的应用场景中,需要将两个数据集合进行匹配,以判断是否一致。例如,在数据同步场景中,一个数据库a存储有数据集d1,在将d1中的部分或全部数据同步到数据库b中之后,需要判断数据库b中的数据d2是否与d1一致,以确定是否同步成功。

2、现有技术中,在进行数据集合的匹配时,需要将其中一个数据集中的各数据记录和另一数据集中的各数据记录进行匹配。如果一个数据集中的数据记录与另一数据集中的数据记录一致,那么确定该数据集与另一数据集一致。

3、然而,上述方案的复杂度较高。


技术实现思路

1、本公开实施例提供一种数据同步的结果确定方法及设备,可以降低复杂度。

2、第一方面,本公开实施例提供一种数据同步的结果确定方法,所述方法包括:

3、在从第一数据库向第二数据库进行数据同步之后,获取所述第一数据库的第一数据集合的第一标识树和所述第二数据库的第二数据集合的标识,所述第一标识树的每个节点中存储有所述第一数据集合中的一个第一子集合的第一标识;

4、将所述第二数据集合的标识与所述第一标识树中的所述第一标识进行匹配,得到匹配结果;

5、在所述第二数据集合的标识与其中一个所述第一标识的匹配结果为匹配成功时,确定所述数据同步的结果为同步成功。

6、第二方面,本公开实施例提供一种数据同步的结果确定装置,所述装置包括:

7、标识获取模块,用于在从第一数据库向第二数据库进行数据同步之后,获取所述第一数据库的第一数据集合的第一标识树和所述第二数据库的第二数据集合的标识,所述第一标识树的每个节点中存储有所述第一数据集合中的一个第一子集合的第一标识;

8、匹配模块,用于将所述第二数据集合的标识与所述第一标识树中的所述第一标识进行匹配,得到匹配结果;

9、同步结果确定模块,用于在所述第二数据集合的标识与其中一个所述第一标识的匹配结果为匹配成功时,确定所述数据同步的结果为同步成功。

10、第三方面,本公开实施例提供一种电子设备,包括:至少一个处理器和存储器;

11、所述存储器存储计算机执行指令;

12、所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述电子设备实现如第一方面所述的方法。

13、第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,使计算设备实现如第一方面所述的方法。

14、第五方面,本公开实施例提供一种计算机程序,所述计算机程序用于实现如第一方面所述的方法。

15、本公开实施例提供了一种数据同步的结果确定方法及设备,可以通过第二数据集合的标识和第一数据集合的第一标识树,实现第一数据集合和第二数据集合的匹配。由于第一标识树中的每个节点中的标识代表一个第一子集合的第一标识,从而可以确定第二数据集合是否为第一数据集合的一个子集合。一方面,本公开实施例不需要将第一数据集合中的每个数据记录与第二数据集合中的每个数据记录进行匹配,可以有效降低匹配次数和匹配复杂度。另一方面,本公开实施例匹配的是数据的标识,相较于数据记录的匹配,复杂度更小。

本文档来自技高网...

【技术保护点】

1.一种数据同步的结果确定方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,每个所述第一子集合对应一个第一维度组合,所述第一标识是所述第一维度组合在所述第一数据集合中对应的子数据集合标识,所述将所述第二数据集合的标识与所述第一标识树中的所述第一标识进行匹配,得到匹配结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述第二数据集合的标识的获取方式包括以下步骤:

4.根据权利要求3所述的方法,其特征在于,所述第一标识树和所述第二标识树均是根据叶子结点中的标识向上聚合得到的,所述第一标识树和所述第二标识树中的每个非叶子节点中的标识,均是根据所述非叶子结点的子节点中的标识聚合得到的。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述异常节点对应的第一维度组合确定异常数据,包括:

7.根据权利要求5或6所述的方法,其特征在于,所述方法还包括:

8.根据权利要求3至6任一项所述的方法,其特征在于,所述第二标识树的每个节点中存储有所述第二数据集合中的一个第二子集合的第二标识,所述第二标识树中叶子节点对应的所述第二子集合的第二标识的生成方式包括以下步骤:

9.根据权利要求8所述的方法,其特征在于,所述第一标识树中叶子节点对应的第一子集合的第一标识的生成方式包括以下步骤:

10.根据权利要求3所述的方法,其特征在于,所述第一标识树和所述第二标识树中的任一标识树的更新方式包括以下步骤:

11.根据权利要求8所述的方法,其特征在于,所述第一标识和所述第二标识均为哈希字符串。

12.一种数据同步的结果确定装置,其特征在于,所述装置包括:

13.一种电子设备,其特征在于,包括:至少一个处理器和存储器;

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,使计算设备实现如权利要求1至11任一项所述的方法。

15.一种计算机程序,其特征在于,所述计算机程序用于实现如权利要求1至11任一项所述的方法。

...

【技术特征摘要】

1.一种数据同步的结果确定方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,每个所述第一子集合对应一个第一维度组合,所述第一标识是所述第一维度组合在所述第一数据集合中对应的子数据集合标识,所述将所述第二数据集合的标识与所述第一标识树中的所述第一标识进行匹配,得到匹配结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述第二数据集合的标识的获取方式包括以下步骤:

4.根据权利要求3所述的方法,其特征在于,所述第一标识树和所述第二标识树均是根据叶子结点中的标识向上聚合得到的,所述第一标识树和所述第二标识树中的每个非叶子节点中的标识,均是根据所述非叶子结点的子节点中的标识聚合得到的。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述异常节点对应的第一维度组合确定异常数据,包括:

7.根据权利要求5或6所述的方法,其特征在于,所述方法还包括:

8.根据权利要求3至6任一项所述的方法,...

【专利技术属性】
技术研发人员:张备
申请(专利权)人:北京有竹居网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1