System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据表亲和性分析方法、装置、计算机设备及存储介质制造方法及图纸_技高网

数据表亲和性分析方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:40562738 阅读:12 留言:0更新日期:2024-03-05 19:25
本发明专利技术公开了数据表亲和性分析方法、装置、计算机设备及存储介质,涉及分布式数据库技术领域,包括:对分布式数据库的SQL语句执行查询优化,以得到第一SQL语句;对执行查询优化后得到的所述第一SQL语句执行格式化处理,以得到第二SQL语句;对执行格式化处理后得到的所述第二SQL语句执行词法解析,以得到所述第二SQL语句对应的关键Token;根据所述关键Token,以更新所述分布式数据库中对应的各个数据表;根据所述各个数据表的任意两张数据表中Join连接条件和/或Where选择条件出现的频次,以分析所述任意两张数据表的亲和性高低。本发明专利技术方法通过实现对于分布式数据库中数据表进行快速且准确的亲和性分析,可保证分布式数据库中数据分布的准确性、一致性及完整性。

【技术实现步骤摘要】

本专利技术涉及分布式数据库,具体涉及一种数据表亲和性分析方法、装置、计算机设备以及非易失性计算机可读存储介质。


技术介绍

1、分布式数据库(ddb,distributed database)是一种数据库,其中数据存储在不同的物理位置,它可能存储在位于同一物理位置(例如数据中心)的多台计算机中,或者可能分散在互连计算机的网络中。分布式数据库的亲和性分析是指确定哪些数据应该存储在同一台或同一组服务器上的过程。亲和性分析考虑了数据之间的关联性和访问模式,以便优化数据访问和性能。

2、目前,在传统数据库向分布式数据库迁移过程中,数据表亲和性分析可能会面临一些难点,部分如下所述:

3、1)数据拆分:在分布式数据库中,数据通常被拆分成多个分片或分区,存储在不同的节点上;在进行数据表亲和性分析时,需要考虑如何将相关的数据正确地拆分和分布到不同的节点上,以确保查询的效率和正确性。

4、2)数据一致性:由于分布式数据库中的数据被存储在多个节点上,可能会面临数据一致性的挑战;在进行数据表亲和性分析时,需要确保数据在不同节点之间的一致性,以避免出现错误的结果。

5、3)查询优化:在分布式数据库中,由于数据存储在多个节点上,查询的执行计划可能会与传统数据库有所不同;在进行数据表亲和性分析时,需要重新评估查询的优化策略,以充分利用分布式环境中的计算资源和并行处理能力。

6、4)数据迁移和转换:将数据从传统数据库迁移到分布式数据库时,可能需要进行数据格式转换和迁移,这可能涉及到数据结构的调整、数据类型的转换等;在进行数据表亲和性分析时,需要确保数据转换过程中不会丢失关键信息或导致数据不一致。

7、这些都是在传统数据库向分布式数据库迁移过程中进行数据表亲和性分析时可能面临的一些难点。

8、基于此,如何提供一种数据表亲和性分析方法、装置、计算机设备以及非易失性计算机可读存储介质,通过实现对于分布式数据库中数据表进行快速且准确的亲和性分析,以保证分布式数据库中数据分布的准确性、一致性及完整性,是目前本领域技术人员亟待解决的问题。


技术实现思路

1、鉴于上述现有技术的不足之处,本专利技术的目的在于提供一种数据表亲和性分析方法、装置、计算机设备以及非易失性计算机可读存储介质,通过实现对于分布式数据库中数据表进行快速且准确的亲和性分析,可保证分布式数据库中数据分布的准确性、一致性及完整性。

2、为了达到上述目的,本专利技术采取了以下技术方案:

3、一种数据表亲和性分析方法,其中,包括:

4、对分布式数据库的sql语句执行查询优化,以得到第一sql语句;

5、对执行查询优化后得到的所述第一sql语句执行格式化处理,以得到第二sql语句;

6、对执行格式化处理后得到的所述第二sql语句执行词法解析,以得到所述第二sql语句对应的关键token;

7、根据所述关键token,以更新所述分布式数据库中对应的各个数据表;

8、根据所述各个数据表的任意两张数据表中join连接条件和/或where选择条件出现的频次,以分析所述任意两张数据表的亲和性高低。

9、在进一步的技术方案中,所述的数据表亲和性分析方法,其中,所述根据所述各个数据表的任意两张数据表中join连接条件和/或where选择条件出现的频次,以分析所述任意两张数据表的亲和性高低之后,还包括:

10、根据所述任意两张数据表的表记录数及亲和性高低,以生成所述分布式数据库的数据分布推荐策略。

11、在进一步的技术方案中,所述的数据表亲和性分析方法,其中,所述根据所述任意两张数据表的表记录数以及亲和性高低,以生成所述分布式数据库的数据分布推荐策略之后,还包括:

12、根据所述数据分布推荐策略,对所述分布式数据库执行数据重分布。

13、在进一步的技术方案中,所述的数据表亲和性分析方法,其中,所述根据所述关键token,以更新所述分布式数据库中对应的各个数据表,包括:

14、根据所述关键token,以更新所述分布式数据库中对应的各个数据表的表计数。

15、一种数据表亲和性分析装置,其中,包括:

16、查询优化模块,用于对分布式数据库的sql语句执行查询优化,以得到第一sql语句;

17、格式化模块,用于对执行查询优化后得到的所述第一sql语句执行格式化处理,以得到第二sql语句;

18、词法解析模块,用于对执行格式化处理后得到的所述第二sql语句执行词法解析,以得到所述第二sql语句对应的关键token;

19、更新模块,用于根据所述关键token,以更新所述分布式数据库中对应的各个数据表;

20、分析模块,用于根据所述各个数据表的任意两张数据表中join连接条件和/或where选择条件出现的频次,以分析所述任意两张数据表的亲和性高低。

21、在进一步的技术方案中,所述的数据表亲和性分析装置,其中,所述根据所述各个数据表的任意两张数据表中join连接条件和/或where选择条件出现的频次,以分析所述任意两张数据表的亲和性高低之后,还包括:

22、根据所述任意两张数据表的表记录数及亲和性高低,以生成所述分布式数据库的数据分布推荐策略。

23、在进一步的技术方案中,所述的数据表亲和性分析装置,其中,所述根据所述任意两张数据表的表记录数以及亲和性高低,以生成所述分布式数据库的数据分布推荐策略之后,还包括:

24、根据所述数据分布推荐策略,对所述分布式数据库执行数据重分布。

25、在进一步的技术方案中,所述的数据表亲和性分析装置,其中,所述根据所述关键token,以更新所述分布式数据库中对应的各个数据表,包括:

26、根据所述关键token,以更新所述分布式数据库中对应的各个数据表的表计数。

27、一种计算机设备,其中,所述计算机设备包括至少一个处理器;以及,

28、与所述至少一个处理器通信连接的存储器;其中,

29、所述存储器上存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行时,可实现如上述任一项所述的数据表亲和性分析方法。

30、一种非易失性计算机可读存储介质,其中,所述非易失性计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时,可实现如上述任一项所述的数据表亲和性分析方法。

31、相较于现有技术,本专利技术提供了一种数据表亲和性分析方法、装置、计算机设备以及非易失性计算机可读存储介质,其中,所述方法包括:对分布式数据库的sql语句执行查询优化,以得到第一sql语句;对执行查询优化后得到的所述第一sql语句执行格式化处理,以得到第二sql语句;对执行格式化处理后得到的所述第二sql语句执行词法解析,以得到所述第二sql语句对应的关键tok本文档来自技高网...

【技术保护点】

1.一种数据表亲和性分析方法,其特征在于,包括:

2.根据权利要求1所述的数据表亲和性分析方法,其特征在于,所述根据所述各个数据表的任意两张数据表中Join连接条件和/或Where选择条件出现的频次,以分析所述任意两张数据表的亲和性高低之后,还包括:

3.根据权利要求2所述的数据表亲和性分析方法,其特征在于,所述根据所述任意两张数据表的表记录数以及亲和性高低,以生成所述分布式数据库的数据分布推荐策略之后,还包括:

4.根据权利要求1、2或3所述的数据表亲和性分析方法,其特征在于,所述根据所述关键Token,以更新所述分布式数据库中对应的各个数据表,包括:

5.一种数据表亲和性分析装置,其特征在于,包括:

6.根据权利要求5所述的数据表亲和性分析装置,其特征在于,所述根据所述各个数据表的任意两张数据表中Join连接条件和/或Where选择条件出现的频次,以分析所述任意两张数据表的亲和性高低之后,还包括:

7.根据权利要求6所述的数据表亲和性分析装置,其特征在于,所述根据所述任意两张数据表的表记录数以及亲和性高低,以生成所述分布式数据库的数据分布推荐策略之后,还包括:

8.根据权利要求5、6或7所述的数据表亲和性分析装置,其特征在于,所述根据所述关键Token,以更新所述分布式数据库中对应的各个数据表,包括:

9.一种计算机设备,其特征在于,所述计算机设备包括至少一个处理器;以及,

10.一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时,可实现如权利要求1-4任一项所述的数据表亲和性分析方法。

...

【技术特征摘要】

1.一种数据表亲和性分析方法,其特征在于,包括:

2.根据权利要求1所述的数据表亲和性分析方法,其特征在于,所述根据所述各个数据表的任意两张数据表中join连接条件和/或where选择条件出现的频次,以分析所述任意两张数据表的亲和性高低之后,还包括:

3.根据权利要求2所述的数据表亲和性分析方法,其特征在于,所述根据所述任意两张数据表的表记录数以及亲和性高低,以生成所述分布式数据库的数据分布推荐策略之后,还包括:

4.根据权利要求1、2或3所述的数据表亲和性分析方法,其特征在于,所述根据所述关键token,以更新所述分布式数据库中对应的各个数据表,包括:

5.一种数据表亲和性分析装置,其特征在于,包括:

6.根据权利要求5所述的数据表亲和性分析装置,其特征在于,所述根据所述各个数据...

【专利技术属性】
技术研发人员:姜明俊秦延涛
申请(专利权)人:金篆信科有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1