System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据库查询,特别是涉及一种数据库查询的方法及装置、电子设备、存储介质。
技术介绍
1、随着大数据技术的迅猛发展,数据分析和处理的需求呈现出爆炸式增长。企业不仅需要处理海量数据,还需要在短时间内完成复杂的查询和分析任务。为了应对这些挑战,现代化的分布式数据库系统应运而生,分布式数据库系统在处理海量数据方面表现尤为突出。
2、分布式数据库系统通过将数据分布到多个节点上,并行处理查询请求。然而,在实际应用中,数据分布不均的问题仍然是一个亟待解决的难题。数据分布不均会导致查询执行过程中出现“长尾效应”,即某些查询实例的执行时间显著延长,从而影响整体查询性能。
3、现有技术在处理数据分布不均问题时,主要依赖于预定义的分桶策略,通过将数据划分为多个桶,并将每个桶分配到不同的节点上,以实现数据的均匀分布。然而,预定义的分桶策略通常是静态的,即在数据加载时就已经确定,无法适应数据分布的动态变化。
技术实现思路
1、鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的数据库查询的方法及装置、电子设备、存储介质,包括:
2、一种数据库查询的方法,所述方法包括:
3、获取查询请求,并生成所述查询请求对应的目标查询实例;
4、采用所述目标查询实例在所述数据库中进行查询,得到初始查询数据;
5、将所述初始查询数据分配至数据处理节点;
6、在所述数据处理节点中被分配的初始查询数据的数据量大于预设处
7、采用所述数据处理节点对被再次分配的初始查询数据进行处理,得到目标查询数据。
8、在本申请的可选实施例中,所述查询请求包括聚合查询请求,所述生成所述查询请求对应的目标查询实例,包括:
9、根据所述聚合查询请求,确定多个初始查询实例;
10、采用所述多个初始查询实例扫描所述数据库,得到所述多个初始查询实例在所述数据库中对应的数据量;
11、依据所述多个初始查询实例分别对应的数据量,对所述多个初始查询实例进行调整,得到多个目标查询实例。
12、在本申请的可选实施例中,所述对所述多个初始查询实例进行调整,包括:
13、从所述数据量大于预设实例阈值的第一初始查询实例中,确定待调出数据;
14、将所述第一初始实例的所述待调出数据指定给所述数据量小于所述预设实例阈值的第二初始查询实例。
15、在本申请的可选实施例中,所述对所述多个初始查询实例进行调整,包括:
16、从所述数据量大于预设实例阈值的第一初始查询实例中,确定待调出数据;
17、生成新增查询实例,将所述第一初始实例的所述待调出数据指定给所述新增查询实例。
18、在本申请的可选实施例中,所述将所述初始查询数据分配至数据处理节点,包括:
19、依据第一预设算法,确定所述初始查询数据的第一标识信息;
20、依据所述第一标识信息,将所述初始查询数据分配至多个数据处理节点。
21、在本申请的可选实施例中,所述在所述数据处理节点中被分配的初始查询数据的数据量大于预设处理阈值的情况下,对所述数据处理节点中被分配的初始查询数据进行再次分配,包括:
22、在所述数据处理节点中的被分配的初始查询数据的数据量大于所述预设处理阈值的情况下,依据第二预设算法,确定所述初始查询数据的第二标识信息;
23、依据所述第二标识信息,对所述数据处理节点中被分配的初始查询数据进行再次分配。
24、在本申请的可选实施例中,所述采用所述数据处理节点对被再次分配的初始查询数据进行处理,得到目标查询数据,包括:
25、确定所述聚合查询请求中的聚合操作类型;
26、依据所述聚合操作类型对所述被再次分配的初始查询数据进行计算,得到多个聚合计算结果;
27、合并所述多个聚合计算结果,得到所述目标查询数据。
28、一种数据库查询的装置,所述装置包括:
29、第一获取模块,被配置为获取查询请求,并生成所述查询请求对应的目标查询实例;
30、实例查询模块,被配置为采用所述目标查询实例在所述数据库中进行查询,得到初始查询数据;
31、第一分配模块,被配置为将所述初始查询数据分配至数据处理节点;
32、第二分配模块,被配置为在所述数据处理节点中被分配的初始查询数据的数据量大于预设处理阈值的情况下,对所述数据处理节点中被分配的初始查询数据进行再次分配;
33、结果处理模块,被配置为采用所述数据处理节点对被再次分配的初始查询数据进行处理,得到目标查询数据。
34、一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的数据库查询的方法。
35、一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被所述处理器执行时实现如上所述的数据库查询的方法。
36、本专利技术实施例具有以下优点:
37、通过获取查询请求,并生成查询请求对应的目标查询实例,采用目标查询实例在数据库中进行查询,得到初始查询数据,将初始查询数据分配至数据处理节点,在数据处理节点中被分配的初始查询数据的数据量大于预设处理阈值的情况下,对数据处理节点中被分配的初始查询数据进行再次分配,采用数据处理节点对被再次分配的初始查询数据进行处理,得到目标查询数据,在数据查询的过程中对数据进行多次分配,确保查询任务的负载更加均衡,减少数据倾斜,提高查询的响应速度。
本文档来自技高网...【技术保护点】
1.一种数据库查询的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述查询请求包括聚合查询请求,所述生成所述查询请求对应的目标查询实例,包括:
3.根据权利要求2所述的方法,其特征在于,所述对所述多个初始查询实例进行调整,包括:
4.根据权利要求2所述的方法,其特征在于,所述对所述多个初始查询实例进行调整,包括:
5.根据权利要求1所述的方法,其特征在于,所述将所述初始查询数据分配至数据处理节点,包括:
6.根据权利要求5所述的方法,其特征在于,所述在所述数据处理节点中被分配的初始查询数据的数据量大于预设处理阈值的情况下,对所述数据处理节点中被分配的初始查询数据进行再次分配,包括:
7.根据权利要求2所述的方法,其特征在于,所述采用所述数据处理节点对被再次分配的初始查询数据进行处理,得到目标查询数据,包括:
8.一种数据库查询的装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据库查询的方法。
...【技术特征摘要】
1.一种数据库查询的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述查询请求包括聚合查询请求,所述生成所述查询请求对应的目标查询实例,包括:
3.根据权利要求2所述的方法,其特征在于,所述对所述多个初始查询实例进行调整,包括:
4.根据权利要求2所述的方法,其特征在于,所述对所述多个初始查询实例进行调整,包括:
5.根据权利要求1所述的方法,其特征在于,所述将所述初始查询数据分配至数据处理节点,包括:
6.根据权利要求5所述的方法,其特征在于,所述在所述数据处理节点中被分配的初始查询数据的数据量大于预设处理阈值的情况下,对所述数据处理...
【专利技术属性】
技术研发人员:蒋青松,王晓洪,黄勇波,陈志强,
申请(专利权)人:赛力斯汽车有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。