System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据库管理,尤其涉及查询调度方法、装置、设备及计算机可读存储介质。
技术介绍
1、随着大数据时代的发展,数据库管理系统通常采用水平扩容来扩大数据库容量和吞吐量,但是水平扩容也带来了资源、节点分配的问题。
2、现有技术中,大多数数据库厂商在数据库水平扩容的基础上,通过轮询方法将负载过大的服务器上的会话连接迁移到负载较小的服务器上,从而缓解整个数据库管理系统的压力。
3、但是通过轮询方法缓解负载无法避免服务器负载过大,且通过轮询方法迁移会话时,易出现服务器短暂不可用的情况,导致服务器性能下降,用户体验感不佳。
4、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种查询调度方法、装置、设备及计算机可读存储介质,旨在通过将查询调度给不同的计算节点,避免计算节点过载,确保计算节点性能。
2、为实现上述目的,本申请提供一种查询调度方法,所述查询调度方法包括:
3、接收客户端指令,并将所述客户端指令中的查询指令输出为查询指令序列;
4、基于所述查询指令序列,获得在当前系统配置下,所有查询指令的传输时延与执行时延之和中最小的最优调度决策,其中,所述最优调度决策包括分配计算节点的决策和分配计算资源的决策;
5、根据所述分配计算节点的决策,将所述查询指令序列中的查询指令分别调度至预设数量的计算节点;
6、根据所述分配计算资源的决
7、可选地,所述查询调度方法应用于查询调度模型,所述查询调度模型用于输出所述最优调度决策;所述基于所述查询指令序列,获得在当前系统配置下,所有查询指令的传输时延与执行时延之和中最小的最优调度决策的步骤之前,还包括:
8、构建所述查询调度模型,其中,所述查询调度模型的优化目标为所述查询指令序列中所有查询指令的传输时延与执行时延的和最小。
9、可选地,所述查询指令序列的数据包括所述查询指令序列中各个查询指令的预估元数据处理量,所述当前系统配置包括计算节点的数量、各个计算节点可分配的计算资源、当前传输速率;所述查询调度模型包括内层算法模型;
10、所述构建所述查询调度模型的步骤,包括:
11、基于马尔可夫决策过程建立所述内层算法模型,所述内层算法模型包括状态空间、行动空间和奖励函数,所述状态空间由所述预估元数据处理量、所述计算节点的数量、各个计算节点可分配的计算资源、所述当前传输速率构建得到,所述行动空间由预设数量的分配计算节点的决策,以及预设数量的分配计算资源的决策构建得到,所述奖励函数由预设总时延,以及所述传输时延与执行时延的和构建得到。
12、可选地,所述内层算法模型还包括编码器和解码器;所述基于所述查询指令序列,获得在当前系统配置下,所有查询指令的传输时延与执行时延之和中最小的最优调度决策的步骤,包括:
13、将所述查询指令的当前状态空间和序列索引输入至所述编码器和所述解码器,得到当前决策,所述当前决策包括第一分配概率和第二分配概率,所述第一分配概率包括任一查询指令调度至任一计算节点的概率,所述第二分配概率包括任一计算节点给任一查询指令分配的计算资源的概率;
14、将所述当前决策与下一个查询指令的当前状态空间和序列索引输入至所述编码器和所述解码器,得到新的当前决策;
15、返回执行将所述查询指令的当前状态空间和序列索引输入至所述编码器和所述解码器的步骤,直至所有查询指令的当前状态空间均完成解码;
16、输出最优调度决策。
17、可选地,所述将所述查询指令的当前状态空间和序列索引输入至所述编码器和所述解码器,得到当前决策的步骤,包括:
18、在所述查询指令的当前状态空间和序列索引完成编码之后,得到所述查询指令的预设长度的状态向量;
19、基于注意力机制和所述编码器的输出时序,对所述状态向量赋权,得到各个查询指令的新的状态向量;
20、通过所述解码器解码所述新的状态向量,得到当前决策。
21、可选地,所述查询调度模型包括外层训练模型;所述构建所述查询调度模型的步骤,还包括:
22、构建所述外层训练模型,所述外层训练模型的训练目标为学习并提取不同查询指令的规律和模式;
23、通过预设数量的训练集对所述外层学习模型进行训练;
24、基于预设数量的测试集,评估训练后的所述外层学习模型,得到评估结果,所述评估结果包括所述外层学习模型的泛化能力和学习速度;
25、当所述评估结果收敛到第一预设收敛度时,得到训练完成的所述外层训练模型;
26、通过所述外层训练模型输出网络参数,对所述内层算法模型进行训练;
27、当所述内层算法模型的输出收敛到第二预设收敛度时,得到训练完成的所述内层算法模型。
28、可选地,所述根据所述分配计算资源的决策,确定任一计算节点所调度至的各查询指令的计算资源的步骤之后,还包括:
29、通过所述计算节点执行所述查询指令,并将执行结果返回至所述外层训练模型;
30、基于所述执行结果和所述奖励函数,通过强化学习算法构建得到损失函数;
31、基于所述损失函数,通过所述外层训练模型更新所述内层算法模型。
32、本申请还提供一种查询调度装置,所述查询调度装置包括:
33、接收模块,用于接收客户端指令,并将所述客户端指令中的查询指令输出为查询指令序列;
34、决策模块,用于基于所述查询指令序列,获得在当前系统配置下,所有查询指令的传输时延与执行时延之和中最小的最优调度决策,其中,所述最优调度决策包括分配计算节点的决策和分配计算资源的决策;
35、节点调度模块,用于根据所述分配计算节点的决策,将所述查询指令序列中的查询指令分别调度至预设数量的计算节点;
36、资源调度模块,用于根据所述分配计算资源的决策,确定任一计算节点所调度至的各查询指令的计算资源。
37、本申请还提供一种查询调度设备,所述查询调度设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上任一项所述的查询调度方法的步骤。
38、本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上任一项所述的查询调度方法的步骤。
39、本申请提供的一种查询调度方法,所述查询调度方法包括:接收客户端指令,并将所述客户端指令中的查询指令输出为查询指令序列;基于所述查询指令序列,获得在当前系统配置下,所有查询指令的传输时延与执行时延之和中最小的最优调度决策,其中,所述最优调度决策包括分配计算节点的决策和分配计算资源的决策;根据所述分配计算节点本文档来自技高网...
【技术保护点】
1.一种查询调度方法,其特征在于,所述查询调度方法包括:
2.如权利要求1所述查询调度方法,其特征在于,所述查询调度方法应用于查询调度模型,所述查询调度模型用于输出所述最优调度决策;所述基于所述查询指令序列,获得在当前系统配置下,所有查询指令的传输时延与执行时延之和中最小的最优调度决策的步骤之前,还包括:
3.如权利要求2所述查询调度方法,其特征在于,所述查询指令序列的数据包括所述查询指令序列中各个查询指令的预估元数据处理量,所述当前系统配置包括计算节点的数量、各个计算节点可分配的计算资源、当前传输速率;所述查询调度模型包括内层算法模型;
4.如权利要求3所述查询调度方法,其特征在于,所述内层算法模型还包括编码器和解码器;所述基于所述查询指令序列,获得在当前系统配置下,所有查询指令的传输时延与执行时延之和中最小的最优调度决策的步骤,包括:
5.如权利要求4所述查询调度方法,其特征在于,所述将所述查询指令的当前状态空间和序列索引输入至所述编码器和所述解码器,得到当前决策的步骤,包括:
6.如权利要求3所述查询调度方法,其特
7.如权利要求6所述查询调度方法,其特征在于,所述根据所述分配计算资源的决策,确定任一计算节点所调度至的各查询指令的计算资源的步骤之后,还包括:
8.一种查询调度装置,其特征在于,所述查询调度装置包括:
9.一种查询调度设备,其特征在于,所述查询调度设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至7中任一项所述的查询调度方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的查询调度方法的步骤。
...【技术特征摘要】
1.一种查询调度方法,其特征在于,所述查询调度方法包括:
2.如权利要求1所述查询调度方法,其特征在于,所述查询调度方法应用于查询调度模型,所述查询调度模型用于输出所述最优调度决策;所述基于所述查询指令序列,获得在当前系统配置下,所有查询指令的传输时延与执行时延之和中最小的最优调度决策的步骤之前,还包括:
3.如权利要求2所述查询调度方法,其特征在于,所述查询指令序列的数据包括所述查询指令序列中各个查询指令的预估元数据处理量,所述当前系统配置包括计算节点的数量、各个计算节点可分配的计算资源、当前传输速率;所述查询调度模型包括内层算法模型;
4.如权利要求3所述查询调度方法,其特征在于,所述内层算法模型还包括编码器和解码器;所述基于所述查询指令序列,获得在当前系统配置下,所有查询指令的传输时延与执行时延之和中最小的最优调度决策的步骤,包括:
5.如权利要求4所述查询调度方法,其特征在于,所述...
【专利技术属性】
技术研发人员:王龙,王祯,杨钊,
申请(专利权)人:矩阵起源深圳信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。