一种智能增强数据处理节点处理能力的方法和系统技术方案

本发明专利技术公开了一种智能增强数据处理节点处理能力的方法和系统，该方法包括：根据节点数据结构构建集群，确定所述集群中各个节点的节点梯度，并依据所述节点梯度

【技术实现步骤摘要】
一种智能增强数据处理节点处理能力的方法和系统


[0001]本申请涉及数据库技术和数据可视化领域，更具体地，涉及一种智能增强数据处理节点处理能力的方法和系统
。

技术介绍

[0002]在现有的数据库集群中，在构建数据库集群时，数据库服务节点之间的连接关系和节点的作用都已经确定
。
在集群接收和处理应用端发出的请求任务的过程，都是基于已经确定的节点间的连接关系和节点的作用进行任务分发
、
数据传输
、
任务处理和结果反馈
。
这种方式在一定程度上提升了集群面对一定并发量的请求任务的处理能力，以及长期运行的稳定性和可用性
。
[0003]但随着请求任务的规模逐步增加，这种方式无法根据请求任务的规模进行节点任务能力的调整，导致节点固化，集群的整体处理性能快速衰减
。
[0004]基于此，有必要引入一种新的方法和系统，对集群中各节点的作用进行进一步细分，并能够根据请求任务的规模对节点自身的处理能力，以及参与请求任务执行的节点数量进行动态调整，以解决现有技术中存在的集群中节点固化的技术问题，从而提升集群中各个节点的任务处理能力和效率，以及整个集群的任务处理性能，合理高效地利用集群中的任务处理资源
。

技术实现思路

[0005]针对上面提到的技术问题，本专利技术提供一种智能增强数据处理节点处理能力的方法和系统，用以解决现有技术中存在的无法根据请求任务的规模进行节点任务能力的调整，导致节点固化，集群的整体处理性能快速衰减的技术问题
。
[0006]本专利技术提供一种智能增强数据处理节点处理能力的方法，所述方法包括：
[0007]S1
，节点集群构建：根据节点数据结构构建集群，确定所述集群中各个节点的节点梯度，并依据所述节点梯度
、
节点参数和节点编号创建节点梯度信息表和节点参数信息构建表；
S2
，构建并初始化集群增强模型
M
：基于所述节点梯度信息表和所述节点参数信息构建表构建集群增强模型
M
，对所述集群中的各节点的参数进行初始设置，并基于初始设置的参数运行所述集群，对所述集群增强模型
M
进行初始训练，得到初始的集群增强模型
M
；
S3
，优化集群增强模型
M
：集群中的核心节点接收请求任务，并将所述请求任务分发至各个执行节点执行，并根据各个所述执行节点的执行信息，对所述初始的集群增强模型
M
进行优化，得到与所述请求任务的任务类型对应的优化的集群增强模型
M
；其中，所述节点数据结构，包括：节点编号
、
节点类型
、
节点属性
、
节点参数和节点梯度；所述节点类型，包括：所述核心节点
、
执行节点和替换节点；所述节点属性，包括：接口
、
内存大小
、
网络地址
、
存储空间；所述节点参数，包括：内存
、
处理器
、
硬盘
、
网络
、
操作系统和访问控制；所述执行信息，包括：数据传输时间
、
执行计划执行时间
、
内存消耗容量
、
缓存占用率和并发线程数量；所述执行节点的总数量为
n
，所述执行节点的节点编号为
Di
，所述内存大小为
Mi、
所述存储空间的大小
为
Si
，所述处理器的核数为
Ci
，所述硬盘的容量为
Yi、
所述网络的带宽为
Wi
，则，所述集群增强模型
M
为：
[0008]n
为等于或者大于1的正数
。
[0009]如上所述，所述
S1
的步骤包括：
S1
‑1，根据的各个节点的所述节点编号
、
所述节点类型
、
所述节点属性和所述节点参数，通过所述接口建立各个节点之间的连接关系，构建所述集群；
S1
‑2，根据所述集群中各节点的所述节点编号
、
所述节点类型和所述连接关系，为各节点添加节点梯度标识，并确定各节点的节点梯度；
S1
‑3，依据所述节点梯度
、
所述节点参数和所述节点编号创建所述节点梯度信息表和所述节点参数信息构建表；其中，所述节点梯度标识根据所述节点类型进行设置，包括第一类节点梯度标识
、
第二类节点梯度标识和第三类节点梯度标识，所述核心节点的节点梯度标识由所述第一类节点梯度标识和所述核心节点的节点编号组成，所述执行节点由所述第二类节点梯度标识和所述执行节点的节点编号组成，所述替换节点的节点梯度标识由所述第一类节点梯度标识和所述替换节点的节点编号组成；所述节点梯度信息表包含各节点之间的连接关系和节点梯度，用于在处理所述请求任务时，对各节点进行调度
。
[0010]如上所述，所述
S1
‑2，根据所述集群中各节点的所述节点编号
、
所述节点类型和所述连接关系，为各节点添加节点梯度标识，并确定各节点的节点梯度的步骤还包括替换节点生成的步骤，具体为：根据所述节点编号
、
所述节点类型和所述连接关系，确定所述核心节点
、
所述执行节点，并构造所述核心节点与所述执行节点之间的连接关系；根据所述核心节点的节点编号
、
所述执行节点的节点编号，以及全部节点的节点编号，确定所述替换节点，并构造所述执行节点与所述替换节点之间的连接关系；根据各所述替换节点的节点编号，以及所述执行节点与所述替换节点之间的连接关系，为各所述替换节点添加节点梯度标识，确定各所述替换节点的节点梯度，并将所述替换节点的节点编号
、
节点梯度和节点参数增加至所述节点梯度信息表和所述节点参数信息构建表中
。
[0011]如上所述，所述
S1
的步骤还包括新增节点处理步骤，具体为：根据所述节点数据结构对所述新增节点进行编号，并确定所述新增节点的节点类型；根据所述新增节点的节点类型和编号，构造所述新增节点与其它节点之间的连接关系，并确定所述新增节点的节点梯度，添加节点梯度标识；初始设置所述新增节点的节点属性和节点参数，并将所述新增节点的的节点编号
、
节点梯度和节点参数增加至所述节点梯度信息表和所述节点参数信息构建表中
。
[0012]如上所述，所述
S2
的步骤包括：
S2
‑1，基于所述节点梯度信息表和所述节点参数信息构建表中的所述执行节点的节点编号
、
节点属性和节点参数构建所述集群增强模型
M
...

【技术保护点】

【技术特征摘要】
1.
一种智能增强数据处理节点处理能力的方法，其特征在于，所述方法包括：
S1
，节点集群构建：根据节点数据结构构建集群，确定所述集群中各个节点的节点梯度，并依据所述节点梯度
、
节点参数和节点编号创建节点梯度信息表和节点参数信息构建表；
S2
，构建并初始化集群增强模型
M
：基于所述节点梯度信息表和所述节点参数信息构建表构建集群增强模型
M
，对所述集群中的各节点的参数进行初始设置，并基于初始设置的参数运行所述集群，对所述集群增强模型
M
进行初始训练，得到初始的集群增强模型
M
；
S3
，优化集群增强模型
M
：集群中的核心节点接收请求任务，并将所述请求任务分发至各个执行节点执行，并根据各个所述执行节点的执行信息，对所述初始的集群增强模型
M
进行优化，得到与所述请求任务的任务类型对应的优化的集群增强模型
M
；其中，所述节点数据结构，包括：节点编号
、
节点类型
、
节点属性
、
节点参数和节点梯度；所述节点类型，包括：所述核心节点
、
执行节点和替换节点；所述节点属性，包括：接口
、
内存大小
、
网络地址
、
存储空间；所述节点参数，包括：内存
、
处理器
、
硬盘
、
网络
、
操作系统和访问控制；所述执行信息，包括：数据传输时间
、
执行计划执行时间
、
内存消耗容量
、
缓存占用率和并发线程数量；所述执行节点的总数量为
n
，所述执行节点的节点编号为
Di
，所述内存大小为
Mi、
所述存储空间的大小为
Si
，所述处理器的核数为
Ci
，所述硬盘的容量为
Yi、
所述网络的带宽为
Wi
，则，所述集群增强模型
M
为：
n
为等于或者大于1的正数
。2.
如权利要求1所述的方法，其特征在于，所述
S1
的步骤包括：
S1
‑1，根据的各个节点的所述节点编号
、
所述节点类型
、
所述节点属性和所述节点参数，通过所述接口建立各个节点之间的连接关系，构建所述集群；
S1
‑2，根据所述集群中各节点的所述节点编号
、
所述节点类型和所述连接关系，为各节点添加节点梯度标识，并确定各节点的节点梯度；
S1
‑3，依据所述节点梯度
、
所述节点参数和所述节点编号创建所述节点梯度信息表和所述节点参数信息构建表；其中，所述节点梯度标识根据所述节点类型进行设置，包括第一类节点梯度标识
、
第二类节点梯度标识和第三类节点梯度标识，所述核心节点的节点梯度标识由所述第一类节点梯度标识和所述核心节点的节点编号组成，所述执行节点由所述第二类节点梯度标识和所述执行节点的节点编号组成，所述替换节点的节点梯度标识由所述第一类节点梯度标识和所述替换节点的节点编号组成；所述节点梯度信息表包含各节点之间的连接关系和节点梯度，用于在处理所述请求任务时，对各节点进行调度
。3.
如权利要求2所述的方法，其特征在于，所述
S1
‑2，根据所述集群中各节点的所述节
点编号
、
所述节点类型和所述连接关系，为各节点添加节点梯度标识，并确定各节点的节点梯度的步骤还包括替换节点生成的步骤，具体为：根据所述节点编号
、
所述节点类型和所述连接关系，确定所述核心节点
、
所述执行节点，并构造所述核心节点与所述执行节点之间的连接关系；根据所述核心节点的节点编号
、
所述执行节点的节点编号，以及全部节点的节点编号，确定所述替换节点，并构造所述执行节点与所述替换节点之间的连接关系；根据各所述替换节点的节点编号，以及所述执行节点与所述替换节点之间的连接关系，为各所述替换节点添加节点梯度标识，确定各所述替换节点的节点梯度，并将所述替换节点的节点编号
、
节点梯度和节点参数增加至所述节点梯度信息表和所述节点参数信息构建表中
。4.
如权利要求1所述的方法，其特征在于，所述
S1
的步骤还包括新增节点处理步骤，具体为：根据所述节点数据结构对所述新增节点进行编号，并确定所述新增节点的节点类型；根据所述新增节点的节点类型和编号，构造所述新增节点与其它节点之间的连接关系，并确定所述新增节点的节点梯度，添加节点梯度标识；初始设置所述新增节点的节点属性和节点参数，并将所述新增节点的的节点编号
、
节点梯度和节点参数增加至所述节点梯度信息表和所述节点参数信息构建表中
。5.
如权利要求1所述的方法，其特征在于，所述
S2
的步骤包括：
S2
‑1，基于所述节点梯度信息表和所述节点参数信息构建表中的所述执行节点的节点编号
、
节点属性和节点参数构建所述集群增强模型
M
；
S2
‑2，对所述集群中的各所述执行节点的节点参数进行初始设置；
S2
‑3，基于初始设置的参数运行所述集群，并根据所述执行信息对所述集群增强模型
M
进行初始训练，得到初始的集群增强模型
M。6.
如权利要求1所述的方法，其特征在于，所述
S3
的步骤包括：
S3
‑1，所述集群中的核心节点接收应用端的请求任务，并对所述请求任务进行解析，得到执行任务和任务类型；
S3
‑2，所述核心节点根据所述任务类型调...

【专利技术属性】
技术研发人员：刘睿民，李元平，于秀龙，
申请(专利权)人：北京柏睿数据技术股份有限公司，
类型：发明
国别省市：