pod制造技术

本发明专利技术实施例提供了一种

【技术实现步骤摘要】
pod的调度方法、装置及电子设备


[0001]本专利技术涉及云计算
，尤其涉及一种
pod
的调度方法
、
装置及电子设备
。

技术介绍

[0002]广义的机器学习训练包含了传统数据挖掘和深度学习技术
。
根据计算特性的不同，深度学习在计算机视觉
、
语音识别等领域获得了更高的精度，从而得到广泛使用
。
深度学习模型训练过程存在很大计算量，而图形处理器
(Graphics Processing Unit
，
GPU)
能够更高效地执行这种简单但规模庞大的计算任务，因此成为运行深度学习程序的重要基础计算资源
。
相比于深度学习技术，传统数据挖掘技术并不把海量数据作为处理对象，且没有刚性要求需要使用
GPU
硬件加速计算，一般使用中央处理器
(Central Processing Unit
，
CPU)
即可完成挖掘任务
。GPU
服务器一般具有很高的配置，只需要
CPU
计算的传统挖掘任务可以充分利用空闲
GPU
服务器上的
CPU
计算资源进行计算，从而提升资源利用率
。
[0003]但是，现有的容器集群资源调度系统更多着眼于单一种类训练任务的资源调度，在私有化容器云平台计算资源有限的情况下，训练资源池需要同时支撑传统数据挖掘任务和深度学习任务的情况下，存在计算资源不能更好的充分利用的情况
。

技术实现思路

[0004]本专利技术实施例提供一种
pod
的调度方法
、
装置及电子设备，以解决现有的资源调度方法易导致资源利用率低的问题
。
[0005]第一方面，本专利技术实施例提供了一种
pod
的调度方法，所述方法包括：
[0006]在计算任务的任务类型为数据挖掘类型的情况下，通过堆叠算法将所述计算任务的
pod
分配至数据挖掘节点；
[0007]在所述数据挖掘节点均处于堆满状态的情况下，计算
N
个深度学习节点中每一个深度学习节点的平均资源利用率，
N
为大于1的整数；
[0008]根据每一个深度学习节点的平均资源利用率，确定所述
N
个深度学习节点中的目标节点；
[0009]将所述计算任务的
pod
调度至所述目标节点上
。
[0010]第二方面，本专利技术实施例还提供了一种
pod
的调度装置，所述装置包括：
[0011]第一处理模块，用于在计算任务的任务类型为数据挖掘类型的情况下，通过堆叠算法将所述计算任务的
pod
分配至数据挖掘节点；
[0012]第二处理模块，用于在所述数据挖掘节点均处于堆满状态的情况下，计算
N
个深度学习节点中每一个深度学习节点的平均资源利用率，
N
为大于1的整数；
[0013]第三处理模块，用于根据每一个深度学习节点的平均资源利用率，确定所述
N
个深度学习节点中的目标节点；
[0014]第四处理模块，用于将所述计算任务的
pod
调度至所述目标节点上
。
[0015]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器，收发机，处理器：
[0016]存储器，用于存储计算机程序；收发机，用于在处理器的控制下收发数据；处理器，用于读取存储器中的计算机程序并执行如上述所述的
pod
的调度方法
。
[0017]第四方面，本专利技术实施例还提供一种处理器可读存储介质，处理器可读存储介质存储有计算机程序，计算机程序用于使处理器执行上述所述的
pod
的调度方法
。
[0018]本专利技术上述实施例，在计算任务的任务类型为数据挖掘类型的情况下，通过堆叠算法将所述计算任务的
pod
分配至数据挖掘节点，若所述数据挖掘节点均处于堆满状态，则计算
N
个深度学习节点中每一个深度学习节点的平均资源利用率，并根据每一个深度学习节点的平均资源利用率，确定
N
个深度学习节点中的目标节点，将计算任务的
pod
调度至目标节点上
。
即通过对计算任务进行类型识别，在数据挖掘节点不能够满足计算任务的资源需求的情况下，将计算任务的
pod
调度至
N
个深度学习节点中空闲的目标节点上进行计算，以此提升资源利用率
。
附图说明
[0019]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图
。
[0020]图1为本专利技术实施例提供的
pod
的调度方法的步骤流程图之一；
[0021]图2为本专利技术实施例提供的
pod
的调度方法的步骤流程图之二；
[0022]图3为本专利技术实施例提供的
pod
的调度示意图；
[0023]图4为本专利技术实施例提供的
pod
的调度装置的结构框图；
[0024]图5为本专利技术实施例提供的电子设备的结构框图
。
具体实施方式
[0025]本专利技术实施例中术语“和
/
或”，描述关联对象的关联关系，表示可以存在三种关系，例如，
A
和
/
或
B
，可以表示：单独存在
A
，同时存在
A
和
B
，单独存在
B
这三种情况
。
字符“/”一般表示前后关联对象是一种“或”的关系
。
[0026]本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似
。
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0028]具体的，本专利技术实施例提供了一种
pod
的调度方法，如图1所示，具体可以包括如下步骤：
[0029]步骤
101
，在计算任务的任务类型为数据挖掘类型的情况下，通过堆叠算法将所述计算任务的
p本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
pod
的调度方法，其特征在于，所述方法包括：在计算任务的任务类型为数据挖掘类型的情况下，通过堆叠算法将所述计算任务的
pod
分配至数据挖掘节点；在所述数据挖掘节点均处于堆满状态的情况下，计算
N
个深度学习节点中每一个深度学习节点的平均资源利用率，
N
为大于1的整数；根据每一个深度学习节点的平均资源利用率，确定所述
N
个深度学习节点中的目标节点；将所述计算任务的
pod
调度至所述目标节点上
。2.
根据权利要求1所述的方法，其特征在于，所述计算
N
个深度学习节点中每一个深度学习节点的平均资源利用率，包括：获取第
i
个深度学习节点上的所有
pod
对应的
P
个性能的资源使用量以及所述第
i
个深度学习节点上的所有
pod
对应的
P
个性能的资源总量，
P
为大于1的整数，
i
为大于或等于
1、
且小于或等于
N
的整数；根据所述
P
个性能的资源使用量和所述
P
个性能的资源总量，分别计算所述
P
个性能的资源利用率；根据所述
P
个性能的资源利用率，计算所述第
i
个深度学习节点上的平均资源利用率；其中，所述第
i
个深度学习节点为所述
N
个深度学习节点中的任意一个节点
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述
P
个性能的资源使用量和所述
P
个性能的资源总量，分别计算所述
P
个性能的资源利用率，包括：获取所述第
i
个深度学习节点上的每一个
pod
对应的第一性能的资源使用量，并获取所述第
i
个深度学习节点上的
pod
的总数；根据所述第
i
个深度学习节点上的每一个
pod
对应的第一性能的资源使用量，计算所述第
i
个深度学习节点上的所有
pod
对应的第一性能的资源使用量；根据所述第
i
个深度学习节点上的所有
pod
对应的第一性能的资源使用量以及所述第
i
个深度学习节点上的
pod
的总数，计算所述第
i
个深度学习节点上的第一性能的资源利用率；其中，所述第一性能为所述
P
个性能中的任意一个性能
。4.
根据权利要求3所述的方法，其特征在于，所述第
i
个深度学习节点上的第一性能的资源利用率，具体通过以下公式计算：其中，
L(B
i
)
表示所述第
i
个深度学习节点上的第一性能的资源利用率；
S
表示所述第
i
个深度学习节点上的
pod
的总数；
Bpod
ij
表示所述第
i
个深度学习节点上的第
j
个
pod
对应的第一性能的资源使用量，
j
为大于或等于
1、
且小于或等于
S
的整数
。5.
根据权利要求2所述的方法，其特征在于，所述根据所述
P
个性能的资源利用率，计算所述第
i
个深度学习节点上的平均资源利用率，包括：获取所述
P
个性能对应的
P
个权重值；
根据所述
P
个性能的资源利用率以及所述
P
个权重值，计算所述第
i
个深度学习节点上的平均资源利用率
。6.
根据权利要求5所述的方法，其特征在于，所述
P
个性能包括以下至少两项：中央处理器
、
内存
、
磁盘
、
网络和图形处理器
。7.
根据权利要求6所述的方法，其特征在于，在所述
P
个性能包括中央处理器
、
内存
、
磁盘
、
网络和图形处理器的情况下，所述第
i
个深度学习节点上的平均资源利用率，具体通过以下公式计算：其中，
L
i
表示所述第
i
个深度学习节点上的平均资源利用率；
W(C
i
)
表示中央处理器的权重值；
L(C
i
)
表示中央处理器的资源利用率；
W(M
i
)
表示内存的权重值；
L(M
i
)
表示内存的资源利用率；
W(D
i
)
表示磁盘的权重值；
L(D
i
)
表示磁盘的资源利用率；
W(N
i
)
表示网络的权重值；
L(N
i
)
表示网络的资源利用率；
W(G
i
)
表示图形处理器的权重值；
L(G
i
)
表示图形处理器的资源利用率
。8.
根据权利要求1所述的方法，其特征在于，所述根据每一个深度学习节点的平均资源利用率，确定所述
N
个深度学习节点中的目标节点，包括：根据所述
N
个深度学习节点对应的
N
个平均资源利用率...

【专利技术属性】
技术研发人员：李婷，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：