资源调度方法及装置、设备、存储介质制造方法及图纸

本申请提供了一种资源调度方法及装置、设备、存储介质；其中，所述方法包括：响应于接收的资源调度请求，获取多个候选服务节点的性能信息、各个所述候选服务节点当前运行的第一计算任务的属性信息和待运行的第二计算任务的属性信息；其中，资源调度请求中至少包括运行第二计算任务所需的业务参数，性能信息至少包括候选服务节点的至少一个处理器的核数和处理器的空闲率；根据各个所述候选服务节点的性能信息和所述属性信息，从各个所述候选服务节点中选出目标服务节点；向所述目标服务节点下发所述业务参数，以使所述目标服务节点根据所述业务参数运行所述第二计算任务；如此，能够有效提高第二计算任务的运行效率。有效提高第二计算任务的运行效率。有效提高第二计算任务的运行效率。

【技术实现步骤摘要】
资源调度方法及装置、设备、存储介质


[0001]本申请涉及通信技术，涉及但不限于一种资源调度方法及装置、设备、存储介质。

技术介绍

[0002]在人工智能机器学习领域，为了加快模型训练的速度，通常会使用分布式的大规模中央处理器(central processing unit，CPU)/图形处理器(Graphics Processing Unit，GPU)计算集群来训练模型。其中，如何管理和调度节点资源来运行相关计算任务，以降低运维成本，提高任务运行效率是一个主要问题。

技术实现思路

[0003]有鉴于此，本申请提供一种资源调度方法及装置、设备、存储介质。
[0004]根据本申请实施例的一个方面，提供一种资源调度方法，包括：响应于接收的资源调度请求，获取多个候选服务节点的性能信息、各个所述候选服务节点当前运行的第一计算任务的属性信息和待运行的第二计算任务的属性信息；其中，所述资源调度请求中至少包括运行第二计算任务所需的业务参数，所述性能信息至少包括所述候选服务节点的至少一个处理器的核数和所述处理器的空闲率；根据各个所述候选服务节点的性能信息和所述属性信息，从各个所述候选服务节点中选出目标服务节点；向所述目标服务节点下发所述业务参数，以使所述目标服务节点根据所述业务参数运行所述第二计算任务。
[0005]可以理解地，第二计算任务的运行速度与服务节点自身的性能(至少通过候选服务节点的处理器的核数和处理器的空闲率来体现)息息相关，服务节点的性能越高，则服务节点运行第二计算任务时的运行速度越快，效率越高；当然，第二计算任务的运行速度还与服务节点上当前正在运行的第一计算任务的属性信息有关。在本申请实施例中，综合考虑到服务节点的处理器的核数和处理器的空闲率，以及服务节点当前正在运行的第一计算任务的属性信息和待运行的第二计算任务的属性信息，共同为客户端待运行的第二计算任务分配目标服务节点，从而能够有效提高第二计算任务的运行效率。
[0006]本申请实施例提供的资源调度装置，包括：响应单元，用于响应于接收的资源调度请求，从所述注册中心获取多个候选服务节点的性能信息、各个所述候选服务节点当前运行的第一计算任务的属性信息和待运行的第二计算任务的属性信息；其中，所述资源调度请求中至少包括运行第二计算任务所需的业务参数，所述性能信息至少包括所述候选服务节点的至少一个处理器的核数和所述处理器的空闲率；选择单元，用于根据各个所述候选服务节点的性能信息和所述属性信息，从各个所述候选服务节点中选出目标服务节点；下发单元，用于向所述目标服务节点下发所述业务参数，以使所述目标服务节点根据所述业务参数运行所述第二计算任务。
[0007]本申请实施例提供的电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。
[0008]本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程
序被处理器执行时实现本申请实施例提供的所述的方法。
[0009]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0010]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0012]图1为本申请实施例提供的一种资源调度方法的实现流程示意图；
[0013]图2为本申请实施例提供的一种资源调度方法的实现流程示意图；
[0014]图3为本申请实施例提供的一种资源调度方法的实现流程示意图；
[0015]图4为一种计算集群资源调度方法的实现流程示意图；
[0016]图5为一种计算集群资源调度系统结构图；
[0017]图6为本申请实施例资源调度装置的结构示意图；
[0018]图7为本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0019]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0020]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0021]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0022]本申请实施例提供一种资源调度方法，该方法应用于电子设备，该电子设备在实施的过程中可以为各种类型的具有信息处理能力的设备，例如所述电子设备可以是手机、平板电脑或者台式机等移动设备，也可以是其他物联网设备、工作站或者服务器、服务器集群等。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
[0023]图1为本申请实施例提供的资源调度方法的实现流程示意图，如图1所示，该方法可以包括以下步骤101至步骤103：
[0024]步骤101，资源调度器响应于接收的资源调度请求，获取多个候选服务节点的性能信息、各个候选服务节点当前运行的第一计算任务的属性信息和待运行的第二计算任务的
属性信息；其中，资源调度请求中至少包括运行第二计算任务所需的业务参数，性能信息至少包括候选服务节点的至少一个处理器的核数和处理器的空闲率。
[0025]需要说明的是，当前在候选服务节点上运行的每一个计算任务称为第一计算任务，即，第一计算任务的数量至少有一个。
[0026]这里，第二计算任务是不同于第一计算任务的。在一些实施例中，第二计算任务为客户端侧待运行的计算任务，需要资源调度器为所述待运行的第二计算任务分配计算资源。
[0027]在一些实施例中，候选服务节点的处理器至少包括CPU和/或GPU。
[0028]在一些实施例中，如图2所示，通过执行如下步骤1011至步骤1013来实现步骤101：
[0029]步骤1011，多个候选服务节点在注册中心进行注册。
[0030]在一些实施例中，候选服务节点向注册中心发送注册请求，并将自身的性能信息发送给注册中心。
[0031]其中，对于注册中心的类型不做限定，例如，注册中心为Nacos服务注册中心，或者，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源调度方法，其特征在于，所述方法包括：响应于接收的资源调度请求，获取多个候选服务节点的性能信息、各个所述候选服务节点当前运行的第一计算任务的属性信息和待运行的第二计算任务的属性信息；其中，所述资源调度请求中至少包括运行第二计算任务所需的业务参数，所述性能信息至少包括所述候选服务节点的至少一个处理器的核数和所述处理器的空闲率；根据各个所述候选服务节点的性能信息和所述属性信息，从各个所述候选服务节点中选出目标服务节点；向所述目标服务节点下发所述业务参数，以使所述目标服务节点根据所述业务参数运行所述第二计算任务。2.根据权利要求1所述的方法，其特征在于，所述根据各个所述候选服务节点的性能信息和所述属性信息，从各个所述候选服务节点中选出目标服务节点，包括：根据所述候选服务节点的至少一个处理器的核数、所述处理器的空闲率和所述属性信息，确定所述候选服务节点的第一负载值；根据各个所述候选服务节点的第一负载值，从各个所述候选服务节点中选出目标服务节点。3.根据权利要求2所述的方法，其特征在于，所述属性信息包括计算任务的类型；所述根据所述候选服务节点的至少一个处理器的核数、所述处理器的空闲率和所述属性信息，确定所述候选服务节点的第一负载值，包括：将所述候选服务节点的同一处理器的核数和空闲率进行融合，得到对应得分；将所述候选服务节点的各个处理器的得分进行加权，得到所述候选服务节点的性能得分；获取所述候选服务节点当前运行的第一计算任务的第一类型权值和所述第二计算任务的第二类型权值；根据所述候选服务节点的各个类型的第一计算任务的数量、所述候选服务节点的各个第一计算任务的第一类型权值、所述第二计算任务的数量和所述第二计算任务的第二类型权值，确定所述第一计算任务和所述第二计算任务在所述候选服务节点上的资源总占比；根据所述性能得分和所述资源总占比，确定所述候选服务节点的第一负载值。4.根据权利要求3所述的方法，其特征在于，所述根据所述候选服务节点的各个类型的第一计算任务的数量、所述候选服务节点的各个第一计算任务的第一类型权值、所述第二计算任务的数量和所述第二计算任务的第二类型权值，确定所述第一计算任务和所述第二计算任务在所述候选服务节点上的资源总占比，包括：根据所述候选服务节点的各个类型的第一计算任务的数量和所述候选服务节点的各个第一计算任务的第一类型权值，确定所述第一计算任务在所述候选服务节点的第一资源占比；根据所述第二计...

【专利技术属性】
技术研发人员：邢小亮，朱琳，梁晓扬，王凤，康凯伦，张通，陈丰琪，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：