资源调度方法及管理集群、存储介质、电子设备技术

本公开的实施方式涉及资源调度技术领域，更具体地，本公开的实施方式涉及资源调度方法及管理集群，存储介质和电子设备。应用于资源调度系统，该资源调度系统包括管理集群，至少一个供给集群，以及至少一个消费集群。方法包括：管理集群获取至少一个供给集群中所有可供调度的资源，并将相应的资源汇集为统一资源池；管理集群获取来自于至少一个消费集群的任务集合；管理集群基于任务集合从统一资源池中调取与任务集合相匹配的资源集合，并根据匹配得到的资源集合，确定至少一个供给集群中实际的资源提供者，并将任务集合分配至该资源提供者，交由其执行。本公开的技术方案能够实现动态的资源调度，提高供给集群的资源利用率。提高供给集群的资源利用率。提高供给集群的资源利用率。

【技术实现步骤摘要】
资源调度方法及管理集群、存储介质、电子设备


[0001]本公开的实施方式涉及容器云计算
，更具体地，本公开的实施方式涉及资源调度方法及管理集群，存储介质和电子设备。

技术介绍

[0002]本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。
[0003]为了解决单机任务处理的瓶颈，集群通过多台服务器形成的节点来进行任务处理，以成倍提高任务处理能力。

技术实现思路

[0004]由于单个集群本身也存在任务处理的性能瓶颈，因此，可以采用跨集群资源调度的方式，利用远程集群的资源来执行本地集群的任务。
[0005]然而，目前常常通过静态配置的调度方式，按预先设定任务和供给集群的对应关系，来将任务分配到对应的供给集群中进行任务处理。静态配置的调度方式存在资源浪费，无法提高资源利用率的问题。
[0006]为此，非常需要一种改进的资源调度方法及管理集群、存储介质和电子设备，实现动态的资源调度，提高供给集群的资源利用率。
[0007]在本上下文中，本公开的实施方式期望提供一种资源调度方法和管理集群、存储介质和电子设备。
[0008]根据本公开的一个方面，提供一种资源调度方法，应用于资源调度系统，该资源调度系统包括管理集群，至少一个供给集群，以及至少一个消费集群，所述方法包括：
[0009]所述管理集群获取所述至少一个供给集群中所有可供调度的资源，并将相应的资源汇集为统一资源池；
[0010]所述管理集群获取来自于所述至少一个消费集群的任务集合；
[0011]所述管理集群基于所述任务集合从所述统一资源池中调取与所述任务集合相匹配的资源集合，并根据匹配得到的资源集合，确定所述至少一个供给集群中实际的资源提供者，并将所述任务集合分配至该资源提供者，交由其执行。
[0012]根据本公开的一个方面，提供一种管理集群，应用于资源调度系统，该资源调度系统包括管理集群，至少一个供给集群，以及至少一个消费集群，所述管理集群包括：
[0013]资源管理模块，用于获取所述至少一个供给集群中所有可供调度的资源，并将相应的资源汇集为统一资源池；
[0014]任务复制模块，用于获取来自于所述至少一个消费集群的任务集合；
[0015]任务调度模块，用于基于所述任务集合从所述统一资源池中调取与所述任务集合相匹配的资源集合，并根据匹配得到的资源集合，确定所述至少一个供给集群中实际的资源提供者，并将所述任务集合分配至该资源提供者，交由其执行。
[0016]根据本公开的一个方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时上述的资源调度方法。
[0017]根据本公开的一个方面，提供一种电子设备，包括：
[0018]处理器；以及
[0019]存储器，用于存储所述处理器的可执行指令；
[0020]其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的资源调度方法。
[0021]根据本公开实施方式的资源调度方法中，使得所述管理集群获取所述至少一个供给集群中所有可供调度的资源，并将相应的资源汇集为统一资源池，以供管理集群进行调度，无需对资源进行静态分割，避免了供给集群资源只能提供给某个固定消费集群执行任务的局限性，多个消费集群能够动态利用多个供给集群的资源集合执行任务，从而提高资源利用率；通过管理集群来将消费集群的任务集合分配至供给集群执行，消费集群和供给集群完全解耦，无需建立消费集群和供给集群之间的对接通道，消费集群也无需储存供给集群的访问凭证，便于资源调度系统的运行维护的同时，保证了供给集群的访问安全性；供给集群的资源由管理集群来调度，便于管理集群进行资源的调度控制以及资源监控；管理集群可以将多个供给集群的资源并行调度给多个消费集群以执行任务集合，提高资源调度效率。
附图说明
[0022]通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
[0023]图1示意性地示出了根据本公开实施方式的资源调度系统的模块图；
[0024]图2示意性地示出了根据本公开实施方式的资源调度方法的流程图；
[0025]图3示意性地示出了根据本公开实施方式的资源统计的示意图；
[0026]图4示意性地示出了根据本公开实施方式的任务复制的示意图；
[0027]图5示意性地示出了根据本公开实施方式的根据调度配置信息进行资源集合匹配的流程图；
[0028]图6示意性地示出了根据本公开实施方式的储存任务执行失败记录的流程图；
[0029]图7示意性地示出了根据本公开实施方式的重新调度步骤的流程图；
[0030]图8示意性地示出了根据本公开具体实施方式的资源调度系统的模块图；
[0031]图9示意性地示出了根据本公开实施方式的管理集群的模块图；
[0032]图10示出了根据本公开实施方式的存储介质的示意图；以及
[0033]图11示意性示出了根据公开实施方式的电子设备的方框图。
[0034]在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0035]下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何
方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0036]本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
[0037]根据本公开的实施方式，提供一种资源调度方法、管理集群、存储介质和电子设备。
[0038]在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
[0039]下面参考本公开的若干代表性实施方式，详细阐述本公开的原理和精神。
[0040]专利技术概述
[0041]专利技术人发现，由于单个集群本身也存在任务处理的性能瓶颈，因此，可以采用跨集群资源调度的方式，利用远程集群的资源来执行本地集群的任务。
[0042]然而，目前的资源调度技术中：
[0043]资源调度技术一：在联邦集群中配置调度策略。调度策略指定每个任务集合按照预设置的分配比例把各任务调度到不同的供给集群中，该资源调度技术属于一种静态配置的跨集群调度方案，用户需要提前规划好跨集群分布，同时，联邦集群中还配置所有供给集群的名称、地址以及访问凭证；
[0044]资源调度技术一存在如下缺陷：
[0045]1、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源调度方法，其特征在于，应用于资源调度系统，该资源调度系统包括管理集群，至少一个供给集群，以及至少一个消费集群，所述方法包括：所述管理集群获取所述至少一个供给集群中所有可供调度的资源，并将相应的资源汇集为统一资源池；所述管理集群获取来自于所述至少一个消费集群的任务集合；所述管理集群基于所述任务集合从所述统一资源池中调取与所述任务集合相匹配的资源集合，并根据匹配得到的资源集合，确定所述至少一个供给集群中实际的资源提供者，并将所述任务集合分配至该资源提供者，交由其执行。2.根据权利要求1所述的资源调度方法，其特征在于，所述管理集群包括资源管理模块，所述管理集群获取所述至少一个供给集群中所有可供调度的资源，并将相应的资源汇集为统一资源池的步骤包括：所述资源管理模块监听所述至少一个供给集群的可供调度的资源的增加量/减少量，并根据所述至少一个供给集群的可供调度的资源的增加量/减少量更新所述统一资源池的总资源量。3.根据权利要求2所述的资源调度方法，其特征在于，所述管理集群获取所述至少一个供给集群中所有可供调度的资源，并将相应的资源汇集为统一资源池的步骤还包括：所述资源管理模块监听所述至少一个消费集群的任务集合的所需资源的增加量/减少量，并根据所述至少一个消费集群的任务集合的所需资源的增加量/减少量更新每一所述消费集群的任务集合所需的资源量。4.根据权利要求3所述的资源调度方法，其特征在于，所述管理集群获取所述至少一个供给集群中所有可供调度的资源，并将相应的资源汇集为统一资源池的步骤还包括：所述资源管理模块将所述统一资源池的总资源量与每一所述消费集群的任务集合所需的资源量之差，作为可供每一所述消费集群调度的资源量。5.根据权利要求4...

【专利技术属性】
技术研发人员：张晓龙，娄超，王新勇，
申请(专利权)人：杭州朗和科技有限公司，
类型：发明
国别省市：