一种资源调度的方法、装置和过滤式调度器制造方法及图纸

本发明专利技术涉及一种资源调度的方法、装置及过滤式调度器，该方法包括：第一过滤式调度器获取携带业务需求的调度请求消息,将调度请求消息转换为调度任务消息,并通过异步通信方式通知调度系统中的每个过滤式调度器,调度任务消息用于指示过滤式调度器根据业务需求在与该过滤式调度器关联的虚拟群组中确定调度结果,并将该调度结果发送给第一过滤式调度器；获取调度系统中的过滤式调度器根据调度任务消息确定的调度结果；当满足预置条件时，按照预置算法在获取到的调度结果中确定最终调度结果,最终调度结果中包括满足业务需求的一个或多个服务器。以此提高整个调度系统调度的处理能力和调度效率。

A resource scheduling method, device and filter scheduler

【技术实现步骤摘要】
一种资源调度的方法、装置和过滤式调度器
本专利技术涉及通信领域，尤其涉及虚拟化管理领域的一种资源调度的方法、装置和过滤式调度器。
技术介绍
随着虚拟化技术的广泛应用，如何利用云计算管理平台更好地实现对资源的统一管理和调度的方法得到越来越多的关注，该管理平台重要技术之一为资源调度，即为业务请求分配到合适的资源，包括计算、存储、网络等资源，以此提高资源的利用率。在云计算管理平台中，目前最常用的调度器是一种过滤式调度器，即在接收到调度请求时，首先按照调度请求中所携带的业务需求筛选出所有满足业务需求的服务器集合，再按照预定义权值计算方法对该服务器集合中所有服务器进行排序，调度器选择权值最高的服务器处理该业务需求。但随着大型数据中心中不断增加的业务场景，由单一的过滤式调度器来负责虚拟化系统中全部资源的调度无法满足业务需求，造成了严重的性能瓶颈，越来越多的数据中心采用多个过滤式调度器并行实施调度请求来分担整个大规模数据中心的调度任务。现有技术中调度系统中采用多个过滤式调度器组成调度器集群，当消息队列中存在待处理的多个调度请求时，调度器集群中的过滤式调度器会分别获取不同调度请求，并根据不同调度请求确定调度结果，但对于同一个调度请求来说，仍然是由一个过滤式调度器先在调度系统中的所有服务器中筛选出满足该调度请求的服务器集合，然后再按照预定义权值计算方法计算该服务器集合中所有服务器的权值，再依照权值对服务器进行排序，最终选出一个或多个服务器作为该调度请求的调度结果，在大规模数据中心中，上述调度方法由于需要同一个过滤式调度器在所有服务器中进行筛选和排序，导致同一调度任务的处理时间长、效率低。另一方面，现有技术中每个服务器的可用资源由数据库记录并保存，但是，服务器只有在完成调度请求中的业务需求时，才会通知数据库更新该服务器的可用资源情况。也就是说，数据库中记录的服务器的可用资源信息为非实时信息，过滤式调度器根据该信息所确定的服务器实际可能无法满足业务需求，从而影响过滤式调度器的判断，增加了调度失败的概率。因此，现有技术中多个过滤式调度器并行调度的方法存在调度请求处理时间长、效率低和误判导致业务处理失败的问题，影响调度系统的资源调度能力和资源分配效率。
技术实现思路
本专利技术实施例提供了一种资源调度的方法、装置和过滤式调度器，可以解决现有技术中调度系统处理调度请求时间长、效率低和误判导致业务处理失败的问题，提升调度器系统的资源调度能力和资源分配效率。为了达到上述目的，本专利技术采用如下技术方案：第一方面，提供一种资源调度的方法，该方法应用于调度系统中，该调度系统中包括至少两个过滤式调度器和至少两个服务器，其中，每个过滤式调度器关联一个虚拟群组，每个虚拟群组中包括与该虚拟群组关联的过滤式调度器所能调度的所有服务器，且一个服务器只属于一个虚拟群组；首先，第一过滤式调度器获取调度请求消息，其中，该调度请求消息中携带业务需求,第一过滤式调度器为调度系统中任一过滤式调度器；然后，第一过滤式调度器将该调度请求消息转换为调度任务消息，并通过异步通信方式通知调度系统中的每个过滤式调度器,其中,该调度任务消息中携带业务需求和第一过滤式调度器的角色信息,该调度任务消息用于指示过滤式调度器根据业务需求在与该过滤式调度器关联的虚拟群组中确定调度结果,并将调度结果发送给第一过滤式调度器，该调度结果中包括满足业务需求的一个或多个服务器；接下来，第一过滤式调度器获取调度系统中的过滤式调度器根据调度任务消息确定的调度结果；当满足预置条件时，第一过滤式调度器按照预置算法在获取到的调度结果中确定最终调度结果,该最终调度结果中包括满足业务需求的一个或多个服务器。值得说明的是，每个虚拟群组中包括一个或多个服务器。可选地，调度任务消息中还可以包括第一过滤式调度器的标识信息和IP地址信息。可选地，在调度任务消息处理过程中，获取调度请求消息的第一过滤式调度器可以利用指定文件或数据库中的数据表记录本次调度任务消息中每个过滤式调度器的角色信息，示例地，过滤式调度器的角色可以包括Leader和Worker两种，其中，Worker角色的过滤式调度器负责在其所能调度的至少一个服务器的集合中，经过筛选和排序后在其关联的虚拟群组中确定满足业务需求的一个或多个服务器为调度结果；Leader角色的过滤式调度器为获取调度请求消息的过滤式调度器，负责将调度请求消息转化为调度任务消息，通知调度系统中所有过滤式调度器存在待处理的调度任务消息，汇总所有Worker角色的过滤式调度器所确定的调度结果，并按照预置算法在所有汇总的调度结果中选择满足业务需求的一个或多个服务为为最终调度结果。值得说明的是，该角色信息为临时信息，即只在本次调度请求消息的处理过程中生效。当系统中同时存在多个调度请求消息时，不同过滤式调度器获取调度任务消息后，每个调度请求消息会由一个Leader角色的过滤式调度器负责确定最终调度结果，且每种类型的角色每次只能处理一种消息，即Leader角色的过滤式调度器每次只能处理一个调度请求消息，Worker角色的过滤式调度器每次只能处理一个调度任务消息。在调度请求消息处理结束之后，过滤式调度器即释放当前调度请求消息处理过程中所对应的角色信息。在本实施例中，调度器系统中每个过滤式调度器均会根据同一个调度请求在各自能够调度的服务器集合中确定调度结果，并将该调度结果发送给获取调度请求消息的过滤式调度器，在满足预置条件时，由该过滤式调度器在汇总的所有调度结果中确定一个或多个服务器为最终调度结果，与现有技术中对于同一个调度请求消息仅有一个过滤式调度器确定调度结果相比，多个过滤式调度器并行处理解决了现有技术中调度任务处理时间长、效率低的问题，提升了调度系统的资源调度能力和资源分配效率。在一种可能的实现方式中，所述通过异步通信方式通知所述调度系统中的每个过滤式调度器包括:第一过滤式调度器将所述调度任务消息存储在消息队列,以使得所述每个过滤式调度器监听所述消息队列,并获取所述调度任务消息。值得说明的是，当消息队列中调度请求消息被任意一个过滤式调度器取走后，为避免重复处理导致资源浪费问题，消息队列软件会将该调度请求消息在消息队列中删除，其他过滤式调度器无法再次获取该调度请求消息。而调度任务在本次调度请求的处理过程中一直存在，直至第一过滤器处理完成调度任务后再通知消息队列软件删除该调度任务消息，以便于存储集群中所有过滤式调度器能够通过异步的方式获取该调度任务。存储集群中的过滤式调度器获取该调度任务后可以确定每个过滤式调度器所对应虚拟群组中最适合执行该调度任务中业务需求的服务器。可选地，该调度任务消息也可以存储在数据库中，第一过滤式调度器获取调度请求消息的方式也可以通过监听数据库的方式，即当数据库中存在待处理的调度请求消息时，从数据库中获取该调度请求消息。在另一种可能的实现方式中，所述通过异步通信方式通知所述调度系统中的每个过滤式调度器包括:第一过滤式调度器将所述调度任务消息存储在数据库中，以使得所述每个过滤式调度器监听所述数据库,并获取所述本文档来自技高网...

【技术保护点】
1.一种资源调度的方法，其特征在于，所述方法应用于调度系统，所述调度系统包括至少两个过滤式调度器和至少两个虚拟群组，其中，每个过滤式调度器关联至少一个虚拟群组，每个虚拟群组中包括能被该虚拟群组关联的过滤式调度器调度的服务器；所述方法包括：/n第一过滤式调度器获取调度请求消息,所述调度请求消息中携带业务需求，所述第一过滤式调度器为所述调度系统中任一过滤式调度器；/n所述第一过滤式调度器将所述调度请求消息转换为调度任务消息；/n所述第一过滤式调度器将所述调度任务消息通知所述调度系统中的其他过滤式调度器；/n所述第一过滤式调度器获取所述调度系统中的其他过滤式调度器根据所述调度任务消息确定的调度结果，在所述调度结果中确定最终调度结果,所述最终调度结果包括满足所述业务需求的一个或多个服务器。/n

【技术特征摘要】
1.一种资源调度的方法，其特征在于，所述方法应用于调度系统，所述调度系统包括至少两个过滤式调度器和至少两个虚拟群组，其中，每个过滤式调度器关联至少一个虚拟群组，每个虚拟群组中包括能被该虚拟群组关联的过滤式调度器调度的服务器；所述方法包括：
第一过滤式调度器获取调度请求消息,所述调度请求消息中携带业务需求，所述第一过滤式调度器为所述调度系统中任一过滤式调度器；
所述第一过滤式调度器将所述调度请求消息转换为调度任务消息；
所述第一过滤式调度器将所述调度任务消息通知所述调度系统中的其他过滤式调度器；
所述第一过滤式调度器获取所述调度系统中的其他过滤式调度器根据所述调度任务消息确定的调度结果，在所述调度结果中确定最终调度结果,所述最终调度结果包括满足所述业务需求的一个或多个服务器。


2.根据权利要求1所述的方法，其特征在于，所述调度系统中的一个服务器属于一个虚拟群组。


3.根据权利要求1或2所述的方法，其特征在于，所述第一过滤式调度器将所述调度任务消息通知所述调度系统中的其他过滤式调度器，包括：
所述第一过滤式调度器将所述调度任务消息存储在消息队列,以使得所述调度系统中的其他过滤式调度器监听所述消息队列,并获取所述调度任务消息。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述在所述调度结果中确定最终调度结果，包括：
当满足预置条件时，所述第一过滤式调度器按照预置算法在所述调度结果中确定最终调度结果。


5.根据权利要求4所述的方法，其特征在于，所述满足预置条件包括：
所述第一过滤式调度器获取所述调度结果的数量满足第一阈值；或
所述第一过滤式调度器获取所述调度结果的数量满足第一阈值且接收时间满足第二阈值。


6.根据权利要求4所述的方法，其特征在于，所述第一过滤式调度器按照预置算法在所述调度结果中确定最终调度结果，包括：
所述第一过滤式调度器按照预定义权值算法确定所述调度结果中的服务器的权值，根据所述权值对所述调度结果中所有服务器进行排序，根据所述排序选择一个或多个服务器为所述最终调度结果。


7.根据权利要求6所述的方法，其特征在于，所述第一过滤式调度器按照预定义权值算法确定所述调度结果中的服务器的权值，包括：
所述第一过滤式调度器根据服务器的CPU剩余量、内存剩余量、磁盘剩余量、网络流量、CPU类型、磁盘类型、网卡类型、磁盘每秒进行读写的次数中的至少一种确定所述调度结果中的服务器的权值。


8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
所述第一过滤式调度器通知所述调度系统中的其他过滤式调度器所述最终调度结果，以使得所述调度系统中的过滤式调度器清除资源预占信息，其中，所述资源预占信息为过滤式调度器在确定所述调度结果后记录的，所述资源预占信息用于表示所述过滤式调度器确定的所述调度结果中的服务器需要被占用的资源信息。


9.一种...

【专利技术属性】
技术研发人员：朱旭琪，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44