一种集群多任务滑窗调度处理方法、系统、设备及介质技术方案

本发明专利技术提出一种集群多任务滑窗调度处理方法、系统、设备及介质，涉及任务处理技术领域。方法包括：接收集群用户的任务处理信息，所述任务处理信息包括多个待处理任务及每个待处理任务的任务优先级；根据所述任务优先级，通过预设的任务调度队列对所述多个待处理任务进行滑窗调度处理，得到多个待执行任务；对所述多个待执行任务进行映射处理，按照任务优先级为每个待执行任务分配任务执行器资源；通过所述任务执行器资源执行对应的待执行任务，并将所有执行完毕的任务从所述任务调度队列中注销，释放对应的任务执行器资源。通过任务调度队列进行任务滑窗调度操作，实现多任务的动态调度及执行资源的优化分配，解决集群多任务有限资源竞争的问题。务有限资源竞争的问题。务有限资源竞争的问题。

【技术实现步骤摘要】
一种集群多任务滑窗调度处理方法、系统、设备及介质


[0001]本专利技术涉及任务处理
，具体而言，涉及一种集群多任务滑窗调度处理方法、系统、设备及介质。

技术介绍

[0002]随着大数据时代的来临，为实现高效的大规模数据存取和计算，各云计算平台主要采用空间上分散、逻辑上统一的计算机集群。计算机集群是一种计算机系统，其通过多台计算机(又称为节点)连接起来协作完成计算作业。这些节点位于同一管理域中，其具有统一的管理策略并且作为一个整体向用户提供服务。将计算机集群上的大量作业任务分配到多个节点上的过程可以称为任务的调度。
[0003]目前计算机集群多任务的调度过度依赖任务的计算权重，不能灵活地针对动态注册和注销用户实现动态的多任务调度，存在有限资源竞争的问题，由此需要一种集群多任务滑窗调度处理方法、系统、设备及介质。

技术实现思路

[0004]本专利技术的目的在于提供一种集群多任务滑窗调度处理方法及系统，用以通过滑窗调度解决集群多任务的注册打包隔离及执行资源的优化分配，实现多任务的动态调度，从而解决集群有限资源竞争的问题。
[0005]第一方面，本申请实施例提供一种集群多任务滑窗调度处理方法，包括接收集群用户的任务处理信息，所述任务处理信息包括多个待处理任务及每个待处理任务的任务优先级；根据所述任务优先级，通过预设的任务调度队列对所述多个待处理任务进行滑窗调度处理，得到多个待执行任务；对所述多个待执行任务进行映射处理，按照任务优先级为每个待执行任务分配任务执行器资源；通过所述任务执行器资源执行对应的待执行任务，并将所有执行完毕的任务从所述任务调度队列中注销，释放对应的任务执行器资源。
[0006]基于第一方面，在本专利技术的一些实施例中，所述任务调度队列包括实际任务调度队列和虚拟任务调度队列，所述实际任务调度队列和所述虚拟任务调度队列均通过链表和/或队列实现。
[0007]基于第一方面，在本专利技术的一些实施例中，所述根据任务优先级，通过预设的任务调度队列对所述多个待处理任务进行滑窗调度处理，得到多个待执行任务的步骤具体包括：对所述多个待处理任务的任务优先级进行排序，按任务优先级从高到低将所述多个待处理任务依次加入到所述实际任务调度队列进行注册管理；判断所述虚拟任务调度队列的状态，若所述虚拟任务调度队列的状态为非占用的空闲状态，则为每个任务按照优先级权重在时间轴上分配时间片；通过对时间轴的滑窗调度将分配时间片后的任务调度到所述虚拟任务调度队列，得到待执行虚拟任务并将所述虚拟任务调度队列的状态设置为占用状态。
[0008]基于第一方面，在本专利技术的一些实施例中，所述对多个待执行任务进行映射处理，
按照任务优先级为待执行任务分配任务执行器资源的步骤具体包括：将所述任务优先级转换成任务权重；基于所述任务权重为所述虚拟任务调度队列中的待执行虚拟任务分配占用任务执行器资源的比例和时间，并将待执行虚拟任务映射到对应的任务执行器。
[0009]第二方面，本申请实施例提供一种集群多任务滑窗调度处理系统，包括：接收模块，用于接收集群用户的任务处理信息，所述任务处理信息包括多个待处理任务及每个待处理任务的任务优先级；调度处理模块，用于根据所述任务优先级，通过预设的任务调度队列对所述多个待处理任务进行滑窗调度处理，得到多个待执行任务；分配和映射模块，用于对所述多个待执行任务进行映射处理，按照任务优先级为每个待执行任务分配任务执行器资源；执行和注销模块，用于通过所述任务执行器资源执行对应的待执行任务，并将所有执行完毕的任务从所述任务调度队列中注销，释放对应的任务执行器资源。
[0010]第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
[0011]第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
[0012]本专利技术实施例至少具有如下优点或有益效果：
[0013]本专利技术实施例提供一种集群多任务滑窗调度处理方法及系统，上述实现过程中，通过实际任务调度队列和虚拟任务调度队列的配合，根据任务优先级对实现对集群用户的多个待处理待执行的任务进行任务注册、打包和映射隔离、注销等滑窗调度操作，并按照任务优先级划分资源权重，根据资源权重比例为每个任务动态分配执行器资源，实现多任务的动态调度及执行资源的优化分配，从而解决集群多任务有限资源竞争的问题。
附图说明
[0014]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0015]图1为本专利技术实施例1中提供的一种集群多任务滑窗调度处理方法的一实施例的流程图；
[0016]图2为本专利技术实施例2中接收集群用户的待处理任务并通过实际任务调度队列和虚拟任务调度队列对待处理任务通过时间轴滑窗调度到任务执行器资源进行映射和执行的流程示意图；
[0017]图3为本专利技术实施例2中一种集群多任务滑窗调度处理系统的结构示意图；
[0018]图4为本专利技术实施例3中一种电子设备的结构示意图。
[0019]图标：1、接收模块；2、调度处理模块；3、分配和映射模块；4、执行和注销模块；5、处理器；6、存储器；7、数据总线。
具体实施方式
[0020]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0021]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0022]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0023]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群多任务滑窗调度处理方法，其特征在于，包括以下步骤：接收集群用户的任务处理信息，所述任务处理信息包括多个待处理任务及每个待处理任务的任务优先级；根据所述任务优先级，通过预设的任务调度队列对所述多个待处理任务进行滑窗调度处理，得到多个待执行任务；对所述多个待执行任务进行映射处理，按照任务优先级为每个待执行任务分配任务执行器资源；通过所述任务执行器资源执行对应的待执行任务，并将所有执行完毕的任务从所述任务调度队列中注销，释放对应的任务执行器资源。2.根据权利要求1所述的集群多任务滑窗调度处理方法，其特征在于，所述任务调度队列包括实际任务调度队列和虚拟任务调度队列，所述实际任务调度队列和所述虚拟任务调度队列通过链表和/或队列实现。3.根据权利要求2所述的集群多任务滑窗调度处理方法，其特征在于，所述根据所述任务优先级，通过预设的任务调度队列对所述多个待处理任务进行滑窗调度处理，得到多个待执行任务的步骤具体包括：对所述多个待处理任务的任务优先级进行排序，按任务优先级从高到低将所述多个待处理任务依次加入到所述实际任务调度队列进行注册管理；判断所述虚拟任务调度队列的状态，若所述虚拟任务调度队列的状态为非占用的空闲状态，则为每个任务按照优先级权重在时间轴上分配时间片；通过对时间轴的滑窗调度将分配时间片后的任务调度到所述虚拟任务调度队列，得到待执行虚拟任务并将所述虚拟任务调度队列的状态设置为占用状态。...

【专利技术属性】
技术研发人员：刘学，
申请(专利权)人：刘学，
类型：发明
国别省市：