资源调度系统以及方法技术方案

本说明书实施例提供资源调度系统以及方法，其中所述资源调度系统包括：任务处理器、调度器以及资源处理节点；其中，任务处理器，被配置为根据待处理任务的任务信息确定目标子任务，并确定目标子任务中的子任务单元，向调度器提交目标子任务的资源获取请求；调度器，被配置为响应于资源获取请求获取初始处理节点的可调度资源信息，根据资源获取请求以及可调度资源信息计算目标子任务的资源调度结果，并将资源调度结果发送至任务处理器以及资源处理节点；任务处理器，被配置为根据资源调度结果向资源处理节点发送子任务单元；资源处理节点，被配置为接收资源调度结果以及子任务单元，基于资源调度结果对应的目标资源执行子任务单元。务单元。务单元。

【技术实现步骤摘要】
资源调度系统以及方法


[0001]本说明书实施例涉及计算机
，特别涉及资源调度系统以及方法。

技术介绍

[0002]随着互联网的发展，通常需要一个庞大的资源系统支撑线上丰富的项目形态，搜索、电商、大数据、数据库等等，在线机器规模如此之大，若将其利用率提升百分之一，都会带来成本的巨大节省。因此提升集群利用率一直都是集团各大调度团队的核心目标之一。但混部的挑战也是巨大的，其中最核心的挑战是如何提供一套资源共享机制(全局、单机)，在保障各应用SLA(Service
‑
Level Agreement，服务等级协议)的前提下，达成集群利用率提升的目标。
[0003]当前在线集群的特点是低并发场景的调度(容器只要一次启动、不需要频繁调度)，主要解决容器的编排、管理等问题，更适合任务长时间运行的场景。但在大数据计算高并发作业的场景，没有有效的解决方案。并且K8S调度系统是面向低并发、精细化资源编排管理的调度场景的。无论是在调度协议还是调度器设计上，K8S调度系统都无法支持高并发的调度能力。因此，亟需提供一种解决上述问题的方案。

技术实现思路

[0004]有鉴于此，本说明书实施例提供了一种资源调度系统。本说明书一个或者多个实施例同时涉及三种种资源调度方法，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0005]根据本说明书实施例的第一方面，提供了一种资源调度系统，包括：
[0006]任务处理器、调度器以及资源处理节点；/>[0007]其中，所述任务处理器，被配置为根据待处理任务的任务信息确定目标子任务，并确定所述目标子任务中的子任务单元，向所述调度器提交所述目标子任务的资源获取请求；
[0008]所述调度器，被配置为响应于所述资源获取请求获取初始处理节点的可调度资源信息，根据所述资源获取请求以及所述可调度资源信息计算所述目标子任务的资源调度结果，并将所述资源调度结果发送至所述任务处理器以及所述资源处理节点；
[0009]所述任务处理器，被配置为根据所述资源调度结果向所述资源处理节点发送所述子任务单元；
[0010]所述资源处理节点，被配置为接收所述资源调度结果以及所述子任务单元，基于所述资源调度结果对应的目标资源执行所述子任务单元。
[0011]可选地，所述任务处理器，进一步被配置为：
[0012]根据所述待处理任务的任务信息确定子任务信息以及子任务执行顺序；根据所述子任务信息以及所述子任务执行顺序提取所述待处理任务中的目标子任务；根据所述目标子任务的目标子任务信息创建所述目标子任务中的子任务单元，并确定所述子任务单元的
资源获取子信息；基于所述资源获取子信息创建所述目标子任务的资源获取请求，并向所述调度器提交所述资源获取请求。
[0013]可选地，所述任务处理器，进一步被配置为：
[0014]根据所述资源调度结果在所述子任务单元中筛选目标子任务单元；基于所述资源调度结果向所述资源处理节点发送所述目标子任务单元；
[0015]相应地，所述资源处理节点，进一步被配置为：
[0016]接收所述目标子任务单元；确定所述资源调度结果对应的目标资源，并通过所述目标资源执行所述目标子任务单元；在所述目标子任务单元执行完成的情况下，向所述任务处理器发送所述目标子任务单元的执行结果。
[0017]可选地，所述任务处理器，进一步被配置为：
[0018]基于所述执行结果在所述子任务单元中确定剩余子任务单元，并向所述资源处理节点发送所述剩余子任务单元；
[0019]相应地，所述资源处理节点，进一步被配置为：
[0020]接收所述任务处理器发送的剩余子任务单元；通过所述目标子任务单元对应的目标资源执行所述剩余子任务单元。
[0021]可选地，所述任务处理器，还被配置为：
[0022]在所述目标子任务中存在未执行的子任务单元的情况下，基于所述执行结果创建子资源撤销信息，并将所述子资源撤销信息发送至所述调度器；
[0023]相应地，所述调度器，还被配置为：
[0024]基于所述子资源撤销信息，更新所述资源获取请求对应的未调度资源信息。
[0025]可选地，所述任务处理器，还被配置为：
[0026]在所述目标子任务中不存在未执行的子任务单元的情况下，基于所述执行结果创建子资源归还信息，并将所述子资源归还信息发送至所述调度器；
[0027]相应地，所述调度器，还被配置为：
[0028]基于所述子资源归还信息，更新所述资源获取请求对应的资源调度信息。
[0029]可选地，所述任务处理器，还被配置为：
[0030]在所述子任务单元执行完成的情况下，根据所述待处理任务的任务信息确定所述目标子任务之后待执行的第二目标子任务，将所述第二目标子任务作为所述目标子任务，并返回执行所述确定所述目标子任务中的子任务单元步骤。
[0031]可选地，所述调度器，进一步被配置为：
[0032]确定所述资源获取请求对应的预设调度算法；根据所述可调度资源信息以及所述预设调度算法确定所述资源获取请求对应的资源处理节点以及所述资源处理节点对应的资源调度信息；将所述资源调度信息作为所述资源调度结果。
[0033]可选地，所述调度器，进一步被配置为：
[0034]根据所述可调度资源信息以及所述资源获取请求携带的资源获取信息，在所述初始处理节点中筛选候选处理节点；根据所述候选处理节点对应的节点信息以及预设评分规则对所述候选处理节点进行评分，获得每个候选处理节点的节点评分；基于所述节点评分在所述候选处理节点中筛选资源处理节点；根据资源获取信息，确定所述资源处理节点对应的资源调度信息。
[0035]可选地，所述调度器，进一步被配置为：
[0036]在监听到初始处理节点的可调度资源信息存在变更的情况下，在所述初始处理节点中确定待调度的候选资源处理节点以及确定待遍历的目标请求队列；
[0037]基于所述候选资源处理节点的目标可调度资源信息以及预设遍历顺序遍历所述目标请求队列中的队列资源获取请求；
[0038]在所述目标可调度资源信息满足所述资源获取请求对应的资源获取条件的情况下，将所述候选资源处理节点作为所述资源获取请求的资源处理节点；
[0039]根据所述资源获取请求的资源获取信息，确定所述资源处理节点对应的资源调度信息。
[0040]可选地，所述调度器，进一步被配置为：
[0041]获取所述目标请求队列中的队列资源获取请求；根据所述队列资源获取请求的请求优先级以及请求资源信息，构建请求树；遍历所述请求树中的所述队列资源获取请求。
[0042]可选地，所述调度器，还被配置为：
[0043]在监听到待处理任务的情况下，在初始处理节点中确定目标处理节点，向所述目标处理节点发送所述待处理任务的任务信息；
[0044]相应地，所述目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源调度系统，包括：任务处理器、调度器以及资源处理节点；其中，所述任务处理器，被配置为根据待处理任务的任务信息确定目标子任务，并确定所述目标子任务中的子任务单元，向所述调度器提交所述目标子任务的资源获取请求；所述调度器，被配置为响应于所述资源获取请求获取初始处理节点的可调度资源信息，根据所述资源获取请求以及所述可调度资源信息计算所述目标子任务的资源调度结果，并将所述资源调度结果发送至所述任务处理器以及所述资源处理节点；所述任务处理器，被配置为根据所述资源调度结果向所述资源处理节点发送所述子任务单元；所述资源处理节点，被配置为接收所述资源调度结果以及所述子任务单元，基于所述资源调度结果对应的目标资源执行所述子任务单元。2.根据权利要求1所述的资源调度系统，所述任务处理器，进一步被配置为：根据所述待处理任务的任务信息确定子任务信息以及子任务执行顺序；根据所述子任务信息以及所述子任务执行顺序提取所述待处理任务中的目标子任务；根据所述目标子任务的目标子任务信息创建所述目标子任务中的子任务单元，并确定所述子任务单元的资源获取子信息；基于所述资源获取子信息创建所述目标子任务的资源获取请求，并向所述调度器提交所述资源获取请求。3.根据权利要求1所述的资源调度系统，所述任务处理器，进一步被配置为：根据所述资源调度结果在所述子任务单元中筛选目标子任务单元；基于所述资源调度结果向所述资源处理节点发送所述目标子任务单元；相应地，所述资源处理节点，进一步被配置为：接收所述目标子任务单元；确定所述资源调度结果对应的目标资源，并通过所述目标资源执行所述目标子任务单元；在所述目标子任务单元执行完成的情况下，向所述任务处理器发送所述目标子任务单元的执行结果。4.根据权利要求3所述的资源调度系统，所述任务处理器，进一步被配置为：基于所述执行结果在所述子任务单元中确定剩余子任务单元，并向所述资源处理节点发送所述剩余子任务单元；相应地，所述资源处理节点，进一步被配置为：接收所述任务处理器发送的剩余子任务单元；通过所述目标子任务单元对应的目标资源执行所述剩余子任务单元。5.根据权利要求3所述的资源调度系统，所述任务处理器，还被配置为：在所述目标子任务中存在未执行的子任务单元的情况下，基于所述执行结果创建子资源撤销信息，并将所述子资源撤销信息发送至所述调度器；相应地，所述调度器，还被配置为：基于所述子资源撤销信息，更新所述资源获取请求对应的未调度资源信息。6.根据权利要求3所述的资源调度系统，所述任务处理器，还被配置为：在所述目标子任务中不存在未执行的子任务单元的情况下，基于所述执行结果创建子资源归还信息，并将所述子资源归还信息发送至所述调度器；相应地，所述调度器，还被配置为：
基于所述子资源归还信息，更新所述资源获取请求对应的资源调度信息。7.根据权利要求1所述的资源调度系统，所述任务处理器，还被配置为：在所述子任务单元执行完成的情况下，根据所述待处理任务的任务信息确定所述目标子任务之后待执行的第二目标子任务，将所述第二目标子任务作为所述目标子任务，并返回执行所述确定所述目标子任务中的子任务单元步骤。8.根据权利要求1所述的资源调度系统，所述调度器，进一步被配置为：确定所述资源获取请求对应的预设调度...

【专利技术属性】
技术研发人员：张杨，冯亦挥，贾扬清，林伟，李超，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：