本申请提供一种任务调度方法、装置、电子设备及计算机程序产品，涉及信息技术领域，所述方法包括：获取主机的资源使用情况；预测未来目标时刻的可用主机资源；获取待调度任务，基于主机资源权值集合构建预测模型，并利用预测模型获取待调度任务的所需主机资源占比情况；根据主机资源权值集合计算待调度任务的任务权值；根据所需主机资源占比情况和任务权值，分别计算当前可用主机资源进行资源分配后的第一剩余资源，以及未来时刻可用主机资源进行资源分配后的第二剩余资源；当判断第二剩余资源较大时，根据每一待调度任务的时限要求进行任务调度。本申请能够在保证任务调度结果一致性的同时保证主机资源的均衡使用，有效提高了资源的利用率。了资源的利用率。了资源的利用率。
【技术实现步骤摘要】
一种任务调度方法及装置
[0001]本申请涉及信息
，具体涉及一种任务调度方法、装置、电子设备及计算机程序产品。
技术介绍
[0002]随着服务提供商对其网络进行现代化改造，其工作负载和服务正在从核心网络(位于数据中心内)移到网络边缘，在NFV的分布式任务调度中，需要保证任务调度的一致性，常见的技术方案如基于主机数和任务数的相对均衡方案，基于资源和任务数的综合均衡方案，但此类方案大多基于管理节点和调度代理节点的分布式调度方案来实现，比较流行的如Kubernetes，这类方案需要应用进行适配改造。再如一些提供了任务调度的解决方案，将执行单元和任务的哈希值分配至一致性哈希环上，在一致性哈希环上寻找与任务的哈希值位置最近的n个对应执行单元的哈希值，实现了执行单元与任务之间的灵活匹配，同一个任务可以分配到不同的执行单元，满足一个任务执行多次的要求，但是该任务调度方案未考虑各个主机节点的主机资源，会产生任务启动后主机资源不均衡问题。
[0003]综上，现有技术存在以下缺点：调度任务算法复杂，使用特定hash混合运算随机指定调度任务主机节点或基于开源产品制定封闭的调度策略(如zookeeper、Kubernetes)，无法对调度任务调度结果进行预测，从而无法保证主机资源均衡使用。
技术实现思路
[0004]本申请实施例提供一种任务调度方法、装置、电子设备及计算机程序产品，用以解决上述技术问题，能够保证任务调度结果一致性并能够保证主机资源的均衡使用。
[0005]第一方面，本申请实施例提供一种任务调度方法，包括：
[0006]实时获取分布式系统中各个主机上报的资源使用情况；其中，所述资源使用情况包括当前时刻的可用主机资源；
[0007]根据所述资源使用情况以及当前任务运行信息预测得到未来目标时刻的可用主机资源；
[0008]获取当前时刻与所述未来目标时刻之间的时间段内的所有待调度任务，基于预先获得的主机资源权值集合构建预测模型，并利用所述预测模型获取每一所述待调度任务的所需主机资源占比情况；
[0009]根据所述主机资源权值集合计算所述待调度任务的任务权值；
[0010]根据所述所需主机资源占比情况和所述任务权值，分别计算基于所述当前时刻的可用主机资源进行资源分配后的第一剩余资源，以及基于所述未来目标时刻的可用主机资源进行资源分配后的第二剩余资源；
[0011]当判断所述第二剩余资源大于所述第一剩余资源时，根据每一所述待调度任务的时限要求进行任务调度。
[0012]在一个实施例中，所述根据所述资源使用情况以及当前任务运行信息预测得到未
来目标时刻的可用主机资源，包括：
[0013]根据所述当前任务运行信息筛选出在所述未来目标时刻之前结束的任务，并记录所述任务的资源占用情况；
[0014]根据所述资源占用情况以及所述资源使用情况进行预测得到所述未来目标时刻的可用主机资源。
[0015]在一个实施例中，所述主机资源权值集合的获取方式包括：
[0016]获取预设历史时间范围内的历史任务的观察值，以及与所述历史任务对应的各主机资源使用率，并构建所述各主机资源使用率与所述历史任务的映射矩阵；
[0017]基于所述映射矩阵，利用预设的指数平滑算法进行计算得到当前时刻各主机资源预测值；
[0018]基于所述各主机资源预测值以及预设的各主机资源权重值进行加权平均计算得到所述主机资源权值集合。
[0019]在一个实施例中，所述根据所述主机资源权值集合计算所述待调度任务的任务权值，包括：
[0020]利用预设的二级算法对所述主机资源权值集合中的各个主机资源权值分别进行计算得到各个主机的二次权值；
[0021]将所述各个主机的二次权值进行累加得到集群最大权值；
[0022]结合所述集群最大权值以及主机获取到的随机结果进行计算得到所述待调度任务的任务权值。
[0023]在一个实施例中，所述当判断所述第二剩余资源大于所述第一剩余资源时，根据每一所述待调度任务的时限要求进行任务调度，具体包括：
[0024]当判断所述第二剩余资源中的第一优先级资源大于所述第一剩余资源中的第一优先级资源时，根据每一所述待调度任务的时限要求进行任务调度。
[0025]在一个实施例中，在获取所述主机资源权值之前，还包括：
[0026]根据所述未来目标时刻的可用主机资源对所述各主机资源权重值进行适应性调整。
[0027]在一个实施例中，所述主机的资源类型包括MEM资源、CPU资源、内存资源、IO资源、文件句柄资源和文件描述符资源中的一种或多种。
[0028]第二方面，本申请实施例提供一种任务调度装置，包括：
[0029]数据获取模块，用于实时获取分布式系统中各个主机上报的资源使用情况；其中，所述资源使用情况包括当前时刻的可用主机资源；
[0030]资源预测模块，用于根据所述资源使用情况以及当前任务运行信息预测得到未来目标时刻的可用主机资源；
[0031]需求预测模块，用于获取当前时刻与所述未来目标时刻之间的时间段内的所有待调度任务，基于预先获得的主机资源权值集合构建预测模型，并利用所述预测模型获取每一所述待调度任务的所需主机资源占比情况；
[0032]权值计算模块，用于根据所述主机资源权值集合计算所述待调度任务的任务权值；
[0033]资源计算模块，用于根据所述所需主机资源占比情况和所述任务权值，分别计算
基于所述当前时刻的可用主机资源进行资源分配后的第一剩余资源，以及基于所述未来目标时刻的可用主机资源进行资源分配后的第二剩余资源；
[0034]任务调度模块，用于当判断所述第二剩余资源大于所述第一剩余资源时，根据每一所述待调度任务的时限要求进行任务调度。
[0035]第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的任务调度方法的步骤。
[0036]第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的任务调度方法的步骤。
[0037]本申请实施例提供的任务调度方法、装置、电子设备及计算机程序产品，通过根据主机实时上报的资源以及任务运行信息预测未来目标时刻的可用资源，同时预测得到待调度任务的所需资源，再结合计算所得的任务权值进行资源分配并预测未来时间的剩余资源情况，继而通过剩余资源情况以及待调度任务的时限要求进行任务调度，从而能够在保证任务调度结果一致性的同时保证主机资源的均衡使用，有效提高了资源的利用率。
附图说明
[0038]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：实时获取分布式系统中各个主机上报的资源使用情况；其中，所述资源使用情况包括当前时刻的可用主机资源；根据所述资源使用情况以及当前任务运行信息预测得到未来目标时刻的可用主机资源；获取当前时刻与所述未来目标时刻之间的时间段内的所有待调度任务，基于预先获得的主机资源权值集合构建预测模型，并利用所述预测模型获取每一所述待调度任务的所需主机资源占比情况；根据所述主机资源权值集合计算所述待调度任务的任务权值；根据所述所需主机资源占比情况和所述任务权值，分别计算基于所述当前时刻的可用主机资源进行资源分配后的第一剩余资源，以及基于所述未来目标时刻的可用主机资源进行资源分配后的第二剩余资源；当判断所述第二剩余资源大于所述第一剩余资源时，根据每一所述待调度任务的时限要求进行任务调度。2.根据权利要求1所述的任务调度方法，其特征在于，所述根据所述资源使用情况以及当前任务运行信息预测得到未来目标时刻的可用主机资源，包括：根据所述当前任务运行信息筛选出在所述未来目标时刻之前结束的任务，并记录所述任务的资源占用情况；根据所述资源占用情况以及所述资源使用情况进行预测得到所述未来目标时刻的可用主机资源。3.根据权利要求1所述的任务调度方法，其特征在于，所述主机资源权值集合的获取方式包括：获取预设历史时间范围内的历史任务的观察值，以及与所述历史任务对应的各主机资源使用率，并构建所述各主机资源使用率与所述历史任务的映射矩阵；基于所述映射矩阵，利用预设的指数平滑算法进行计算得到当前时刻各主机资源预测值；基于所述各主机资源预测值以及预设的各主机资源权重值进行加权平均计算得到所述主机资源权值集合。4.根据权利要求1所述的任务调度方法，其特征在于，所述根据所述主机资源权值集合计算所述待调度任务的任务权值，包括：利用预设的二级算法对所述主机资源权值集合中的各个主机资源权值分别进行计算得到各个主机的二次权值；将所述各个主机的二次权值进行累加得到集群最大权值；结合所述集群最大权值以及主机获取到的随机结果进行计算得到所述待调度任务的任务权值。5....
【专利技术属性】
技术研发人员：王鑫，张志华，赵峰，张征，程哲慧，任志荣，张丽，李栋，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。