任务调度方法、装置、电子设备和存储介质制造方法及图纸

本公开关于任务调度方法、装置、电子设备和存储介质，所述方法包括：确定任务队列中满足预设延迟条件的延迟任务，并预测所述任务队列在预设时长后的第一资源占用率；在所述第一资源占用率不小于第一占用率阈值的情况下，预测将所述延迟任务调度至备用队列执行时所述备用队列的第二资源占用率；在所述第二资源占用率不大于第二占用率阈值的情况下，将所述延迟任务调度至所述备用队列。该方案能够实现针对延迟任务的自动化调度，相对于人工调度能够大幅提升任务调度效率，并降低系统维护成本。并降低系统维护成本。并降低系统维护成本。

【技术实现步骤摘要】
任务调度方法、装置、电子设备和存储介质


[0001]本公开涉及计算机应用领域，尤其涉及任务调度方法、装置、电子设备和存储介质。

技术介绍

[0002]随着计算机网络技术的飞速发展和应用范围的扩大，网络任务的任务数量也相应地爆炸式增长，尤其对于具有海量并发任务的大型集群应用场景，极易因单个任务所需处理资源超出当前队列的可用资源范围而导致任务处理延迟甚至处理失败。
[0003]为保证任务正常执行，相关技术中往往需要运维人员手动干预，例如在出现任务延迟时将延迟队列中的任务手动切换至非延迟队列，或者向延迟队列手动分配更多资源。然而，该方式不仅人工成本较高，而且操作效率低下，因此难以有效保证任务的正常执行。

技术实现思路

[0004]本公开实施例提供了任务调度方法、装置、电子设备和存储介质，以至少解决相关技术中的技术问题。本公开实施例的技术方案如下：根据本公开实施例的第一方面，提出一种任务调度方法，所述方法包括：确定任务队列中满足预设延迟条件的延迟任务，并预测所述任务队列在预设时长后的第一资源占用率；在所述第一资源占用率不小于第一占用率阈值的情况下，预测将所述延迟任务调度至备用队列执行时所述备用队列的第二资源占用率；在所述第二资源占用率不大于第二占用率阈值的情况下，将所述延迟任务调度至所述备用队列。
[0005]可选的，所述确定任务队列中满足预设延迟条件的延迟任务，包括：确定所述任务队列中各个任务的当前排队位置，若任一任务的当前排队位置位于该任务进入所述任务队列时的默认排队位置之后，则将所述任一任务确定为满足预设延迟条件的延迟任务；或者，预测执行所述任务队列中的任务时所需的任务资源，若任一任务对应的所述任务资源不小于预设的资源阈值，则将所述任一任务确定为满足预设延迟条件的延迟任务。
[0006]可选的，通过以下过程预测任一队列在预设时长后的第一资源占用率：确定所述任一队列中处于运行状态的当前任务，并确定所述当前任务的数据量和运行时长；根据所述数据量提取所述当前任务的任务数据特征，并根据所述运行时长提取所述任一队列的队列运行特征；基于所述任务数据特征和所述队列运行特征，通过预设算法预测所述任一队列在预设时长后的第一资源占用率。
[0007]可选的，所述基于所述任务数据特征和所述队列运行特征，通过预设算法预测所
述任一队列在预设时长后的第一资源占用率，包括：将所述任务数据特征和所述队列运行特征输入预训练的资源预测模型，以使所述资源预测模型进行预测处理得到所述任一队列在预设时长后的第一资源占用率。
[0008]可选的，通过以下过程训练所述资源预测模型：获取训练样本，所述训练样本包括样本任务和样本队列，其中，所述样本队列被标注有将所述样本任务调度至所述样本队列后所述样本队列的样本真实资源占用率；输入所述训练样本至待训练模型，并获取所述待训练模型输出的样本预测资源占用率；在所述样本预测资源占用率满足第一预设条件、或所述样本预测资源占用率与所述样本真实资源占用率之间的偏差满足第二预设条件的情况下，得到所述资源预测模型；或者，在所述样本预测资源占用率不满足第一预设条件、或所述样本预测资源占用率与所述样本真实资源占用率之间的偏差不满足第二预设条件的情况下，按照预设的参数调整规则调整所述待训练模型的模型参数；以及，重复获取训练样本、输入训练样本、获取样本预测资源占用率的过程，直至获取到的样本预测资源占用率满足所述第一预设条件、或所述偏差满足所述第二预设条件时，得到所述资源预测模型。
[0009]可选的，所述预测将所述延迟任务调度至备用队列执行时所述备用队列的第二资源占用率，包括：预测执行所述延迟任务时的所需资源量；确定当前时刻所述备用队列中处于执行状态的被执行任务，并确定所有所述被执行任务所使用的占用资源量；将所述所需资源量与所述占用资源量之和、与所述备用队列的资源总量之间的比值确定为所述第二资源占用率。
[0010]可选的，所述在所述第二资源占用率不大于第二占用率阈值的情况下，将所述延迟任务调度至所述备用队列，包括：在任一备用队列的第二资源占用率不大于预设的第二占用率阈值的情况下，将所述延迟任务调度至所述任一备用队列。
[0011]可选的，还包括：在所有备用队列的第二资源占用率均大于预设的第二占用率阈值的情况下，等待预设时长后重新预测各个所述备用队列的第二资源占用率。
[0012]可选的，还包括：将所述延迟任务调度至所述备用队列后，获取所述备用队列对所述延迟任务的执行结果；在所述执行结果不满足预设指标的情况下，降低所述第二占用率阈值。
[0013]根据本公开实施例的第二方面，提出一种任务调度装置，所述装置包括：确定模块，被配置为确定任务队列中满足预设延迟条件的延迟任务，并预测所述任务队列在预设时长后的第一资源占用率；预测模块，被配置为在所述第一资源占用率不小于第一占用率阈值的情况下，预测将所述延迟任务调度至备用队列执行时所述备用队列的第二资源占用率；调度模块，被配置为在所述第二资源占用率不大于第二占用率阈值的情况下，将所述
延迟任务调度至所述备用队列。
[0014]可选的，所述确定模块还被配置为：确定所述任务队列中各个任务的当前排队位置，若任一任务的当前排队位置位于该任务进入所述任务队列时的默认排队位置之后，则将所述任一任务确定为满足预设延迟条件的延迟任务；或者，预测执行所述任务队列中的任务时所需的任务资源，若任一任务对应的所述任务资源不小于预设的资源阈值，则将所述任一任务确定为满足预设延迟条件的延迟任务。
[0015]可选的，所述预测模块还被配置为：确定所述任一队列中处于运行状态的当前任务，并确定所述当前任务的数据量和运行时长；根据所述数据量提取所述当前任务的任务数据特征，并根据所述运行时长提取所述任一队列的队列运行特征；基于所述任务数据特征和所述队列运行特征，通过预设算法预测所述任一队列在预设时长后的第一资源占用率。
[0016]可选的，所述预测模块还被配置为：将所述任务数据特征和所述队列运行特征输入预训练的资源预测模型，以使所述资源预测模型进行预测处理得到所述任一队列在预设时长后的第一资源占用率。
[0017]可选的，还包括模型训练模块，被配置为：获取训练样本，所述训练样本包括样本任务和样本队列，其中，所述样本队列被标注有将所述样本任务调度至所述样本队列后所述样本队列的样本真实资源占用率；输入所述训练样本至待训练模型，并获取所述待训练模型输出的样本预测资源占用率；在所述样本预测资源占用率满足第一预设条件、或所述样本预测资源占用率与所述样本真实资源占用率之间的偏差满足第二预设条件的情况下，得到所述资源预测模型；或者，在所述样本预测资源占用率不满足第一预设条件、或所述样本预测资源占用率与所述样本真实资源占用率之间的偏差不满足第二预设条件的情况下，按照预设的参数调整规则调整所述待训练模型的模型参数；以及，重复获取训练样本、输入训练样本、获取样本预测资源占用率的过程，直至获取到的样本预测资源占用率满足所述第一预设条件、或所述偏差满足所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，所述方法包括：确定任务队列中满足预设延迟条件的延迟任务，并预测所述任务队列在预设时长后的第一资源占用率；在所述第一资源占用率不小于第一占用率阈值的情况下，预测将所述延迟任务调度至备用队列执行时所述备用队列的第二资源占用率；在所述第二资源占用率不大于第二占用率阈值的情况下，将所述延迟任务调度至所述备用队列。2.根据权利要求1所述的方法，其特征在于，所述确定任务队列中满足预设延迟条件的延迟任务，包括：确定所述任务队列中各个任务的当前排队位置，若任一任务的当前排队位置位于该任务进入所述任务队列时的默认排队位置之后，则将所述任一任务确定为满足预设延迟条件的延迟任务；或者，预测执行所述任务队列中的任务时所需的任务资源，若任一任务对应的所述任务资源不小于预设的资源阈值，则将所述任一任务确定为满足预设延迟条件的延迟任务。3.根据权利要求1所述的方法，其特征在于，通过以下过程预测任一队列在预设时长后的第一资源占用率：确定所述任一队列中处于运行状态的当前任务，并确定所述当前任务的数据量和运行时长；根据所述数据量提取所述当前任务的任务数据特征，并根据所述运行时长提取所述任一队列的队列运行特征；基于所述任务数据特征和所述队列运行特征，通过预设算法预测所述任一队列在预设时长后的第一资源占用率。4.根据权利要求3所述的方法，其特征在于，所述基于所述任务数据特征和所述队列运行特征，通过预设算法预测所述任一队列在预设时长后的第一资源占用率，包括：将所述任务数据特征和所述队列运行特征输入预训练的资源预测模型，以使所述资源预测模型进行预测处理得到所述任一队列在预设时长后的第一资源占用率。5.根据权利要求4所述的方法，其特征在于，通过以下过程训练所述资源预测模型：获取训练样本，所述训练样本包括样本任务和样本队列，其中，所述样本队列被标注有预设时长后的样本真实资源占用率；输入所述训练样本至待训练模型，并获取所述待训练模型输出的样本预测资源占用率；在所述样本预测资源占用率满足第一预设条件、或所述样本预测资源占用率与所述样本真实资源占用率之间的偏差满足第二预设条件的情况下，得到所述资源预测模型；或者，在所述样本预测资源占用率不满足第一预设条件、或所述样本预测资源占用率与所述样本真实资源占用率之间的偏差不满足第二预设条件的情况下，按照预设的参数调整规则调整所述待训练模型的模型参数；以及，重复获取训练样本、输入训练样本、获取样本预测资源占用率的过程，直至获取到的样本预测资源占用率满足所述第一预设条件、或所述偏差满足所述第二预设条件时，得到所述资源预测模型。6.根据权利要求1所述方法，其特征在于，所述预测将所述延迟任务调度至备用队列执
行时所述备用队列的第二资源占用率，包括：预测执行所述延迟任务时的所需资源量；确定当前时刻所述备用队列中处于执行状态的被执行任务，并确定所有所述被执行任务所使用的占用资源量；将所述所需资源量与所述占用资源量之和、与所述备用队列的资源总量之间的比值确定为所述第二资源占用率。7.根据权利要求1所述方法，其特征在于，所述在所述第二资源占用率不大于第二占用率阈值的情况下，将所述延迟任务调度至所述备用队列，包括：在任一备用队列的第二资源占用率不大于预设的第二占用率阈值的情况下，将所述延迟任务调度至所述任一备用队列。8.根据权利要求7所述方法，其特征在于，还包括：在所有备用队列的第二资源占用率均大于预设的第二占用率阈值的情况下，等待预设时长后重新预测各个所述备用队列的第二资源占用率。9.根据权利要求1所述方法，其特征在于，还包括：将所述延迟任务调度至所述备用队列后，获取所述备用队列对所述延迟任务的执行结果；在所述执行结果不满足预设指标的情况下，降低所述第二占用率阈值。10.一种任务调度装置，其特征在于，所述装置包括：确定模块，被配置为确定任务队列中满足预设延迟条件的延迟任务，并预测所述任务队列在预设时长后的第一资源占用率；预测模块，被配置为在所述第一资源占用率不小于第一占用率阈值的情况下...

【专利技术属性】
技术研发人员：李秋达，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：