System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据处理,特别地涉及一种调度平台的任务调度方法及系统。
技术介绍
1、在一些业务场景下,任务调度平台时常会接收到一些定时执行的任务,需要在特定的时间周期性地重复某个操作,例如每天固定的时间点发送提醒信息、推送内容等。任务调度平台的作用在于合理地将接收到的各种任务分配至各个任务执行节点,便于服务器高效率地处理各种任务。
2、集群中的任务执行节点的稳定性难以统一,导致在执行任务的过程中出现故障的概率不一样。在这种情况下,任务调度平台所接收到的多个任务,不同任务的定时执行时间可能不同,完成任务所需的时间也可能不同,面对复杂多样的待分配任务,若未考虑任务执行节点的稳定性以及待分配任务的复杂程度,容易导致服务器处理各种任务的效率不高,浪费计算资源。
技术实现思路
1、有鉴于此,本专利技术提供一种调度平台的任务调度方法及系统,通过分析各个任务执行节点的稳定性以及不同待分配任务之间的差异性,生成合理的用于任务调度平台的任务分配方案,提升服务器处理各种任务的效率,节约计算资源。
2、第一方面,本专利技术实施例中提供一种调度平台的任务调度方法,包括:
3、获取多个任务执行节点的历史执行数据,根据所述历史执行数据确定多个任务执行节点的稳定参数,根据所述稳定参数对多个任务执行节点进行排序,得到节点排序列表,所述节点排序列表包括节点编号和所述稳定参数;
4、获取多个待分配任务,从多个待分配任务中提取出每个待分配任务的任务参数,所述任务参数包括子
5、根据所述节点排序列表和所述任务排序列表对多个待分配任务进行分配,得到任务分配方案,调度平台根据所述任务分配方案进行任务调度。
6、进一步地,所述根据所述历史执行数据确定多个任务执行节点的稳定参数,根据所述稳定参数对多个任务执行节点进行排序,得到节点排序列表,包括:
7、根据所述历史执行数据确定每个任务执行节点所执行任务的任务总数以及执行任务过程中出现故障的故障次数,通过如下公式计算得到所述稳定参数:;其中,为稳定参数,为任务总数,为故障次数;
8、在计算得到多个任务执行节点的稳定参数后,按照稳定参数从小到大的顺序对多个任务执行节点进行排序,得到所述节点排序列表。
9、进一步地,所述根据待分配任务的任务参数计算每个待分配任务的执行参考因子,根据所述执行参考因子对多个待分配任务进行排序,得到任务排序列表,包括:
10、根据待分配任务的所述任务参数,按照如下公式进行所述执行参考因子的计算:;其中,表示执行参考因子,表示子任务执行时长,表示任务循环周期,为子任务执行时长的权重参数,为任务循环周期的权重参数;
11、在计算得到每个待分配任务的执行参考因子后,按照执行参考因子从大到小的顺序对多个待分配任务进行排序,得到所述任务排序列表。
12、进一步地,所述根据所述节点排序列表和所述任务排序列表对多个待分配任务进行分配,得到任务分配方案,包括:
13、s11、对于所述任务排序列表,记所述任务排序列表第i项的所述执行参考因子为,令i=1;
14、s12、用所述任务排序列表的第i项遍历所述节点排序列表,根据所述任务排序列表第i项对应的所述任务参数判断所述任务排序列表的第i项是否能分配至所述节点排序列表首项对应的所述任务执行节点,若能则记录分配关系并转到s13,否则判断所述任务排序列表的第i项是否能分配至所述节点排序列表下一项对应的所述任务执行节点,以此类推直到所述任务排序列表的第i项匹配上所述任务执行节点,转到步骤s13;
15、s13、判断“i<n”是否成立,n为任务排序列表中的任务总数,若成立则令i=i+1,并转到步骤s12,否则转到步骤s14;
16、s14、输出步骤s12中记录得到的所有分配关系,生成所述任务分配方案。
17、进一步地,对于步骤s12,所述根据所述任务排序列表第i项对应的所述任务参数判断所述任务排序列表的第i项是否能分配至所述节点排序列表首项对应的所述任务执行节点,包括:
18、根据所述任务排序列表第i项的子任务执行起止时间点、子任务执行时长,判断所述任务排序列表第i项是否与所述节点排序列表首项对应的所述任务执行节点已分配的任务的子任务执行起止时间点、子任务执行时长,是否存在重合部分,若否则所述任务排序列表的第i项能分配至所述节点排序列表首项对应的所述任务执行节点,否则表示所述任务排序列表的第i项不能分配至所述节点排序列表首项对应的所述任务执行节点。
19、进一步地,还包括:
20、在将所述任务排序列表中的任意待分配任务分配至所述节点排序列表中的其中一个所述任务执行节点后,将分配给所述任务执行节点的待分配任务视为所述执行节点已分配的任务。
21、第二方面,本专利技术实施例中提供一种调度平台的任务调度系统,所述调度平台的任务调度系统应用于上述任一项所述的一种调度平台的任务调度方法,包括:
22、数据获取模块,用于获取多个任务执行节点的历史执行数据和多个待分配任务;
23、节点分析模块,用于根据所述历史执行数据确定多个任务执行节点的稳定参数,根据所述稳定参数对多个任务执行节点进行排序,得到节点排序列表;
24、任务分析模块,用于从多个待分配任务中提取出每个待分配任务的任务参数,根据待分配任务的任务参数计算每个待分配任务的执行参考因子,根据所述执行参考因子对多个待分配任务进行排序,得到任务排序列表;
25、任务调度模块,用于根据所述节点排序列表和所述任务排序列表对多个待分配任务进行分配,得到调度平台用于进行任务调度的任务分配方案。
26、进一步地,对于所述节点分析模块和所述任务分析模块,还包括:
27、所述节点分析模块生成的所述节点排序列表包括节点编号和所述稳定参数,所述任务分析模块生成的所述任务排序列表包括任务编号、所述任务参数和所述执行参考因子。
28、本专利技术的有益效果为:
29、本专利技术通过分析节点的历史执行数据以评估节点的稳定性,通过分析待分配任务的任务参数以评估任务的复杂程度,综合考虑节点的稳定性以及任务的复杂程度,生成任务分配方案,提升服务器处理任务的效率,提高计算资源的使用效率。
本文档来自技高网...【技术保护点】
1.一种调度平台的任务调度方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述根据所述历史执行数据确定多个任务执行节点的稳定参数,根据所述稳定参数对多个任务执行节点进行排序,得到节点排序列表,包括:
3.如权利要求1所述的方法,其特征在于,所述根据待分配任务的任务参数计算每个待分配任务的执行参考因子,根据所述执行参考因子对多个待分配任务进行排序,得到任务排序列表,包括:
4.如权利要求3所述的方法,其特征在于,所述根据所述节点排序列表和所述任务排序列表对多个待分配任务进行分配,得到任务分配方案,包括:
5.如权利要求4所述的方法,其特征在于,对于步骤S12,所述根据所述任务排序列表第i项对应的所述任务参数判断所述任务排序列表的第i项是否能分配至所述节点排序列表首项对应的所述任务执行节点,包括:
6.如权利要求5所述的方法,其特征在于,还包括:
7.一种调度平台的任务调度系统,所述调度平台的任务调度系统应用于上述权利要求1-6任一项所述的方法,其特征在于,包括:
8.如权利要求7所
...【技术特征摘要】
1.一种调度平台的任务调度方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述根据所述历史执行数据确定多个任务执行节点的稳定参数,根据所述稳定参数对多个任务执行节点进行排序,得到节点排序列表,包括:
3.如权利要求1所述的方法,其特征在于,所述根据待分配任务的任务参数计算每个待分配任务的执行参考因子,根据所述执行参考因子对多个待分配任务进行排序,得到任务排序列表,包括:
4.如权利要求3所述的方法,其特征在于,所述根据所述节点排序列表和所述任务排序列表对多个待分配任务进行分...
【专利技术属性】
技术研发人员:陈太金,吴春霞,夏小轩,程伟,
申请(专利权)人:恩炳政科技云南有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。