【技术实现步骤摘要】
本申请涉及数据处理，特别涉及一种任务调度方法和装置。
技术介绍
1、随着数据量的激增，大数据时代的呈现，大数据、云计算的组件越来越丰富，例如批处理组件(hive，spark)、流处理组件(storm，spark streaming，flink stream)，越来越多的人开始关注集群的任务调度。由于节点在高峰时间段可能存在任务堵塞，导致节点的利用率飙升的情况，致使整个集群的能耗增幅较大，因此任务调度是一个至关重要的环节。
2、鉴于此，如何优化任务调度方案、降低能耗，是亟需解决的技术问题。
技术实现思路
1、本申请提供一种任务调度方法和装置，用于降低能耗。
2、第一方面，本申请实施例提供了一种任务调度方法，应用于任何具备处理能力的电子设备，该方法包括：
3、随机获取集群中的n个节点，将n个任务随机分配到n个节点上；n个任务中的每个任务对应n个节点上的一个节点；
4、重复执行以下步骤，直到重复次数达到阈值：
5、按照预设规则计算每个任务在该任务的一个对应节点上执行的能耗成本；
6、生成第一参数，利用第一参数从预设的公式中选择用于对每个任务的一个对应节点进行更新的目标公式，基于目标公式从集群中的所有节点中确定出每个任务的一个新对应节点；每个任务的一个新对应节点与每个任务的前一个对应节点不同；
7、计算每个任务在该任务的一个新对应节点上执行的能耗成本，若每个任务在该任务的一个新对应节点上执行的能耗成本小于每
8、输出每个任务在重复次数达到阈值时的最新对应节点，将每个任务分配到该任务的最新对应节点上执行。
9、在本方法中，将每个任务在该任务的一个对应节点上执行的能耗成本作为评价任务调度方案的标准，能够将集群的资源最大化利用；且基于能耗成本改进鲸鱼算法，使得能耗成本更低的节点上能够优先放置较多的任务，使得集群的资源调度能够更加均衡，进而降低集群的能耗成本。
10、可选的，能耗用于指示每个任务在该任务的一个对应节点上执行的cpu消耗和内存消耗；按照预设规则计算每个任务在该任务的一个对应节点上执行的能耗成本，包括：
11、获取每个任务在该任务的一个对应节点上执行时的cpu使用率、内存使用率以及完成任务执行所需的时间；
12、基于cpu使用率和内存使用率，按照第一规则计算每个任务在该任务的一个对应节点上执行时单位时间内的能耗；
13、基于每个任务在该任务的一个对应节点上执行时单位时间内的能耗和完成任务执行所需的时间，按照第二规则计算每个任务在该任务的一个对应节点上执行的能耗成本。
14、在本方法中，由于任务在节点上执行时的能耗主要是cpu和内存的能耗，因此基于cpu使用率和内存使用率计算每个任务在该任务的一个对应节点上的能耗成本，便于后续在任务调度的过程中，以降低能耗成本为目的，确定每个任务的最优对应节点。
15、可选的，第一规则如下：
16、e＝c0+c1*ucpu+c2*umem
17、其中，e表示每个任务在该任务的一个对应节点上执行时单位时间内的能耗，c0，c1和c2为常量，ucpu表示每个任务在该任务的一个对应节点上执行时的cpu使用率，umem表示每个任务在该任务的一个对应节点上执行时的内存使用率。
18、在本方法中，每个任务在该任务的一个对应节点上执行时单位时间内的能耗可以统计为每个任务在该任务的一个对应节点上执行时单位时间内消耗的cpu和内存情况，计算内个任务在该任务的一个对应节点上的能耗，便于后续将能耗成本作为选择对应节点的判断依据，降低集群的能耗成本。
19、可选的，第二规则如下：
20、costenergy＝e×p×t
21、其中，costenergy表示每个任务在该任务的一个对应节点上执行的能耗成本，p表示单位时间的能耗计费标准，t表示每个任务在该任务的一个对应节点上完成任务执行所需的时间。
22、在本方案中，基于每个任务在该任务的一个对应节点上执行时单位时间内的能耗，按照集群的能耗计费标准计算以及完成任务执行所需的时间计算每个任务在该任务的一个对应节点上执行的能耗成本，便于后续将能耗成本作为选择对应节点的判断依据，降低集群的能耗成本。
23、可选的，获取每个任务在该任务的一个对应节点上执行时的cpu使用率、内存使用率以及完成任务执行所需的时间，包括：
24、查询是否存在每个任务在该任务的一个对应节点上执行的历史记录；
25、若存在，则获取每个任务在该任务的一个对应节点上执行时的历史cpu使用率、内存使用率以及完成执行所需的时间；
26、若不存在，则根据每个任务在非一个对应节点上执行的历史记录以及每个对应节点的信息，预测每个任务在该任务的一个对应节点上执行时的cpu使用率、内存使用率以及完成执行所需的时间。
27、在本方法中，可以根据每个任务执行情况的历史记录，直接获取或者预测每个任务在该任务的一个对应节点上执行时的历史cpu使用率、内存使用率以及完成执行所需的时间，不需要将每个任务放到其对应节点上去执行，获取执行时的具体数据，可以提高获取数据的效率，进而提高后续计算能耗成本的效率。
28、可选的，第一参数包括随机数p和系数向量a；随机数p的取值不小于0且小于1，系数向量a＝2a×r1-a，其中，a为由2线性降为0的向量，r1为不小于0且不大于1的随机向量；
29、在生成第一参数之前，方法还包括：根据计算出的每个任务在该任务的一个对应节点上执行的能耗成本，确定出能耗成本最低的一个对应节点；
30、利用第一参数从预设的公式中选择用户对每个任务的一个对应节点进行更新的目标公式，基于目标公式从集群的所有节点中确定每个任务的一个新对应节点，包括：
31、当a的绝对值小于1时，
32、
33、d′energy＝|c×x(energy)-x(tsk)|；
34、当a的绝对值大于1时，获取集群中的任一节点xrand(energy)，
35、
36、d″energy＝|c×xrand(energy)-x(tsk)|；
37、其中，x(tsk+1)表示每个任务的一个新对应节点，x(tsk)表示每个任务的前一个对应节点，x(energy)表示能耗成本最低的一个对应节点，r2为不小于0且不大于1的随机向量，b为螺旋形状参数，l为不小于-1且不大于1的均匀分布的随机数，c为系数向量，d'energy表示每个任务的前一个对应节点与能耗成本最低的任务的一个对应节点之间的距离，d”energy表示集群中的任一节点与所述每个任务的前一个对应节点之间的距离。
38、在本方法中本文档来自技高网...
【技术保护点】
1.一种任务调度方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述能耗用于指示所述每个任务在该任务的一个对应节点上执行的CPU消耗和内存消耗；所述按照预设规则计算所述每个任务在该任务的一个对应节点上执行的能耗成本，包括：
3.如权利要求2所述的方法，其特征在于，所述第一规则如下：
4.如权利要求2或3所述的方法，其特征在于，所述第二规则如下：
5.如权利要求2所述的方法，其特征在于，所述获取所述每个任务在该任务的一个对应节点上执行时的CPU使用率、内存使用率以及完成任务执行所需的时间，包括：
6.如权利要求1所述的方法，其特征在于，所述第一参数包括随机数p和系数向量A；所述随机数p的取值不小于0且小于1，所述系数向量A＝2a×r1-a，其中，a为由2线性降为0的向量，r1为不小于0且不大于1的随机向量；
7.如权利要求6所述的方法，其特征在于，所述每个任务的一个新对应节点的可用CPU资源量和内存资源量大于所述每个任务在该任务的一个新对应节点上执行所需的CPU资源量和内存资源量。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。