混部云数据中心双层虚拟化架构下可中断任务的调度方法和系统技术方案

混部云数据中心双层虚拟化架构下可中断任务的调度方法和方法，其方法包括：

【技术实现步骤摘要】
混部云数据中心双层虚拟化架构下可中断任务的调度方法和系统


[0001]本专利技术属于云计算领域，具体涉及一种混部云数据中心双层虚拟化架构下可中断任务的调度方法和系统
。

技术介绍

[0002]云数据中心作为云计算的载体，云服务提供商在全球范围扩建和新建大量大规模云数据中心成为必然趋势
。
然而维持基础设施庞大的云数据中心的正常运行耗费的大量电力资源，造成了很多负面影响
。
因此，降低云数据中心能耗对于建设绿色云数据中心非常关键
。
[0003]随着计算需求的爆炸式增长，原有的以虚拟机为运行环境的单层虚拟化架构已难以满足现实需要
。
随着容器技术的不断发展，容器技术逐渐成为各类应用运行的理想环境，如今，双层虚拟化架构成为云数据中心的普遍场景
。
[0004]同时，随着集群规模逐渐扩大，普遍存在分配率较高而利用率偏低的问题
。
混部技术即把在离线作业部署到一个机器上，把空闲的资源给离线作业使用，能够有效提高资源利用率
。
但在混部场景下，在线任务和离线任务之间资源的互相抢占，也大大增加了任务调度的难度
。
[0005]可中断任务在云计算市场中广泛存在，如网络爬虫
、
蒙特卡洛模拟
、
大数据分析等
。
这类任务的特点是只需要很少的操作
、
甚至不需要任何操作，便可以分成大量的子任务
。
这些子任务相互独立，彼此没有依赖性也不需要通信，可以同时在多台机器上执行
。
这类任务可以在运行过程中随时改变分配的资源，而在过程中被中断的任务可以在中断处继续运行，适合在混部环境下运行
。
[0006]在混部双层虚拟化架构场景下，有截止日期的可中断任务的调度策略直接影响数据中心产生的能耗
。
但目前这种场景具有很大的挑战性，有必要提供一种可中断任务在这种场景下的调度方法
。

技术实现思路

[0007]本专利技术要克服现有技术的上述缺点，提供一种混部云数据中心双层虚拟化架构下可中断任务的调度方法和系统，以解决传统资源调度方法的多机器
、
高能耗问题，充分利用混部资源，有效降低数据中心的能耗
、
提高资源利用率
。
[0008]为实现上述目的，本专利技术的第一个专利技术涉及混部云数据中心双层虚拟化架构下可中断任务的调度方法，包括以下步骤：
[0009](1)
任务处理：在每一个调度周期开始时，拿到待处理的任务集合，并获取任务的特征，根据混部集群的信息计算任务当前周期需要完成的工作量，然后依据工作量，从大到小进行排序
。
[0010](2)
调度算法：在完成任务处理后，为当前周期内需要调度的任务找寻最佳的资源
分配方案，每个任务可能存在多种资源分配方案；通过构建能耗最优目标函数计算当前周期的总能耗，来选择能耗最低的分配方案
。
[0011](3)
方案再调整：在方案选择完毕后，对方案进行再次调整，进一步提高资源利用率，同时降低混部虚拟机上的任务被驱逐的可能
。
[0012](4)
负载预测：在当前调度周期即将结束时，对下一周期混部虚拟机的在线负载进行预测，并根据预测结果拟合出下一周期的负载曲线，使用预测负载更新集群状态信息，为下个调度周期的任务处理模块做准备
。
[0013](5)
调度结束：如果所有任务执行完毕，即待调度的任务集为空，则调度结束
。
[0014]具体地，步骤
(1)
所述的任务的特征可用四元组
{A
j
,D
j
,W
j
,K
j
}
表示，
A
j
表示到达时间，
D
j
表示相对截止期限，
W
j
表示工作量，
K
j
表示最大并行度
。
即任务完成时间
T<
＝
A
j
+D
j
，任务在第
i
个周期的并行度
[0015]进一步地，步骤
(1)
所述的根据混部集群的信息计算任务当前周期需要完成的工作量的计算为当前任务剩余的工作量与到截止日期所剩余的时间片的比值，具体计算公式为：
[0016][0017]式中，
i
为第
i
个调度周期；为任务
j
在第
i
个周期应该完成的工作量；
W
j
为任务
j
的剩余工作量；
D
j
为任务
j
的相对截止期限；
L
为单个周期所包含的时间片总数
。
[0018]具体地，步骤
(2)
所述的在第
i
个调度周期内能耗最优目标函数由混部集群能耗
、
非混部集群能耗和未完成工作量的惩罚构成，其计算公式为：
[0019][0020]式中，
u
为混部虚拟机上任务的可利用率；
L
为一个周期内的时间片总数；
P(u)
为子任务在可用率为
u
的容器上运行消耗的能量；为第
i
个周期混部虚拟机上可用率为
u
的任务总数；为第
i
个周期需要分配的非混部虚拟机数量；
P
idle
为单台虚拟机空闲时的能耗；
P(L)
为非混部虚拟机上一个子任务运行完成产生的能耗；为第
i
个周期非混部虚拟机中所有子任务的数量；
Penalty
为工作量未完成时的能耗惩罚
。
[0021]即第
i
个周期的优化目标为：
min{PR(p
i
)}
[0022]具体地，步骤
(3)
所述的对分配方案进行再次调整包括：将较高负载的混部虚拟机和较低负载的非混部虚拟机进行交换，得出最终调度方案
。
[0023]具体地，步骤
(4)
所述的负载预测具体过程包括：所述负载预测模块使用历史调度周期内混部虚拟机负载数据对下个调度周期的混部集群负载进行预测，并更新混部集群信息，为进入下一阶段做好准备
。
[0024]本专利技术的第二个方面涉及混部云数据中心双层虚拟化架构下可中断任务的调度系统，包括：
[0025]任务处理模块，用于在每一个调度周期开始时，拿到待处理的任务集合，并获取任务的特征，根据混部集群的信息计算任务当前周期需要完成的工作量，然后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
混部云数据中心双层虚拟化架构下可中断任务的调度方法，其特征在于，包括以下步骤：
(1)
任务处理：在每一个调度周期开始时，拿到待处理的任务集合，并获取任务的特征，根据混部集群的信息计算任务当前周期需要完成的工作量，然后依据工作量，从大到小进行排序；
(2)
调度算法：在完成任务处理后，为当前周期内需要调度的任务找寻最佳的资源分配方案，每个任务可能存在多种资源分配方案；通过构建能耗最优目标函数计算当前周期的总能耗，来选择能耗最低的分配方案；
(3)
方案再调整：在分配方案选择完毕后，对分配方案进行再次调整，进一步提高资源利用率，同时降低混部虚拟机上的任务被驱逐的可能；
(4)
负载预测：在当前调度周期即将结束时，对下一周期混部虚拟机的在线负载进行预测，并根据预测结果拟合出下一周期的负载曲线，使用预测负载更新集群状态信息，为下个调度周期的任务处理模块做准备；
(5)
调度结束：如果所有任务执行完毕，即待调度的任务集为空，则调度结束
。2.
根据权利要求1所述的方法，其特征在于，步骤
(1)
所述的任务的特征用四元组
{A
j
,D
j
,W
j
,K
j
}
表示，
A
j
表示到达时间，
D
j
表示相对截止期限，
W
j
表示工作量，
K
j
表示最大并行度，即任务完成时间
T<
＝
A
j
+D
j
，任务在第
i
个周期的并行度
3.
根据权利要求1所述的方法，其特征在于，步骤
(1)
所述的根据混部集群的信息计算任务当前周期需要完成的工作量，包括：当前任务剩余的工作量与到截止日期所剩余的时间片的比值，具体计算公式为：式中，
i
为第
i
个调度周期；为任务
j
在第
i
个周期应该完成的工作量；
W
j
为任务
j
的剩余工作量；
D
j
为任务
j
的相对截止期限；
L
为单个周期所包含的时间片总数
。4.
根据权利要求1所述的方法，其特征在于，步骤
(2)
所述的能耗最优目标函数由混部集群能耗
、
非混部集群能耗和未完成工作量的惩...

【专利技术属性】
技术研发人员：蒋铿，倪超，张典典，
申请(专利权)人：浙江大学，
类型：发明
国别省市：