一种云工作流调度的能耗优化方法、云计算系统技术方案

本发明专利技术属于传输控制规程技术领域，公开了一种云工作流调度的能耗优化方法、云计算系统，云计算作为分布式环境中一种新的服务供应模式，对计算资源的大量需求使得其能耗问题面临巨大的挑战。在云计算系统中，选择不合适的调度方法执行云工作流往往会造成能耗的浪费。为了解决云工作流执行过程中的高能耗问题，建立了云工作流的能耗模型，并提出了一个基于SLA的云工作流调度能耗优化算法，能在满足时间和成本约束的同时降低能耗。实验结果表明本发明专利技术所提出的优化算法与基于QoS的工作流调度算法相比而言，不仅能满足用户定义的时间和成本要求，而且还能减少平均能耗。

【技术实现步骤摘要】
一种云工作流调度的能耗优化方法、云计算系统
本专利技术属于传输控制规程
，尤其涉及一种云工作流调度的能耗优化方法、云计算系统。
技术介绍
目前，业内常用的现有技术是这样的：由于云计算系统集中了大量的计算资源和存储资源，为了实现系统运行的高效、低成本和安全需要解决许多方面的问题，其中高能耗就是最为严重的问题之一。据统计，从2005年到2010年云计算数据中心所消耗的能量上升了56％，在2010年其所消耗的电能大约占到了全球总用电量的1.1％～1.5％左右。在云计算系统中，除了执行用户任务所必需的能耗外，也存在不合理调度而造成的能耗浪费的现象。通常，云计算系统中包含各种性能不同的计算机，而不同类型的计算机在执行相同任务时所花费的能耗和时间也往往不相同。在考虑能耗的情况下，对于用户任务的请求，不适合的调度方式可能会造成低能耗就能解决的问题却花费了高能耗。因此，在满足服务等级协议的前提下，通过对资源的合理调度如何实现云计算系统的能耗降低受到了广泛关注。云工作流是工作流管理系统在云计算环境中的一种崭新的应用模式，是针对云计算的系统性能与运行成本的优化解决方案，能帮助云计算系统降低运行成本而提高云服务质量。云工作流的调度和网格工作流一样，都是将工作流中每个任务映射到一个合适的资源，并根据每个资源所能满足的性能标准对任务进行排序。对于工作流调度算法概括起来可以分为两大类：基于尽力服务的服务调度算法和基于QoS限制的服务调度算法。基于尽力服务方法是单纯以最小化执行时间为目标的调度策略，基于QoS限制的调度算法则是要在满足用户QoS要求的条件下保证使调度系统的性能最好。目前，对于云计算环境中解决工作流调度的研究工作还比较少，但都没有很好地解决由于不匹配调度而造成的能耗浪费问题。对Montage工作流在本地集群和芝加哥大学科学云中执行的性能进行了比较；进行了类似的工作研究，根据时间和成本对在美国国家计算机安全协会的Abe集群中心和AmazonEC2中执行一些科学工作流的性能进行了比较。采用Pegasus工作流管理系统来执行工作流应用，也没有考虑云计算环境中工作流应用的运行成本。两种工作流调度策略(即时间优化和成本优化策略)，在本地资源和公共IaaS云相结合的环境中执行受到最后期限和预算约束的ParameterSweep工作流应用。不管是时间优化策略还是成本优化策略都利用本地集群中心来执行工作流应用，而时间优化策略在指定的预算范围内试图通过采用云供应商(比如AmazonEC2)的资源来最小化执行时间，成本优化策略只有在用户最后期限得不到满足的情况下才会利用额外的云资源。然而它们都没有考虑到工作流应用的实际情况。利用网格资源来调度工作流应用，这样就可以在需要的时候能够租用云资源。综上所述，现有的工作流调度算法不管是时间优化还是成本优化的调度算法都未考虑到云计算环境中所面临的能耗问题，造成了不匹配调度的能耗浪费现象。综上所述，现有技术存在的问题是：现有的工作流调度算法不管是时间优化还是成本优化的调度算法都未考虑到云计算环境中所面临的能耗问题，造成了服务和任务不匹配调度的能耗浪费现象。如果对这种现象不加以控制，任其继续发展，在当前大力倡导绿色、低碳、环保、节能的情势下，云计算的发展必定会受到严重的影响。既要满足服务质量又能有效降低能耗的云工作流调度是一个NP难度问题，通过搜索工作流关键路径建立起来的能耗优化模型从一定程度上解决了这一问题，不仅能保证了云计算系统在时间、成本等方面的服务质量，而且从长远来看有效地避免了云计算数据中心的能耗严重浪费问题，对于21世纪提倡绿色环保的云服务系统具有重要的意义。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种云工作流调度的能耗优化方法、云计算系统。本专利技术是这样实现的，一种云工作流调度的能耗优化方法，所述云工作流调度的能耗优化方法首先基于多元回归的马尔科夫模型预测云计算系统中每种类型的服务下一时间段的空闲率，从而为云工作流的所有任务选择合适的云服务；然后利用提出的算法计算云工作流服务图的关键路径；接下来根据关键路径搜索云工作流应用包含的所有能完成云工作流任务的可行调度方案；最后通过建立起来的能耗优化模型计算每一个可行调度方案所产生的能耗而发现最佳调度方案。进一步，服务的空闲率采用基于多元回归的马尔科夫模型进行预测；我们一般将y＝a0+a1x1+a2x2+an-1xn-1+anxn+ε称为多元回归线性模型，其中ε为误差，a0,a1,a2,......,an-1,an为未知量，利用历史的多次观测值序列即可得到多元回归方程。观测值序列表示如下：回归方程为：假设有一个马尔科夫链，其状态集为：{s1,s2,…,sn-1,sn}，转移矩阵为：A＝(ai,j)n×n，在预测过程中，假定每一种任务对应多个候选服务，第j个服务在t时刻的空闲率为yt(j)，在t+1时刻为yt+1(j)，其中t＝1，2，…，m，j＝1，2，…，n。根据齐次马尔科夫链的性质可以得到：其中ai,j,i＝1,2,......,n,j＝1,2,......,n是待估计的参数，另设t时刻的误差变量为：εt(j),j＝1,2,......,n，这样就可以预测出同一种类型的每个服务的空闲率：进一步，所述云工作流调度的能耗优化方法的云工作流模型通过有向无环图w(T,E)来建立；在图w中，T表示n个任务{t1,t2,…tn}组成的任务集，E为任务之间的依赖关系集；每一个依赖关系ei,j＝(ti,tj)表示一个优先约束，任务tj开始之前ti应该完成执行；在一个给定的任务图中，没有任何父结点的任务称为入口任务，没有任何孩子结点的任务称之为出口任务。进一步，所述云工作流调度的能耗优化方法的能耗模型：其中，E表示总能耗，SS(ti)表示为任务ti所选择的服务，P(ti,SS(ti))表示任务ti在服务SS(ti)上执行的功率，T(ti,SS(ti))表示任务ti在SS(ti)上执行所花费的时间；云计算系统中wi(i＝1,2,…,m)类任务的到达率为λi，云计算系统中用来处理用户请求任务的每个服务可以建立M/M/1排队模型；si,j表示为wi类任务提供的服务部署在主机hj上，则hj上任务wi的到达率λi,j可表示为：λi,j＝Pi,j×λi；其中Pi,j表示任务wi由部署在hj主机上的服务si,j来执行的概率，假定服务si,j对wi类任务的服务率为μi,j，则si,j对wi的平均响应时间MRT表示为：如果任务wi的时间属性约束为qti，令MRT＝qti，则μi,j表示为：主机hj对所有m类任务(wi,i＝1,2,…,m)的服务强度表示为：任意服务si,j在t时刻的功率Powerj计算如下：其中，Pc为服务si,j的常量能耗，ai,j和bi,j为能耗参数，不同的服务强度所对应的能耗参数值则不同，当为云工作流任务ti提供服务的si,j的负载趋向于稳定时，可得si,j所处主机hj的功率，计算如下：产生的能耗计算如下：进一步，所述云工作流调度的能耗优化方法的工作流w(T,E)的一次调度表示如下：服务图GS＝(S,D)，其中S＝{si|mapping(si,ti)}为云工作流中每个任务所匹配的服务集，为服务之间的边集；例如图2云工作流应用初始调度后本文档来自技高网...

【技术保护点】
1.一种云工作流调度的能耗优化方法，其特征在于，所述云工作流调度的能耗优化方法利用关键路径搜索云工作流应用所有可行调度方案；通过计算每一个可行调度方案的能耗发现最佳调度方案。

【技术特征摘要】
1.一种云工作流调度的能耗优化方法，其特征在于，所述云工作流调度的能耗优化方法利用关键路径搜索云工作流应用所有可行调度方案；通过计算每一个可行调度方案的能耗发现最佳调度方案。2.如权利要求1所述的云工作流调度的能耗优化方法，其特征在于，所述云工作流调度的能耗优化方法的云工作流模型通过有向无环图w(T,E)来建立；在图w中，T表示n个任务{t1,t2,…tn}组成的任务集，E为任务之间的依赖关系集；每一个依赖关系ei,j＝(ti,tj)表示一个优先约束，任务tj开始之前ti应该完成执行；在一个给定的任务图中，没有任何父结点的任务称为入口任务，没有任何孩子结点的任务称之为出口任务。3.如权利要求1所述的云工作流调度的能耗优化方法，其特征在于，所述云工作流调度的能耗优化方法的能耗模型：其中，E表示总能耗，SS(ti)表示为任务ti所选择的服务，P(ti,SS(ti))表示任务ti在服务SS(ti)上执行的功率，T(ti,SS(ti))表示任务ti在SS(ti)上执行所花费的时间；云计算系统中wi(i＝1,2,…,m)类任务的到达率为λi，云计算系统中用来处理用户请求任务的每个服务可以建立M/M/1排队模型；si,j表示为wi类任务提供的服务部署在主机hj上，则hj上任务wi的到达率λi,j可表示为：λi,j＝Pi,j×λi；其中Pi,j表示任务wi由部署在hj主机上的服务si,j来执行的概率，假定服务si,j对wi类任务的服务率为μi,j，则si,j对wi的平均响应时间MRT表示为：如果任务wi的时间属性约束为qti，令MRT＝qti，则μi,j表示为：主机hj对所有m类任务(wi,i＝1,2,…,m)的服务强度表示为：任意服务si,j在t时刻的功率Powerj计算如下：其中，Pc为服务si,j的常量能耗，ai,j和bi,j为能耗参数，不同的服务强度所对应的能耗参数值则不同，当为云工作流任务ti提供服务的si,j的负载趋向于稳定时，可得si,j所处主机hj的功率，计算如下：产生的能耗计算如下：4.如权利要求1所述的云工作流调度的能耗优化方法，其特征在于，所述云工作流调度的能耗优化方法的工作流w(T,E)的一次调度表示如下：服务图GS＝(S,D)，其中S＝{si|mapping(si,ti)}为云工作流中每个任务所匹配的服务集，为服务之间的边集；云工作流应用初始调度后服务与任务之间的匹配为：t1→s1,3，t2→s2,2,t3→s3,4，t4→s4,6，t5→s5,6，t6→s6,8，t7→s7,8，t8→s8,1；利用有向无环图w(T,E)来建立模型的任意云工作流应用，在调度的过程中需要给每一个任务匹配一个合适的服务，所得到的云工作流服务图就会存在一条关键路径与之相对应，用WCP表示；云工作流的执行时间T和总成本C表示如下：对于任意云工作流的调度，需要为每一个任务ti定义它的最早开始时间EST(ti)，ti在最早开始时间EST(ti)启动它的计算，EST的计算如下：EST(tentry)＝0；因此，每个任务ti的最早完成时间EFT(ti)是ti完成其计算的最早时间，计算如下：EFT(ti)＝EST(ti)+ET(ti,SS(ti))；每个任务ti的最迟完成时间LFT(ti)，ti能最迟在LFT(ti)时完成它的计算，LFT(ti)的计算...

【专利技术属性】
技术研发人员：罗永红，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南,43