一种高效能数据中心云服务器资源自主管理方法和系统技术方案

本发明专利技术提供一种高效能数据中心服务器资源自主控制方法和系统，属于计算机高性能计算领域。系统包括资源实时调度层、能耗控制层和虚拟机迁移层，其中资源实时调度层包括性能监控器、在线估计器A、资源控制器、资源分配器，能耗控制层包括性能监控器、在线估计器B、能耗控制器、频率调节器，虚拟机迁移层包括性能监控器、负载探测器、虚拟机迁移调度器。方法包括资源实时调度、能耗控制和虚拟机迁移三部分分别对应在秒级、分钟级、小时级层面上协同运作，进而使数据中心服务器达到性能和能耗的最优控制。该方法和系统能够实现数据中心服务器全周期的多层次云资源调度管理，大幅降低数据中心服务器能耗，确保云服务的质量。

An Efficient Method and System for Resource Autonomous Management of Cloud Server in Data Center

The invention provides an autonomous control method and system for server resources of a high-efficiency data center, which belongs to the field of computer high-performance computing. The system includes resource real-time scheduling layer, energy consumption control layer and virtual machine migration layer. The resource real-time scheduling layer includes performance monitor, online estimator A, resource controller and resource allocator. The energy consumption control layer includes performance monitor, online estimator B, energy consumption controller and frequency regulator. The virtual machine migration layer includes performance monitor, load detector and virtual machine migration. Shift scheduler. The method includes three parts: real-time resource scheduling, energy consumption control and virtual machine migration. They should work together at the second, minute and hour levels respectively, so as to achieve the optimal control of performance and energy consumption of data center servers. This method and system can realize multi-level cloud resource scheduling management of data center servers in full cycle, greatly reduce the energy consumption of data center servers, and ensure the quality of cloud services.

【技术实现步骤摘要】
一种高效能数据中心云服务器资源自主管理方法和系统
本专利技术涉及一种高效能数据中心云服务器资源自主管理方法和系统，属于计算机高性能计算领域。
技术介绍
随着互联网经济的进一步繁荣，数据中心的规模以惊人的速度扩张，特别是云计算和大数据的提出，数据中心的规模得到了空前的发展，如何对数据中心的资源(特别是云服务器)进行高效管理是一个具有挑战性的问题。同时，数据中心在消耗大量能源的同时，也带来了不容忽视的碳排放量。因此，设计高效合理的云服务器资源控制方法和系统对整个数据中心的资源管理，以及降低数据中心的能耗、减少运营成本、减少能源消耗对环境的污染都具有十分重要的意义。虚拟化技术(如VMware、Xen和MicrosoftVirtualServers)通过灵活的资源管理、在线迁移等技术，为高效地管理数据中心的云服务器资源和能耗提供了一条可行路径。这些虚拟化技术允许在一台物理云服务器上生成多台虚拟机(VirtualMachine，VM)，在每台VM上面可以运行不同的操作系统和应用，同时所有的VM共享底层的硬件资源，以达到提高云服务器资源利用率的目的，因此当前数据中心纷纷采用虚拟化技术来搭建数据中心云服务器。然而，虚拟化技术在给数据中心的管理带来好处的同时，也面临着诸多挑战。首先，由于硬件资源(如CPU、内存和I/O硬盘等)的有限性，使得共享资源的VM之间存在着性能干涉的问题。因此，数据中心服务提供商的首要任务是保证应用的服务级别协议SLAs(如响应时间、吞吐量等)。其次，随着能源成本的增长，如何在不降低服务性能的同时减少云计算云服务器的耗电量成为高性能计算研究的热点问题。最后，现代化数据中心规模和应用复杂度的不断增加给系统管理员提出了一个严峻的挑战，即如何在尽量减少人为对数据中心干涉的基础上，最大可能地实现数据中心的自主化管理。随着云计算技术的飞速发展，相关研究人员已经提出了各种云服务器的性能管理方案，虽然这些方案能够在一定程度上优化云服务器性能以及降低集群能耗，但它们往往由单一控制组件或者调度算法构成，所设计的系统缺乏一站式的全生命周期管理。同时，已有的控制方案大部分为确定性控制依赖于在线估计器可以稳定地提供精准的模型参数给控制器这一假设。但是，该假设往往并不成立，因为由于数据中心云服务器系统的复杂性，通常采用线性化方法进行建模，在建模过程中真实数据中心云服务器中的非线性因素往往被忽略(如计算机系统资源的有限性，并受限于硬件自身的制造工艺；突发性Web负载可以造成系统输出端的未知波动；计算机内部处理过程的随机性等等)。因此，当突发性的Web负载引起系统输出端的严重扰动时，在线估计器的性能会变得不准确，导致控制器做出错误的控制选择)，在某些情况下，甚至导致应用的响应时间出现震荡现象。
技术实现思路
本专利技术针对现有技术中存在的上述问题，提供一种高效能数据中心云服务器资源自主管理方法和系统，能够同时保证耗电量和性能最优化，并且可以按照不同要求在两者之间进行灵活权衡，针对网络负载的动态变动，采用全方位、一站式、全周期的多层次数据中心资源调度管理，能够大幅降低数据中心云服务器能耗，同时确保数据中心服务质量。本专利技术提供一种高效能数据中心云服务器资源自主管理系统，其特征在于，该系统包括资源实时调度层、能耗控制层和虚拟机迁移层：第一层为资源实时调度层，主要实现负载均衡控制算法对云服务器的秒级控制，该层结构包括性能监控器、在线估计器A、资源控制器、资源分配器；第二层为能耗控制层，主要实现节能控制算法对云服务器的分钟级控制，该层结构包括性能监控器、在线估计器B、能耗控制器、频率调节器；第三层为虚拟机迁移层，主要实现虚拟机在线迁移算法对云服务器的小时级控制，该层结构包括性能监控器、负载探测器、虚拟机迁移调度器。所述性能监控器用于测量运行在每个虚拟机上的各个Web应用在上个周期内的响应时间信息，并周期性地将这些数据发送到在线估计器。所述线估计器A用于接收性能监控器监测到的响应时间数据以及上个周期物理主机上CPU或者内存等的资源分配量信息，来构建资源分配量-响应时间模型，并采用最小二乘法对模型参数进行动态更新。所述资源控制器为带约束条件的随机线性二次型(cSLQC)控制器。所述资源分配器的工作原理类似于控制系统中的校正设备，按照资源控制器计算得到的资源分配方案，强制把对应大小的物理CPU或者内存等资源片分配给各个虚拟机，以使每个应用的响应时间接近于参考量。所述在线估计器B同样接受来自于性能监控器监测得到的响应时间以及云服务器的物理CPU或者内存等频率大小，并构建频率-响应时间模型，然后采用最小二乘法来计算出模型参数。所述能耗控制器为自适应线性二次型调节器(ALQR)。所述频率调节器的工作原理类似于控制系统中的校正设备，采用动态电压调频技术(DVFS)，按照能耗控制器计算得到的资源分配方案，强制改变数据中心云服务器物理CPU或者内存等的频率大小，使所有应用的平均响应时间接近于参考量，并达到降低能耗的作用。所述负载探测器定时采集得到集群中物理主机上虚拟机的资源请求量信息，并判别主机负载状态。所述虚拟机迁移调度器主要完成数据中心云服务器集群中虚拟机的在线迁移任务。本专利技术还提供一种高效能数据中心云服务器资源自主管理方法，其特征在于，该方法包括资源实时调度、能耗控制和虚拟机迁移三部分，分别对应在秒级、分钟级、小时级层面上协同运作；进一步，所述资源实时调度通过自适应调整分配给不同虚拟机的资源量来维持各虚拟机之间的负载均衡，进而使所有虚拟机可以得到近似一致的响应时间，具体包括如下步骤：(1)性能检测器自动采集得到运行于数据中心云服务器各个虚拟机上的Web应用的响应时间信息和上一时刻获得的资源分配量；(2)线性控制器A对响应时间和资源分配量之间的复杂关系采用Levy模型与ARMAX模型相结合的方式进行建模，并对模型参数进行动态更新；(3)资源控制器将云服务器资源的实时分配看作一种负载均衡问题，进而建模为鲁棒性动态优化控制问题，并采用带约束条件的随机线性二次型控制算法来设计资源控制器来计算最优的资源分配方案；(4)将计算所得资源分配方案作用于系统自带的CPU资源分配器，通过改变每个虚拟机的资源分配量来保证在动态负载情况下运行在每个虚拟机上面Web应用的性能。进一步，所述能耗控制通过动态改变物理CPU的频率来保持所有虚拟机的平均响应时间趋于理想水平，达到调整电压，实现能耗控制的目的，具体包括如下步骤：(1)性能检测器自动采集得到每个虚拟机上的Web应用的响应时间和所对应云服务器的物理CPU频率信息；(2)线性控制器B对响应时间和物理CPU或者内存等频率之间的非线性关系采用ARMAX模型进行建模，并对模型参数进行实时更新；(3)能耗控制器采用自适应线性二次型调节器算法，对满足所有虚拟机性能要求的物理CPU频率大小进行计算，得到最优的CPU或者内存等频率值，通过频率调节器来改变数据中心云服务器的电压大小，而达到节能的效果。进一步，所述虚拟机迁移从整个数据中心云服务器集群的角度，通过在线对虚拟机进行大规模迁移，来进一步大幅度降低系统能耗，提升Web应用性能，具体包括如下步骤：(1)性能检测器利用性能监控器定时采集物理云服务器上虚拟机CPU资源利用信息，并计本文档来自技高网...

【技术保护点】
1.一种高效能数据中心云服务器资源自主管理系统，其特征在于，该系统包括资源实时调度层、能耗控制层和虚拟机迁移层：第一层为资源实时调度层，主要实现负载均衡控制算法对云服务器的秒级控制，该层结构包括性能监控器、在线估计器A、资源控制器、资源分配器；第二层为能耗控制层，主要实现节能控制算法对云服务器的分钟级控制，该层结构包括性能监控器、在线估计器B、能耗控制器、频率调节器；第三层为虚拟机迁移层，主要实现虚拟机在线迁移算法对云服务器的小时级控制，该层结构包括性能监控器、负载探测器、虚拟机迁移调度器。

【技术特征摘要】
1.一种高效能数据中心云服务器资源自主管理系统，其特征在于，该系统包括资源实时调度层、能耗控制层和虚拟机迁移层：第一层为资源实时调度层，主要实现负载均衡控制算法对云服务器的秒级控制，该层结构包括性能监控器、在线估计器A、资源控制器、资源分配器；第二层为能耗控制层，主要实现节能控制算法对云服务器的分钟级控制，该层结构包括性能监控器、在线估计器B、能耗控制器、频率调节器；第三层为虚拟机迁移层，主要实现虚拟机在线迁移算法对云服务器的小时级控制，该层结构包括性能监控器、负载探测器、虚拟机迁移调度器。2.根据权利要求1所述的一种高效能数据中心云服务器资源自主管理系统，其特征在于，所述性能监控器用于测量运行在每个虚拟机上的各个Web应用在上个周期内的响应时间信息，并周期性地将这些数据发送到在线估计器。3.根据权利要求1所述的一种高效能数据中心云服务器资源自主管理系统，其特征在于，所述线估计器A用于接收性能监控器监测到的响应时间数据以及上个周期物理主机上CPU或者内存等的资源分配量信息，来构建资源分配量-响应时间模型，并采用最小二乘法对模型参数进行动态更新。4.根据权利要求1所述的一种高效能数据中心云服务器资源自主管理系统，其特征在于，所述资源控制器为带约束条件的随机线性二次型(cSLQC)控制器。5.根据权利要求1所述的一种高效能数据中心云服务器资源自主管理系统，其特征在于，所述资源分配器的工作原理类似于控制系统中的校正设备，按照资源控制器计算得到的资源分配方案，强制把对应大小的物理CPU或者内存等资源片分配给各个虚拟机，以使每个应用的响应时间接近于参考量。6.根据权利要求1所述的一种高效能数据中心云服务器资源自主管理系统，其特征在于，所述在线估计器B同样接受来自于性能监控器监测得到的响应时间以及云服务器的物理CPU或者内存等频率大小，并构建频率-响应时间模型，然后采用最小二乘法来计算出模型参数。7.根据权利要求1所述的一种高效能数据中心云服务器资源自主管理系统，其特征在于，所述能耗控制器为自适应线性二次型调节器(ALQR)。8.根据权利要求1所述的一种高效能数据中心云服务器资源自主管理系统，其特征在于，所述频率调节器的工作原理类似于控制系统中的校正设备，采用动态电压调频技术(DVFS)，按照能耗控制器计算得到的资源分配方案，强制改变数据中心云服务器物理CPU或者内存等的频率大小，使所有应用的平均响应时间接近于参考量，并达到降低能耗的作用。9.根据权利要求1所述的一种高效能数据中心云服务器资源自主管理系统，其特征在于，所述负载探测器定时采集得到集群中物理主机上虚拟机的资源请求量信息，并判别主机负载状态。10.根据权利要求1所述的一种高效能数据中心云服务器资源自主管理系统，其特征在于，所述虚拟机迁移调度器主要完成数据中心云服务器集群中虚拟机的在线迁移任务。11.一种高效...

【专利技术属性】
技术研发人员：史晓雨，尚明生，白亚男，
申请(专利权)人：中国科学院重庆绿色智能技术研究院，
类型：发明
国别省市：重庆,50