一种基于机器学习技术的智能电网信息系统及方法，包括：配置器模块、组合学习模块、预测器模块、数据预处理模块、模型选择与训练模块和负载信息数据库。本发明专利技术解决了现有技术中基于云计算技术构建电网信息系统的高效利用云计算资源以及快速提供虚拟机服务器这两个问题，由于数据中心中大多数业务是比较固定工作流，通过实时的监控各物理服务器集群的资源信息以及运行在物理服务器之上的虚拟机集群的资源信息，采用基于时间序列的机器学习算法预测出下一时间段的资源开销状况，从而更好的预留资源，提高电网信息系统的资源利用率和服务质量。
【技术实现步骤摘要】
一种基于机器学习技术的智能电网信息系统及方法
本专利技术涉及一种基于机器学习技术的智能电网信息系统及方法，属于应用智能电网信息系统领域。
技术介绍
进入21世纪后，美国电力科学研究院、美国能源部以及欧盟委员会等纷纷提出各自对未来智能电网的设想和框架，国际电工委员会、国际大电网会议组织等国际组织也给予智能电网高度关注。在国内，国家电网公司确立了建立坚强智能电网的发展战略，提出了以特高压为骨干网架、各级电网协调发展、具有“信息化、自动化、互动化”特征的坚强智能电网发展目标，电网的智能化体现为能够全面、及时地掌握电网运行的信息，综合各自动化功能系统对信息分析的结果，做出最优的反应。因此，精确、快速、开放、共享的信息系统是智能电网的基础，也是智能电网与传统电网的最大区别，信息平台是支撑统一坚强智能电网建设的公共平台和重要手段。统一坚强智能电网的建设对信息平台提出了更高的需求：要求贯通智能电网的发电、输电、变电、配电、用电、调度6个环节，实现信息的全面采集、流畅传输和高效处理，支撑电力流、信息流、业务流的高度一体化；要求建立信息共享透明、集成规范、功能强大的业务协同和互操作平台；要求海量的可靠存储与管理，充分挖掘信息的潜在价值，提升智能分析与决策的支持水平。针对以上需求以及日渐成熟的云计算技术，如图1所示，提出采用云计算技术构建智能电网信息平台(参见，充分利用计算资源，实现智能电网全部业务信息的可靠存储与管理，具有成本低、可靠性高、易扩展等优势，为智能电网信息平台的建设提供了全新的解决方案。但是具体使用起来，它有如下的缺点和问题：(1)云计算平台的运行成本高。由于云计算基础架构的扩张，能源消耗问题引起了越来越多的关注。据相关统计，仅仅是维持服务器的运行，能源消耗已经占据这些数据中心均摊费用的23％。如果算上相关辅助设备如备用能源设备以及空调设备的能源消耗，数据中心的能源消耗已经占据均摊费用的42％。虽然从用户的角度来看云平台的资源是无限的，但实际上任何云计算平台都有一个所能提供资源的上限，该上限可以简单地认为由所有物理服务器的计算资源的总和决定。随着时间的推移，云计算服务者会通过增加新的物理服务器来不断提高提供资源的上限。在实际情况中，由于用户的需求量不会总是达到云计算平台所能提供的最大值，因此云平台并不需要时刻满负荷运行。为了降低运行成本，服务提供者会临时关闭一些处于闲置状况的设备(包括物理服务器以及相关辅助设备)。同时，为了保证服务质量，服务提供者会考虑到未来可能资源需求而预留一些空余的资源。由于用户的计算资源需求是不断变化的，因此预留多少的计算资源成为一个需要解决的问题。(2)在基础设置即服务的服务模式中，每当用户申请新的计算资源(即虚拟机)时，云计算平台的管理系统会按需准备新的虚拟机。在当前技术情况下，准备一个可用的虚拟机需要几分钟到十几分钟的时间(包括创建虚拟机、安装操作系统、应用程序安装、补丁安装、安全监测、测试、信息验证等)。这样的准备时间在大多数情况下是可以接受的，但是对于某些紧急程度较高的应用来说这是不可接受的。从硬件以及软件技术的角度来看，虚拟机准备的时间很难有立即显著减少。一些新技术例如流虚拟机[1]，虽然允许用户在虚拟机完全准备好之前就可以使用，但是利用该技术创建虚拟机在一定比例的虚拟机内容准备好之前仍然无法供用户使用。Snowflock虚拟机利用快速拷贝技术[2]可以通过虚拟机拷贝在数秒内快速创建全新的副本虚拟机。但是，如前所述，给用户提供的新的虚拟机不仅只有创建虚拟机者一步，还包含很多其它的耗时步骤。因此，除非所有步骤上的相关技术都能够极为快速地完成，否则很难实现实时虚拟资源供给。参考文献[1]LABONTEF，MATTSONP，THIESW，etal.Thestreamvirtualmachine；proceedingsoftheProceedingsofthe13thInternationalConferenceonParallelArchitecturesandCompilationTechniques，F，2004[C].IEEEComputerSociety.[2]LAGAR-CAVILLAHA，WHITNEYJA，SCANNELLAM，etal.SnowFlock:rapidvirtualmachinecloningforcloudcomputing；proceedingsoftheProceedingsofthe4thACMEuropeanconferenceonComputersystems，F，2009[C].ACM.[3]GEORGEL.HBase:thedefinitiveguide[M]."O′ReillyMedia，Inc."，2011.
技术实现思路
本专利技术所要解决的技术问题：解决上述现有技术中基于云计算技术构建电网信息系统的高效利用云计算资源以及快速提供虚拟机服务器这两个问题，提供一种基于时间序列的机器学习技术的智能电网信息系统及方法，由于数据中心中大多数业务是比较固定工作流，通过实时的监控各物理服务器集群的资源信息以及运行在物理服务器之上的虚拟机集群的资源信息，采用基于时间序列的机器学习算法预测出下一时间段的资源开销状况，从而更好的预留资源，提高电网信息系统的资源利用率和服务质量。本专利技术技术解决方案：一种基于机器学习技术的智能电网信息系统，其特征在于包括：配置器模块、组合学习模块、预测器模块、数据预处理模块、模型选择与训练模块和负载信息数据库；负载信息收集器模块：如图所示，分别提取物理集群和虚拟集群中的/proc文件中的负载信息，生成负载信息报告，发送给Collector；Collector将负载信息报告传送给TSD(TimeSeriesDaemon)进程，TSD构造记录，并把数据写入HBase；HBase存储数据，并确认写入请求。数据预处理模块：通过数据收集器收集到各物理集群和虚拟集群的负载信息进行筛选，过滤无用的数据和脏数据，并且把有用的原始数据转换为预测模型可用的格式，形成物理机的CPU负载信息(plcpu)、物理机的IO负载信息(plio)、物理机的网络负载信息(plnet)以及虚拟机的CPU负载信息(vlcpu)、虚拟机的IO负载信息(vlio)、虚拟机的网络负载信息(vlnet)这六项数据指标。模型训练模块：将预处理完的数据，输入到滑动平均预测模型、自回归预测模型、自回归移动平均预测模型以及人工神经网络预测模型中进行模型训练。预测器模块：通过不同模型的训练，得到相应模型的预测结果。组合学习模块：根据不同模型的预测结果，进行组合学习，取个预测指标的最优模型，对各指标进行预测。配置器模块：通过组合学习模块，得到各资源的下一时间段的资源需求配置。一种基于机器学习技术的智能电网信息方法，实现步骤如下：(1)收集各物理机集群和虚拟机集群的负载信息，同时加上各负载信息收集时的时间戳，组成时间序列的记录，存储在HBase分布式数据库中。(2)通过客户端访问HBase数据库中的负载信息记录，对数据进行清理与分析，然后将处理后的数据输入到滑动平均预测模型、自回归预测模型、自回归移动平均预测模型以及人工神经网络预测模型中进行模型训练，将经过训练的模型，用本文档来自技高网...
【技术保护点】
一种基于机器学习技术的智能电网信息系统，其特征在于包括：负载信息收集器模块、数据预处理模块、模型选择与训练模块、预测器模块、组合学习模块和配置器模块；其中：负载信息收集器模块，分别提取物理集群和虚拟集群中的/proc文件中的负载信息，生成负载信息报告，发送给Collector；Collector将负载信息报告传送给TSD(Time Series Daemon)进程，TSD构造记录，并把数据写入HBase；HBase存储数据，并确认写入请求；数据预处理模块：通过数据收集器收集到各物理集群和虚拟集群的负载信息进行筛选，过滤无用的数据和脏数据，并且把有用的原始数据转换为预测模型可用的格式，形成物理机的CPU负载信息、物理机的IO负载信息、物理机的网络负载信息以及虚拟机的CPU负载信息、虚拟机的IO负载信息、虚拟机的网络负载信息这六项数据指标；模型训练模块：将数据预处理模块预处理完的数据，输入到滑动平均预测模型、自回归预测模型、自回归移动平均预测模型以及人工神经网络预测模型中进行模型训练；预测器模块：通过不同模型训练，得到相应模型的预测结果；组合学习模块：根据预测器模块得到的相应模型的预测结果，进行组合学习，取个预测指标的最优模型，对各指标进行预测；配置器模块：通过组合学习模块，得到各资源的下一时间段的资源需求配置。...
【技术特征摘要】
1.一种基于机器学习技术的智能电网信息系统，其特征在于包括：负载信息收集器模块、数据预处理模块、模型选择与训练模块、预测器模块、组合学习模块和配置器模块；其中：负载信息收集器模块，分别提取物理集群和虚拟集群中的/proc文件中的负载信息，生成负载信息报告，发送给收集器Collector；Collector将负载信息报告传送给TSD(TimeSeriesDaemon)进程，TSD构造记录，并把数据写入分布式面向列的数据库HBase；HBase存储数据，并确认写入请求；数据预处理模块：通过数据收集器收集到各物理集群和虚拟集群的负载信息进行筛选，过滤无用的数据和脏数据，并且把有用的原始数据转换为预测模型可用的格式，形成物理机的CPU负载信息、物理机的IO负载信息、物理机的网络负载信息以及虚拟机的CPU负载信息、虚拟机的IO负载信息、虚拟机的网络负载信息这六项数据指标；模型训练模块：将数据预处理模块预处理完的数据，输入到滑动平均预测模型、自回归预测...
【专利技术属性】
技术研发人员：马志程，刘晓东，王宝会，靳丹，米新磊，张磊，杨鹏，郑毅，王刚，杨明杰，
申请(专利权)人：王宝会，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。