一种基于信息熵聚类和注意力机制的循环神经网络短期负荷预测方法技术

本发明专利技术设计一种基于信息熵聚类和ATTENTION机制的循环神经网络短期负荷预测方法，包括以下步骤：分析影响电力负荷的特征；使用xgboost算法计算所有特征对负荷的信息熵；使用聚类算法对预测地区的历史数据进行基于各特征信息熵为权重的聚类分析；在聚类结果中选取预测日权重距离最近的簇，并依据距离预测时间由远到近组成时间序列T；时间序列T作为ATTENTION循环神经网络的编码器(Encoder)，并由解码器(Decoder)获得预测结果。与现有技术相比，本发明专利技术具有预测精度高、自适应性好等优点。

A short-term recurrent neural network load forecasting method based on information entropy clustering and attention mechanism

The invention relates to a short-term load forecasting method recurrent neural network information entropy clustering and ATTENTION based on the mechanism, which comprises the following steps: analysis of the influence of characteristics of power load; use xgboost algorithm to calculate the information entropy of all the characteristics of the load; using the clustering algorithm to predict the historical data clustering analysis for the weights of each feature based on information entropy; in the clustering results in the selection of prediction days weight from the nearest cluster, and on the basis of predicting the time distance from far to near composition time series T; time series T encoding ATTENTION as recurrent neural network (Encoder), and by the decoder (Decoder) prediction result. Compared with the existing technology, the invention has the advantages of high prediction precision, good adaptability and so on.

【技术实现步骤摘要】
一种基于信息熵聚类和注意力机制的循环神经网络短期负荷预测方法
本专利技术涉及电网电力预测
，尤其涉及一种基于特征信息熵聚类和注意力机制的循环神经网络短期负荷预测方法。
技术介绍
短期负荷预测在电力控制、安全、市场运作和电网合理调度计划中都起到重要性作用。短期电力负荷预测主要用于预知未来几小时，一天或者一周左右电力负荷使用情况。高精度的短期负荷预测有利于缩减电网运营经济成本，电力系统设备调度与安全。由于电力负荷受各种因素的影响，在实际生产过程中很难实现高精度的负荷预测。在已经主要应用的短期负荷预测模型中，主要分为传统方法和人工智能方法。传统方法是基于数学模型来构造的，包括多元线性回归，随机时间序列，指数平滑和基于先验知识的方法。负荷预测是一个非线性问题，因此传统方法较难实现高精度的预测。人工智能方法主要采用人工神经网络，支持向量机，专家系统模型，模糊逻辑方法和贝叶斯神经网络等方法。由于负荷受到众多特征属性以及未知因素的影响，没有哪种方法能够保证在所有情况下都能保证高精度的预测结果。此外，随着智能电表的普及和各自然因素、社会因素数据的不断健全，如何从庞大的历史数据中选取最有效的部分也成为研究的热点。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于信息熵聚类和注意力(ATTENTION)机制的循环神经网络短期负荷预测方法。本专利技术的目的可以通过以下技术方案来实现：一种基于信息熵聚类和注意力(ATTENTION)机制的循环神经网络短期负荷预测方法，具体包括以下步骤：步骤1：对电力负荷数据进行预处理，确定预测模型的输入特征变量和输出目标。xgboost算法的输入特征包括：季节、温度(℃)、湿度(％)、风速(m/s)、降雨量、星期类型、法定节假日、日前负荷峰值、前七天的负荷平均、七天前负荷值、去年同时段负荷值；输出目标为以上各特征对于负荷值得信息熵(重要度)；步骤2：使用极端梯度提升算法(xgboost)计算影响电力负荷各输入特征的信息熵，并归一化各特征的信息熵，以适配聚类算法对数据的要求，将得到的m个特征的信息熵记为{w1，w2，...，wm}；步骤3：以各特征的信息熵作为重要性启发信息构造基于特征权重的聚类，即样本间距离采用加权欧氏距离衡量，调整聚类参数，使得聚类算法得到与要预测时间段负荷使用情况最相似的历史日；步骤4：依据距离预测时间由远到近将相似的历史日组成时间序列T；步骤5：时间序列T作为ATTENTION循环神经网络的编码器(Encoder)输入序列，训练预测模型，编码器的任务是转换可变长度的输入序列并将其编码为固定长度向量，然后将其用作解码器的输入状态。然后，解码器产生长度为n的预测序列。在Encoder输入相似历史日的负荷值y＝{y0，y1，...，ym-1}和特征向量f＝{f0，f1，...，fm}。而注意力机制让解码器在每一步输出时参与到预测输出的不同部分。由模型Decoder部分预测负荷值实现短期负荷的高精度预测。为了提高预测精度，这里循环神经网络用的是长短期记忆网络(LSTM)结构；步骤6：判断训练模型是否收敛，如果尚未收敛则返回步骤5，否则由解码器(Decoder)获得负荷预测结果。与现有技术相比，本专利技术采用基于各特征信息熵的变权聚类算法对用电历史数据进行聚类，最大程度上挖掘了预测日的用电规律，剔除了与预测日特征相似度较小的负荷曲线，通过选取聚类后与要预测时间段负荷使用情况最相似的历史日进行预测模型训练，可有效提高短期负荷预测的精度。此外，本专利技术还采用了具有ATTENTION机制的LSTM循环神经网络建立预测模型，能够更有效的反应历史数据的负荷曲线，从而进一步提高负荷预测精度。附图说明图1为本专利技术的流程图；图2为基于注意力(ATTENTION)机制的循环神经网络预测模型的流程图。具体实施方式下面结合附图对本专利技术进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。步骤1：数据预处理，确定输入特征变量。由于电力负荷的大小受到很多因素的影响，除了需要负荷数据外，季节、温度(℃)、湿度(％)、风速(m/s)、降雨量、星期类型、法定节假日等特征都起到影响作用。而在数据分析过程中又分析了日前负荷峰值、前七天的负荷平均、七天前负荷值、去年同时段负荷值与预测日的关系系数都呈现一定相关性。同时为了保证训练样本足够大，本实例采集的是十年内每天24小时整点时刻的负荷数据，再综合以上十个特征形成样本集。步骤2：使用xgboost算法(极端梯度提升算法)计算每个特征相对于负荷的信息增益，并根据信息增益值进行特征重要性排序，具体内容如下：假设一颗决策树有J-1个结点，而每个特征变量都对应一个结点t，样本在每个t处都一分为二。而每个t对应哪个特征变量就要根据该特征给要预测的负荷带来的信息增益来决定。节点分裂的原则是使得节点分裂后的信息增益变大。所以构建这样的决策树我们就可以得到影响负荷值各特征的重要度，构建决策树的目标函数为：第一部分是训练误差。而第二部分是每棵树的复杂度的和。其中IJ＝{i|q(xi)＝j}被定义为每个叶子上面样本集合，表示每个数据点的在误差函数上的一阶导数和二阶导数。再定义这里上式转化为如何求一个一维二次函数的最小值的问题，即：其中信息增益值计算公式如下：所以得到m个特征的信息熵，记为{w1，w2，...，wm}。步骤3：本实施例中以2016年某地区某日为例来进行说明，针对预测某地区某日24小时每个整点的负荷值，将历史上10年内将近4000天的数据进行聚类，选取与要预测日24小时负荷使用情况最相似的历史日。通常的聚类方法没有考虑特征对分类的不同影响，简单的欧式距离。本专利技术以特征权重作为重要性启发信息构造基于特征权重的聚类。此处采用k均值聚类算法进行聚类。步骤3.1对于历史日集合X＝{x1，x2，...，xi，...，xn}，其中对于每一个xi都有对应的m个特征，即xi＝{xi1，xi2，...，xim}，先将所有的特征数据归一化处理。步骤3.2选择要预测日的特征向量作为第一个初始聚类中心u0，从历史集合里选择与u0距离最远的历史日作为u1，从历史集合里选择与{u0，u1}距离最远的历史日作为u2，......，直到找到K个初始聚类中心{u0，u1，...，uj，...，uk}。步骤3.3对于每个历史日，选取最近的中心点，归为该类，距离计算公式为：步骤3.4更新聚类中心点为每类的均值。步骤3.5重复计算步骤3.3和3.4直到聚类中心不再发生改变。使用聚类算法对预测地区的历史数据进行基于特征权重(信息熵)的聚类，调整聚类参数，使得聚类算法得到与要预测时间段负荷使用情况最相似的历史日。步骤4：依据距离预测时间由远到近将相似的历史组成时间序列T，时间序列T作为ATTENTION循环神经网络的Encoder编码器，并由Decoder解码器获得预测结果。附图2显示了用于预测短期负荷的序列到序列(sequence2sequence)的体系结构。该架构由两个LSTM(长短期记忆网络)网络组成：编码器和解码器。编码器的任务是转换可变长度的输入序列并将其编码为固定长度向量，然后将其用作解码器的输入状态。然后，解码器产生长度为n的输出序列(本文档来自技高网...

【技术保护点】
一种基于信息熵聚类和注意力(ATTENTION)机制的循环神经网络短期负荷预测方法，其特征在于，具体包括以下步骤：步骤1：对电力负荷数据进行预处理，确定预测模型的输入特征变量和输出目标；步骤2：使用极端梯度提升算法(xgboost)计算影响电力负荷各输入特征的信息熵，并归一化各特征的信息熵，以适配聚类算法对数据的要求；步骤3：以各特征的信息熵作为重要性启发信息构造基于特征权重的聚类，即样本间距离采用加权欧氏距离衡量，调整聚类参数，使得聚类算法得到与要预测时间段负荷使用情况最相似的历史日；步骤4：依据距离预测时间由远到近将相似的历史日组成时间序列T；步骤5：时间序列T作为ATTENTION循环神经网络的编码器(Encoder)输入序列，训练预测模型；步骤6：判断训练模型是否收敛，如果尚未收敛则返回步骤5，否则由解码器(Decoder)获得负荷预测结果。

【技术特征摘要】
1.一种基于信息熵聚类和注意力(ATTENTION)机制的循环神经网络短期负荷预测方法，其特征在于，具体包括以下步骤：步骤1：对电力负荷数据进行预处理，确定预测模型的输入特征变量和输出目标；步骤2：使用极端梯度提升算法(xgboost)计算影响电力负荷各输入特征的信息熵，并归一化各特征的信息熵，以适配聚类算法对数据的要求；步骤3：以各特征的信息熵作为重要性启发信息构造基于特征权重的聚类，即样本间距离采用加权欧氏距离衡量，调整聚类参数，使得聚类算法得到与要预测时间段负荷使用情况最相似的历史日；步骤4：依据距离预测时间由远到近将相似的历史日组成时间序列T；步骤5：时间序列T作为ATTENTION循环神经网络的编码器(Encoder)输入序列，训练预测模型；步骤6：判断训练模型是否收敛，如果尚未收敛则返回步骤5，否则由解码器(Decoder)获得负荷预测结果。2.根据权利要求1所述的一种基于信息熵聚类和ATTENTION机制的循环神经网络短期负荷预测方法，其特征是，步骤1中xgboost算法的输入特征包括：季节、温度(℃)、湿度(％)、风速(m/s)、降雨量、星期类型、法定节假日、日前负荷峰值、前七天的负荷平均、七天前负荷值、去年同时段负荷值，输出目标为以上各特征对于负荷值得信息熵(重要度)。3.根据权利要求1所述的一种基于信息熵聚类和ATTENTION机制的循环神经网络短期负荷预测方法，其特征在于，步骤2中，步骤2.1：构建算法的目标函数为：第一部分是训练误差，而第二部分是每棵树的复杂度的和，其中IJ＝{i|q(xi)＝j}被定义为每个叶子上面样本集合，表示每个数据点...

【专利技术属性】
技术研发人员：袁家斌，郑慧婷，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32