稀疏自注意力机制的电力价格预测方法及模型训练方法技术

本发明专利技术公开了一种稀疏自注意力机制的电力价格预测方法及模型训练方法，训练方法包括：获取电力价格历史数据；对电力价格历史数据构建多项特征工程，对各项特征工程得到的向量数据进行相加操作，得到矩阵数据；根据构建特征工程后的矩阵数据，获取多个训练样本，训练样本包括历史时间点、电力价格和标签，其中，标签为后继时间点的电力价格，后继时间点与历史时间点之间的时间间隔为根据预测需求而预设的时间颗粒度；构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块，包括：将构建特征工程后的矩阵数据线性变换为矩阵，并计算其attention结果；利用transformer网络对训练样本进行训练，得到电力价格预测模型。型。型。

【技术实现步骤摘要】
稀疏自注意力机制的电力价格预测方法及模型训练方法


[0001]本专利技术涉及人工智能领域，尤其涉及一种稀疏自注意力机制的电力价格预测方法及模型训练方法。

技术介绍

[0002]近年来，大规模新能源正逐渐步入电网，由于风能、光能等新能源的边际成本低，电力市场的日前出清价格出现了降低的趋势，而且电不能大量存储，要时刻满足供需平衡，风能、光能等新能源的随机性和不确定性使得日前出清价格波动强烈，呈现出非平稳的特点。在含高比列新能源电力市场背景下，建立高准确率的日前电价预测模型具有重要的意义。
[0003]目前国内外对于电价预测的方法主要用统计法和机器学习方法，统计法对于非线性序列的预测效果不佳，而机器学习方法，如公开号为CN110276638A的专利申请公开了一种基于BILSTM网络的电价预测方法，可以挖掘电价在时序上的规律，但是网络模型不容易收敛，容易陷入局部最优，模型的泛化能力不强，且无法预测较长一段时间的价格。
[0004]以上
技术介绍
内容的公开仅用于辅助理解本专利技术的专利技术构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。

技术实现思路

[0005]本专利技术的目的是提供一种电力价格预测方法及预测模型训练方法，基于稀疏自注意力机制的transformer网络，对电力价格作出准确的预测。
[0006]为达到上述目的，本专利技术采用的技术方案如下：
[0007]一种基于稀疏自注意力机制的电力价格预测方法，包括以下步骤：
[0008]获取目标预测时段之前的当前时段的电力价格数据；
[0009]将所述当前时段的电力价格数据输入预先训练好的电力价格预测模型；
[0010]所述电力价格预测模型输出所述目标预测时段内的电力价格预测结果；
[0011]其中，所述电力价格预测模型通过以下步骤获取：
[0012]获取电力价格历史数据；
[0013]对所述电力价格历史数据构建多项特征工程，每项特征工程将所述电力价格历史数据转换为向量数据，并对各项特征工程得到的向量数据进行相加操作，相加后的向量数据组成构建特征工程后的矩阵数据；
[0014]根据所述构建特征工程后的矩阵数据，获取多个训练样本，所述训练样本包括历史时间点、电力价格和标签，其中，所述标签为后继时间点的电力价格，所述后继时间点与所述历史时间点之间的时间间隔为根据预测需求而预设的时间颗粒度；
[0015]构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块，包括：将所
述构建特征工程后的矩阵数据通过线性变换分别转换为Q、K、V矩阵，并计算关于Q、K、V矩阵的attention结果；
[0016]利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练，得到电力价格预测模型。
[0017]进一步地，承前所述的任一技术方案或多个技术方案的组合，其中一项特征工程为金融特征工程，通过以下方式构建所述金融特征工程：
[0018]引入金融量化交易中的macd、kdj、MA指标中的一种或多种，作为辅助金融特征加入到所述电力价格历史数据中。
[0019]进一步地，承前所述的任一技术方案或多个技术方案的组合，其中一项特征工程为传统特征工程，通过以下方式构建所述传统特征工程：
[0020]所述电力价格历史数据包括价格字段和其他多个字段，构建其他字段与价格字段的相关性矩阵，得到各个其他字段对应的皮尔逊相关系数，将小于预设相关系数阈值的皮尔逊相关系数对应的字段舍弃；和/或，计算各个字段对应的方差，将方差计算结果小于预设方差阈值的对应字段舍弃。
[0021]进一步地，承前所述的任一技术方案或多个技术方案的组合，其中一项特征工程为全局时间戳工程，通过以下方式构建所述全局时间戳工程：
[0022]确定时间戳的多个维度，其包括分钟、小时、日、周、月、节假日维度中的部分或全部；
[0023]将多个维度的时间戳映射成向量，并进行相加操作。
[0024]进一步地，承前所述的任一技术方案或多个技术方案的组合，为每个query随机采样部分的key，利用以下公式计算每个query的稀疏性得分：
[0025]其中，softmax()为将数值向量转换为概率分布向量的函数，K
T
为K矩阵的转置矩阵，d
k
为K矩阵的维度；
[0026]选取稀疏性得分最高的N个query，计算N个query和随机采样的key的点积结果，得到所述关于Q、K、V矩阵的attention结果。
[0027]进一步地，承前所述的任一技术方案或多个技术方案的组合，预设不同的时间颗粒度，对应训练得到不同的电力价格预测模型。
[0028]进一步地，承前所述的任一技术方案或多个技术方案的组合，所述预设的时间颗粒度与目标预测时段的时长相等。
[0029]进一步地，承前所述的任一技术方案或多个技术方案的组合，所述目标预测时段的时长与所述当前时段的时长相等。
[0030]进一步地，承前所述的任一技术方案或多个技术方案的组合，对所述电力价格历史数据构建多项特征工程之前，对所述电力价格历史数据进行清洗操作，所述清洗操作包括去除异常值和/或去除重复值，以完成清洗操作的电力价格历史数据作为构建特征工程的源数据。
[0031]根据本专利技术的另一方面，提供了一种基于稀疏自注意力机制的电力价格预测模型训练方法，包括以下步骤：
[0032]获取电力价格历史数据；
[0033]对所述电力价格历史数据构建多项特征工程，每项特征工程将所述电力价格历史数据转换为向量数据，并对各项特征工程得到的向量数据进行相加操作，相加后的向量数据组成构建特征工程后的矩阵数据；
[0034]根据所述构建特征工程后的矩阵数据，获取多个训练样本，所述训练样本包括历史时间点、电力价格和标签，其中，所述标签为后继时间点的电力价格，所述后继时间点与所述历史时间点之间的时间间隔为根据预测需求而预设的时间颗粒度；
[0035]构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块，包括：将所述构建特征工程后的矩阵数据通过线性变换分别转换为Q、K、V矩阵，并计算关于Q、K、V矩阵的attention结果；
[0036]利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练，得到电力价格预测模型。
[0037]本专利技术提供的技术方案带来的有益效果如下：
[0038]a.利用稀疏自注意力机制transformer网络对电力价格进行预测，通过构建稀疏自注意力机制模块来加速transformer网络的收敛速度；
[0039]b.根据需求采用不同的时间颗粒度，来实现对电力价格短期、中期或长期的预测；
[0040]c.拟合能力强本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稀疏自注意力机制的电力价格预测方法，其特征在于，包括以下步骤：获取目标预测时段之前的当前时段的电力价格数据；将所述当前时段的电力价格数据输入预先训练好的电力价格预测模型；所述电力价格预测模型输出所述目标预测时段内的电力价格预测结果；其中，所述电力价格预测模型通过以下步骤获取：获取电力价格历史数据；对所述电力价格历史数据构建多项特征工程，每项特征工程将所述电力价格历史数据转换为向量数据，并对各项特征工程得到的向量数据进行相加操作，相加后的向量数据组成构建特征工程后的矩阵数据；根据所述构建特征工程后的矩阵数据，获取多个训练样本，所述训练样本包括历史时间点、电力价格和标签，其中，所述标签为后继时间点的电力价格，所述后继时间点与所述历史时间点之间的时间间隔为根据预测需求而预设的时间颗粒度；构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块，包括：将所述构建特征工程后的矩阵数据通过线性变换分别转换为Q、K、V矩阵，并计算关于Q、K、V矩阵的attention结果；利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练，得到电力价格预测模型。2.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，其中一项特征工程为金融特征工程，通过以下方式构建所述金融特征工程：引入金融量化交易中的macd、kdj、MA指标中的一种或多种，作为辅助金融特征加入到所述电力价格历史数据中。3.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，其中一项特征工程为传统特征工程，通过以下方式构建所述传统特征工程：所述电力价格历史数据包括价格字段和其他多个字段，构建其他字段与价格字段的相关性矩阵，得到各个其他字段对应的皮尔逊相关系数，将小于预设相关系数阈值的皮尔逊相关系数对应的字段舍弃；和/或，计算各个字段对应的方差，将方差计算结果小于预设方差阈值的对应字段舍弃。4.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，其中一项特征工程为全局时间戳工程，通过以下方式构建所述全局时间戳工程：确定时间戳的多个维度，其包括分钟、小时、日、周、月、节假日维度中的部分或全部；将多个维度的时间戳映射成向量，并进行相加操作。...

【专利技术属性】
技术研发人员：陈越，钱磊，朱卓敏，
申请(专利权)人：上海电享信息科技有限公司，
类型：发明
国别省市：