【技术实现步骤摘要】
本专利技术属于电力价格预测，具体涉及一种基于transformer的多变量融合电力价格中短期预测方法。
技术介绍
1、随着全球能源市场的复杂性日益增加，电力价格预测的重要性也显著提升。电力价格具有时间依赖性，如节假日用电多少对价格造成的影响，以及变量相关性，如受发电方式、电力负载容量、气候条件、政策变化和市场行为多方面因素的影响，呈现了复杂的、非线性的电价动态，从电力价格数据中辨别和提炼这些模式可以带来更好的预测结果。准确的电力价格预测不仅对于能源供应商和电力公司至关重要，而且对整个电力市场的稳定性和经济效益有着深远的影响。因此，开发高性能的电力预测模型同时识别电力价格数据中的时间依赖性和变量相关性至关重要。
2、深度学习(dl)和机器学习(ml)在自然语言处理和时间序列预测等方面取得了很大的成功，同样它们在电力价格预测领域也发挥着巨大作用。在利用传统机器学习实现电力价格预测方面，回归积分滑动平均(arima)和支持向量回归(svr)等方法广泛应用，但这些方法无法准确捕捉电力价格序列中的非线性关系以及多变量之间复杂的交互作用关系。因此，越来越多的研究和实际应用开始采用深度学习方法来克服这些限制，
3、基于深度学习的电力价格预测方法通常可以分为两类：基于递归神经网络(rnn)和基于transformer的方法。前者通过整合多种门控机制，设计出了两种成功的变体，包括长短期记忆网络(lstm)和门控递归单元(gru)，但是由于rnn及其变体难以学习到长距离的依赖关系，在训练过程中容易遇到梯度消失或梯度爆炸的问题
技术实现思路
1、针对上述现许多研究仅仅考虑电力价格这个单一时间序列的因素，未考虑和电力价格有关的其他外源变量的影响，没有同时考虑时间依赖性和多元变量相关性的技术问题，本专利技术提供了一种基于transformer的多变量融合电力价格中短期预测方法，实现对电力价格的准确预测。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种基于transformer的多变量融合电力价格中短期预测方法，包括下列步骤：
4、s1、数据集采集；获取当天的电力价格数据以及相关的外源变量，包括电力负荷预测值以及风力发电预测值；
5、s2、数据预处理；对收集到的数据进行预处理，包括缺失值填充和数据清洗；接着，将数据集划分为训练集、验证集和测试集，进行标准化处理，最后进行反标准化以恢复原始数据格式；
6、s3、进行序列数据嵌入；将电力价格序列依次进行时间维度和变量维度的嵌入，分别嵌入为时间令牌和变量令牌，并将二者融合；
7、s4、特征提取；提取电力价格序列中的时间依赖性和变量相关性特征信息；
8、s5、输出预测结果；最后，通过线性投影映射输出未来多步序列，以实现对电力价格的中短期预测。
9、所述s1中数据集采集的方法为：从开放电力系统opsd中获取电力价格数据，每个电力价格序列包括两个额外的外源变量负荷日前预测值和风力发电日前预测值。
10、所述s2中数据预处理的方法为：对于缺失值，运用线性插值进行填充，对数据进行了标准化和反标准化：
11、
12、
13、
14、
15、根据均值μi和标准差σi将原始数据转换为标准化值，标准化后的数据将具有零均值和单位方差；在完成预测后，使用相同的均值和标准差进行逆变换，将预测结果转换回原始数据的尺度进行评估；最后，训练集、验证集和测试集按照7：1：2的比例划分。
16、所述s3中进行序列数据嵌入的方法为：
17、s3.1、时间嵌入模块：时间嵌入模块中将相同时间步的数据嵌入到一个令牌中，使每个令牌能够代表一个时间点的完整信息，各个令牌具有位置信息以表示时间先后；该模块包含卷积层和位置编码层，每个卷积层由一个causal convolutional conv1d因果卷积层、一个layernorm1d归一化层和一个gelu激活函数按顺序组成；位置编码层采用正弦函数和余弦函数进行计算，计算公式如下：
18、
19、s3.2、变量嵌入模块：变量嵌入模块通过将时间令牌转置以生成变量令牌，将每个变量的整个时间序列独立的嵌入到一个令牌，以聚焦序列中变量的全局特征；该模块包含线性层，每个线性层由一个linear线性层、一个layernorm1d归一化层组成，由于序列的顺序隐含地存储在每个变量令牌中，因此变量嵌入时不再需要位置嵌入。
20、所述s4中提取电力价格序列中的时间依赖性和变量相关性特征信息的方法为：将s3所得到的嵌入向量依次经过提取时间特征模块提取时间依赖性和提取变量特征模块提取变量相关性，最后通过全连接层映射得到预测结果。
21、所述依次经过提取时间特征模块提取时间依赖性和提取变量特征模块提取变量相关性的方法为：
22、s4.1、提取时间特征模块：将s3.1所得到的时间嵌入向量提取时间特征，该模块包含多头注意力机制层和全连接前馈神经网络两层组成，第一层是结合因果掩码的多头注意力机制，公式表示如下，第二层是全连接前馈网络；两层采用残差连接，然后进行层归一化；
23、
24、s4.2、提取变量特征模块：将s3.2所得到的变量嵌入向量提取变量特征，该模块由两层组成，该模块包含多头注意力机制层和全连接前馈神经网络两层组成，第一层是多头注意力机制，第二层是全连接前馈网络；两层采用残差连接，然后进行层归一化。
25、所述预测方法采用平均绝对误差mae、均方根误差rmse、对称平均百分比误差smape和相关系数进行评价。
26、本专利技术与现有技术相比，具有的有益效果是：
27、本专利技术在不修改transformer任何原生组件的情况下，首先，通过将相同时间步的数据嵌入带有因果卷积嵌入和位置嵌入的时间令牌中，以及将每个变量的整个时间序列独立嵌入到不同的令牌变量中，捕捉电力价格序列的复杂动态关系。其次，在特征提取模块中分别通过提取时间特征和提取变量特征的模块中应用注意力机制和前馈神经网络，分别提取时间依赖性和变量相关性。最终，通过线性投影预测多步输出。本专利技术重新审视了transformer每个核心组件的作用，成功地捕捉了原始电力价格序列中的时间依赖性和变量相关性。在实际电力价格预测的应用中，通过使用本专利技术可以更好的提取电力价格序列中复杂的特征，提高电力价格预测的准确性。
本文档来自技高网...【技术保护点】
1.一种基于Transformer的多变量融合电力价格中短期预测方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的一种基于Transformer的多变量融合电力价格中短期预测方法，其特征在于，所述S1中数据集采集的方法为：从开放电力系统OPSD中获取电力价格数据，每个电力价格序列包括两个额外的外源变量负荷日前预测值和风力发电日前预测值。
3.根据权利要求1所述的一种基于Transformer的多变量融合电力价格中短期预测方法，其特征在于，所述S2中数据预处理的方法为：对于缺失值，运用线性插值进行填充，对数据进行了标准化和反标准化：
4.根据权利要求1所述的一种基于Transformer的多变量融合电力价格中短期预测方法，其特征在于，所述S3中进行序列数据嵌入的方法为：
5.根据权利要求1所述的一种基于Transformer的多变量融合电力价格中短期预测方法，其特征在于，所述S4中提取电力价格序列中的时间依赖性和变量相关性特征信息的方法为：将S3所得到的嵌入向量依次经过提取时间特征模块提取时间依赖性和提取变量特征模块提取变量相
6.根据权利要求5所述的一种基于Transformer的多变量融合电力价格中短期预测方法，其特征在于，所述依次经过提取时间特征模块提取时间依赖性和提取变量特征模块提取变量相关性的方法为：
7.根据权利要求1所述的一种基于Transformer的多变量融合电力价格中短期预测方法，其特征在于，所述预测方法采用平均绝对误差MAE、均方根误差RMSE、对称平均百分比误差SMAPE和相关系数进行评价。
...【技术特征摘要】
1.一种基于transformer的多变量融合电力价格中短期预测方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的一种基于transformer的多变量融合电力价格中短期预测方法，其特征在于，所述s1中数据集采集的方法为：从开放电力系统opsd中获取电力价格数据，每个电力价格序列包括两个额外的外源变量负荷日前预测值和风力发电日前预测值。
3.根据权利要求1所述的一种基于transformer的多变量融合电力价格中短期预测方法，其特征在于，所述s2中数据预处理的方法为：对于缺失值，运用线性插值进行填充，对数据进行了标准化和反标准化：
4.根据权利要求1所述的一种基于transformer的多变量融合电力价格中短期预测方法，其特征在于，所述s3中进行序列数据嵌入的方法为：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。