一种基于transformer模型的用户用电量预测方法技术

本发明专利技术公开了一种基于transformer模型的用电量预测方法，步骤如下：步骤(1):确定用于预测用电量的特征变量，包括静态变量、过去已知的动态时变变量和未来可推测的变量动态时不变变量；步骤(2):采用门控机制对输入的多个变量依据信息贡献度进行权重计算，以提高有用变量的利用率；步骤(3):采用稀疏注意力对输入数据进行特征提取；步骤(4):采用门控残差网络对数据集中的数据根据情况选择进行线性或者非线性处理；步骤(5):采用多头稀疏注意力构建解码器，依据输入特征对用电量数据进行预测。本发明专利技术提供的一种基于transformer的用电量预测方法，可以在输入端对训练数据中的不可靠数据进行抑制，对有用信息进行集中，可以在模型训练过程中动态调节信息的利用率，以此提高模型的训练效果，达到较好的用电量预测效果。达到较好的用电量预测效果。达到较好的用电量预测效果。

【技术实现步骤摘要】
一种基于transformer模型的用户用电量预测方法


[0001]本专利技术涉及电力计量行业数据管控的
应用，具体涉及一种基于transformer模型的用户用电量预测方法。

技术介绍

[0002]随着电力用户的不断增加和电网业务的不断扩展，智能电网建设需要真正高效、有效的智能技术应用才能得到实质性发展。用电量作为用户的主要用电信息是智能电网建设的重要指标，掌握用户的用电量规律，对用电数据作出精准预测可以帮助规划电力建设，发挥智能电网的辅助决策作用。
[0003]目前常用的用电量预测方法例如使用自回归或者LSTM模型，都是针对短期用电量进行预测，其实用价值不高。使用这些方法进行长期用电量预测，存在长时序数据的信息丢失问题。
[0004]Transformer模型是2017年Google提出的一种基于encoder
‑
decoder和Self
‑
Attention的结构模型，取代了以往的RNN网络结构，可以获得较好的长序列数据预测效果。但用电量数据具有长序列、多维度、体量大的特点，传统的transformer模型对于这类数据的处理往往会出现数据维度过高导致计算量复杂且信息提取效果瓶颈的问题。

技术实现思路

[0005]要克服现有技术的上述缺点，提供一种基于transformer模型的用户用电量预测方法。
[0006]本专利技术提出了一种基于稀疏注意力和门控机制的transformer用电量预测模型，该模型对传统多头自注意力进行稀疏计算，只将注意力分数排名前若干位的作为有效注意力，改变传统的使用全局注意力的方式，输入层采用多类型用电量时序数据，对每一种类型数据分别采用门控机制，为输入数据中的变量按照贡献度赋予不同的计算权重，同时门控机制还可以为模型中的数据进行必要的非线性处理以充分利用数据信息，实现对用户用电量的精准预测。
[0007]本专利技术解决其技术问题是采取以下技术方案实现的：
[0008]一种基于transformer模型的用户用电量预测方法，包括以下步骤：
[0009]步骤(1):输入层多变量输入：用户用电量往往受多因素影响，使用多种合适的变量作为输入提取时间特征，可以提高用电量预测的准确度。本专利技术在输入层采用多类型变量作为输入，将输入的用电量时序数据分为三类，分别是静态变量、过去已知输入和未来可推测的输入，其中静态变量包括地域变量和行业变量，这部分数据和时间无关；过去已知时间序列输入，属于动态时变变量，包括用电量、负荷和温度；未来已知的时间序列输入，属于动态时不变变量，包括周末、节假日等变量。
[0010]步骤(2):使用GRN门控机制对输入变量进行权重计算：针对用电量预测模型训练过程，训练数据集采用变量较多，理论上较为丰富的数据变量可以使得模型获得更为全面
的特征信息，但实际中模型训练效果一部分由训练数据集的数据质量影响。本专利技术将所有静态的、过去的和将来的输入都使用不同的独立门控机制，计算出t时刻所有历史输入变量的平面化向量采用门控残差模块GRN对模型输入数据的各变量数据根据贡献度赋予不同的权重，权重计算如下公式所示：
[0011][0012]步骤(3):采用稀疏注意力进行特征提取：传统的transformer模型中注意力计算采用全量计算，即对当前数据的注意力计算，需要用到输入序列中周围所有的数据，这种传统方法往往使计算维度增大、且有些无用信息也参与到计算过程中。本专利技术基于传统自我注意力的缩放点积运算，对三元组输入(query，key，value)，执行点积运算，生成注意力得分如下公式所示：
[0013][0014]基于得分越高表明相关性越高的假设，我们对得分P的值进行评估。假设选取排名前k个分数作为有效分数，得到query
i
和key
j
的分数集合P，对集合P进行排序，排名前k的分数保留，否则将分数设为无穷小，如下所示：
[0015][0016]步骤(4):门控残差模块动态处理数据信息：为了能获取到变量的信息，通常需要对该变量进行非线性处理，并通过掌握非线性处理程度来改变变量信息提取程度。本专利技术采用门控线性单元GTU和标准化归一处理构建门控残差GRN模块，动态处理数据信息，公式如下：
[0017]GRN
ω
(x)＝LayerNorm(x+GTU
ω
(θ))
ꢀꢀꢀ
(4)
[0018]θ＝ELU(xW
’
ω
+a)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0019][0020]步骤(5):使用门控残差模块和稀疏注意力构建三层解码器：解码器负责根据提取到的静态变量和时间变量特征，计算得到用电量输出值。本专利技术使用门控残差网络和稀疏注意力构建三层解码器结构，中间层应用稀疏注意力计算时间特征序列数据注意力，上下两层使用门控残差网络，上层主要对静态数据进行信息集中，下层网络对注意力层的输出进行非线性处理，简化得到模型输出φ～(t,n)：
[0021]Φ(t,n)＝GRN
φ
(D(t,n))
ꢀꢀꢀ
(7)
[0022][0023]本专利技术专利将稀疏注意力和门控机制相结合，构造transformer长时间序列用电量数据预测模型，进一步提高了transformer模型的长序列信息提取能力和计算速度。
[0024]本专利技术的优点和积极效果是：
[0025]本专利技术采用静态变量、过去已知变量、未来可知变量作为模型输入变量，对各类型
变量分别采用门控机制根据变量信息贡献度为变量赋权重，通过transformer稀疏注意力编码器提取时间特征，将稀疏注意力和门控机制相结合构造三层解码器结构，对时间序列数据进行解码，预测出精准的用电量值，提高了transformer模型的长序列信息提取能力和计算速度。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本专利技术实施例的一种基于transformer模型的用户用电量预测方法的实施流程图；
[0028]图2为本专利技术实施例的一种基于transformer模型的用户用电量预测模型结构图；
[0029]图3为本专利技术实施例的一种基于transformer模型的用户用电量预测模型变量组成图；
[0030]图4为本专利技术实施例的一种基于transformer模型的用户用电量预测展示图。
具体实施方式
[0031]为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于transformer模型的用户用电量预测方法，其特征在于，步骤如下：步骤(1)输入层多变量输入，具体包括：在输入层采用多类型变量作为输入，将输入的用电量时序数据分为三类，分别是静态变量、过去已知输入和未来可推测的输入，其中静态变量包括地域变量和行业变量，这部分数据和时间无关；过去已知时间序列输入，属于动态时变变量，包括用电量、负荷和温度；未来已知的时间序列输入，属于动态时不变变量，包括周末、节假日等变量。步骤(2)使用GRN门控机制对输入变量进行权重计算，具体包括：将所有静态的、过去的和将来的输入都使用不同的独立门控机制，计算出t时刻所有历史输入变量的平面化向量采用门控残差模块GRN对模型输入数据的各变量数据根据贡献度赋予不同的权重，权重计算如下公式所示：步骤(3)采用稀疏注意力进行特征提取，具体包括：基于传统自我注意力的缩放点积运算，对三元组输入(query，key，value)，执行点积运算，生成注意力得分如下所示：基于得分越高表明相关性越高的假设，我们对得分P的值进行评估。假设选取排名前k个分数作为有效分数，得到query
i...

【专利技术属性】
技术研发人员：王鑫，宗珂，王霖，梁勇杰，闫昆鹏，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：