一种融合数据增强和深度学习的时间序列预测方法技术

本发明专利技术公开了一种融合数据增强和深度学习的时间序列预测的方法，包括步骤如下：对各个风机中的传感器的示数进行收集得到相关时间序列的数据集；对数据集进行预处理，对数据集按照一定的比例加入高斯噪声进行数据增强；使用深度学习模型Informer的编码器进行编码，提取时间序列中的时间特征，数据特征；将特征输入编码器，在训练中加入对抗训练，实现数据集数量翻倍的效果，同时提高模型的鲁棒性；构建分位数损失函数，对每一轮的训练进行优化。本发明专利技术从数据增强的角度，同时考虑了添加基于规则的高斯噪声和基于梯度的对抗训练实现数据增强，与深度学习模型Informer进行融合，可以实现时间序列的预测。以实现时间序列的预测。以实现时间序列的预测。

【技术实现步骤摘要】
一种融合数据增强和深度学习的时间序列预测方法


[0001]本专利技术属于时间序列预测
，具体涉及一种融合数据增强和深度学习的风力发电机中传感器示数的预测方法。

技术介绍

[0002]目前我国大力发展风力发电机，风力发电机会应用在很多的场景，例如海上风力发电和陆地风力发电等，保持风力发电机一直处在平稳运行状态是确保发电量的重点。风力发电机中对每个关键的中间件都有传感器进行数据监控，对数据进行时间序列的相关分析并对未来的数据进行预测，如果可以准确预测出风机可能出现的隐患可以有效减少风机的成本且保障风机的发电效率。
[0003]对于时间序列预测一直是学术界和工业界的热点问题，基于CNN的模型使用多个因果卷积层来对数据进行建模。DeepAR基于RNN架构，使用解码器
‑
编码器的结构来模拟序列的概率分布。LSTNet是融合自回归和LSTM方法捕捉长短期依赖。基于Transformer的方法由于多头注意力机制在预测方面取得巨大成功。
[0004]数据增强在数据处理中作为一种有效手段被广泛使用，面对数据集不足、数据集不够准确等情况人们通常会选择数据增强来提升模型的性能。添加随机噪声作为一种常用手段，一般都是将噪声添加到训练集中防止模型过拟合。在时间序列中，对每一个时间序列数值基于某种规则随机的添加噪声来形成新的序列达到数据增强的目的。Fields等人通过大规模的实验证明添加噪声到训练集可以降低模型的敏感性从而提高模型的通用性。
[0005]对抗训练在自然语言和图像处理中有大量的研究成果，主要方法是通过添加鉴别器或者基于梯度来构造一些扰动形成对抗样本加入到原始数据集中，可提升模型对对抗样本的防御能力，提升模型的泛化能力和鲁棒性。对抗训练中如何确定添加扰动的规模是一个关键性问题。Goodfellow等人第一次提出对抗训练这个概念，在原始数据集中加入一定程度的扰动得到对抗样本进行训练可以提升性能。Miyato等人提出了Fast Gradient Method(FGM)，根据具体的梯度生成更好的对抗样本。

技术实现思路

[0006]针对于上述现有技术的不足，本专利技术的目的在于提供一种融合数据增强和深度学习的时间序列预测方法。
[0007]为达到上述目的，本专利技术采用的技术方案如下：
[0008]本专利技术的一种融合数据增强和深度学习的时间序列预测方法，基于informer模型，使用添加基于规则的高斯噪声和基于梯度的对抗训练两种数据增强手段，可以有效的提高模型性能。包括步骤如下：
[0009](1)原始数据通过添加不同比例的基于规则的高斯噪声，实现数据增强得到新的数据集；
[0010](2)编码器对新的数据集进行特征编码，将时间序列数据转换为多维的矩阵向量，
从而得到数据输入；
[0011](3)编码器使用多头注意力机制去计算各个数据的权重，在训练过程中不断更新权重，编码器处理后得到输出和新的数据再作为解码器的输入，在模型的Embed层中加入对抗训练实现数据增强，解码器也是通过和编码器形成多头注意力和自身有掩码的多头注意力去捕捉时间序列中的复杂的线性关系；
[0012](4)构建损失函数，在每一次的训练中不断更新权重参数，训练结束后可以对时间序列进行预测。
[0013]为优化上述技术方案，采取的具体措施还包括：
[0014]上述步骤(1)中添加高斯噪声，由于风机会处在陆地海上等多个场所，如果环境相对恶劣会导致传感器示数产生一定的误差，为了模拟真实的数据使用场景向数据集中添加不同比例的高斯噪声。对高斯噪声的定义公式如下：
[0015][0016]其中表示添加的噪声。
[0017]上述步骤(2)中进行特征编码，在长序列预测问题中，数据建模不仅要用到局部的时序信息，全局的时间戳也很重要(hour，day，week，month，year，holiday等)。因此模型中不光对时间数据和局部信息进行编码，还针对全局时间戳进行编码。在维度对齐方面，使用一维卷积滤波器将标量上下文映射到d
mod el
维的向量由此可以得到输入由三个部分组成：标量投影、局部时间戳和全局时间戳，表示向量如下：
[0018][0019]其中，i∈{1，...，L
x
}；α为平衡因子。
[0020]上述步骤(3)中编码器中所使用的多头注意力机制，与传统的transformer的多头自注意力层不同，主要针对多头自注意力层进行改进，降低了常规自注意力计算复杂度和空间复杂度，设计出ProbSparse自注意力机制。与传统自注意力机制中对query和key向量中对每个q和k全部计算不同，ProbSparse会选取query和key中分值较大的一部分来作为注意力分数的计算，具体公式如下：
[0021][0022][0023]其中q
i
表示query中的第i个维度，k
j
表示query中的第j个维度；
[0024]上述两个公式中第二个公式是第一个公式的近似结果，可以降低自注意力层的时间复杂度变为O(L
·
ln L)。首先，假设序列长度为L，模型对query向量中的q按照5.ln L的长度随机采样k，根据第一个公式计算每个query的稀疏性得分并选择5
·
ln L个query，只计算5.ln L个query和key的点积结果，进而得到attention结果。其余没有用到的q和k则使用query和key的均值替代。
[0025]为了更快的处理，计算可以以矩阵的形式完成，公式如下：
[0026][0027]其中，是与query大小相同的稀疏矩阵，在稀疏度量为M(q，K)的尺度下它仅包含Top
‑
u个q(u＝5
·
ln L)。
[0028]此外，在多头的视角下，每头的注意力生成不同的稀疏的query
‑
key键值对，从而避免丢失重要的信息。
[0029]上述步骤(3)中使用对抗训练进行数据增强，使用Projected Gradient Descent(PGD)方法进行对抗训练。如何确定微小扰动是对抗训练中的重点问题，PGD从对抗鲁棒性的优化角度出发，将寻找扰动定义为寻找鞍点的问题。
[0030]对抗训练将攻击和防御都规约到Min
‑
Max最优化框架里，在利用PGD产生对抗样本进行训练。Min
‑
Max公式如下：
[0031][0032]其中D为输入样本的分布，L为损失函数，S为扰动的范围空间。max函数是为了找到最坏案例的扰动，min函数是为了计算出最鲁棒的模型参数。
[0033]PGD的优化是在一个扰动半径为ε的空间，每一步都是优化过程，如果走出扰动半径则映射回“球面”上来保证扰动不会过大，其产生对抗样本的公式如下：
[0034][0035]其中，α为小步的步长，S＝r∈R
d
，||r|本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合数据增强和深度学习的时间序列预测方法，其特征在于，包括步骤如下：(1)原始数据通过添加不同比例的基于规则的高斯噪声，实现数据增强得到新的数据集；(2)编码器对新的数据集进行特征编码，将时间序列数据转换为多维的矩阵向量，从而得到数据输入；(3)编码器使用多头注意力机制去计算各个数据的权重，在训练过程中不断更新权重，编码器处理后得到输出和新的数据再作为解码器的输入，在模型的Embed层中加入对抗训练实现数据增强，解码器也是通过和编码器形成多头注意力和自身有掩码的多头注意力去捕捉时间序列中的复杂的线性关系；(4)构建损失函数，在每一次的训练中不断更新权重参数，训练结束后可以对时间序列进行预测。2.根据权利要求1所述的融合数据增强和深度学习的时间序列预测方法，其特征在于，所述步骤(1)中添加高斯噪声，由于风机会处在陆地海上等多个场所，如果环境相对恶劣会导致传感器示数产生一定的误差，为了模拟真实的数据使用场景向数据集中添加不同比例的高斯噪声。对高斯噪声的定义公式如下：其中表示添加的噪声。3.根据权利要求1所述的融合数据增强和深度学习的时间序列预测方法，其特征在于，所述步骤(2)中进行特征编码，在长序列预测问题中，数据建模不仅要用到局部的时序信息，全局的时间戳也很重要(hour，day，week，month，year，holiday等)。因此模型中不光对时间数据和局部信息进行编码，还针对全局时间戳进行编码。在维度对齐方面，使用一维卷积滤波器将标量上下文映射到d
model
维的向量由此可以得到输入由三个部分组成：标量投影、局部时间戳和全局时间戳，表示向量如下：其中，i∈{1，...，L
x
}；α为平衡因子。4.根据权利要求1所述的融合数据增强和深度学习的时间序列预测方法，其特征在于，所述步骤(3)中编码器中所使用的多头注意力机制，与传统的transformer的多头自注意力层不同，主要针对多头自注意力层进行改进，降低了常规自注意力计算复杂度和空间复杂度，设计出ProbSparse自注意力机制。与传统自注意力机制中对query和key向量中对每个q和k全部计算不同，ProbSparse会选取query和key中分值较大的一部分来作为注意力分数的计算，具体公式如下：的计算，具体公式如下：其中qi表示query中的第i个维度，k
j
表示query中的第j个维度。上述两个公式中第二个公式是第一个公式的近似结果，可以降低自注意力层的时间复
杂度变为O(L
·
ln L)。首先，假设序列长度为L，模型对query向量中的q按照5
·
ln L的长度随机采样k，...

【专利技术属性】
技术研发人员：周宇，吴皓，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：