一种基于Transformer的双向自注意力剩余寿命预测方法技术

本发明专利技术涉及注意力机制领域和剩余寿命预测领域，具体公开了一种基于Transformer的双向自注意力剩余寿命预测方法；首先，对多个传感器采集的数据进行特征提取，利用双向编码机制中的传感器编码器和时间步编码器并行工作来捕获不同传感器和时间步的权重特征。其次，通过特征融合层对两方面提取的特征进行融合，得到包含不同传感器和时间步长的重要信息的新特征图。然后将融合后的特征图发送给解码器，解码器采用自注意力机制，实现对当前工作周期信息、之前不同时间步长和传感器信息的注意，并通过全连接前馈网络(FFN)输出预测的剩余寿命。最后利用RMSD数值可以比较好的评价该剩余寿命预测模型的性能，也可以以此为依据进行算法的改进和模型的优化；保存完善后的训练模型，供后续剩余寿命预测的使用。供后续剩余寿命预测的使用。供后续剩余寿命预测的使用。

【技术实现步骤摘要】
一种基于Transformer的双向自注意力剩余寿命预测方法


[0001]本专利技术涉及注意力机制领域和剩余寿命预测领域，具体为一种基于Transformer的双向自注意力剩余寿命预测方法。

技术介绍

[0002]维修管理在现代大型机械设备的运行中起着非常重要的作用。随着现代仪器和测量技术的迅速发展，从运行中的机械设备中获取状态监测数据成为可能。状态维护(CBM)是一种需要测量设备各项参数，随时反映设备实际状态的维护方法。而状态维护(CBM)的前提是剩余使用寿命(RUL)预测，其对维护工业设备的可靠性和安全性具有重要意义。大量的工业测量数据有效地提高了基于数据驱动的RUL预测方法的性能。因此，RUL预测已成为保证机械平稳运行和提高效率的关键技术。
[0003]目前RUL预测主要有两种方法:基于失效机制分析的预测和数据驱动的预测。前者依赖于专家经验，需要大量的机械相关知识。但是，由于工业设备的受力往往很复杂，用这种方法来预测RUL一般是不现实的。近年来，数据驱动方法与人工智能相结合，通过挖掘数据序列和隐藏信息的特征来进行预测，它们已成为降解分析和RUL预测问题的主流研究方法。
[0004]因此，在上述背景的基础上，本专利技术旨在于搭建一种基于Transformer的双向自注意力(DAST)剩余寿命预测模型，将Transformer架构应用于RUL预测，它是一种纯基于自注意力的编码器
‑
解码器结构，没有任何RNN/CNN模块。DAST由传感器编码器和时间步编码器两个编码器组成。两种DAST编码器均采用自注意力机制处理所有CBM序列数据，同时对不同的传感器和时间步长给予不同的注意。具体来说，两种解码器在特征提取过程中并行工作，避免了两方面信息的相互影响。将两个编码器提取的特征融合在一起，输入到基于自注意力的解码器中，得到RUL预测结果。

技术实现思路

[0005](一)专利技术的目的
[0006]本专利技术的目的在于搭建一种基于Transformer的双向自注意力剩余寿命预测模型，利用Transformer架构中的编码器对采集到的传感器数据进行数据预处理、特征提取，然后将提取的特征输入到解码器中，最终得到所需要预测的设备的RUL。最后将预测的结果与实际真实数据之间形成对比，利用预测的结果与实际真实数据之间的一些数据统计特征来间接反映出模型的优劣。
[0007](二)技术方案
[0008]为了实现上述目的，本专利技术的方法所采用的技术方案是：首先，对多个传感器采集的数据进行特征提取，利用双向编码机制中的传感器编码器和时间步编码器并行工作来捕获不同传感器和时间步的权重特征。其次，通过特征融合层对两方面提取的特征进行融合，得到包含不同传感器和时间步长的重要信息的新特征图。最后将融合后的特征图发送给解
码器，解码器采用自注意力机制，实现对当前工作周期信息、之前不同时间步长和传感器信息的注意，并通过全连接前馈网络(FFN)输出预测的RUL。
[0009]利用编码器完成传感器采集数据的特征提取；利用传感器编码器和时间步编码器对不同的传感器和时间步长给予不同的注意。传感器编码器和时间步编码器都是通过堆叠多个相同的传感器或时间步编码器层来构造的。同时两个编码器是并行布置的，传感器维和时间步长维的特征是同时提取的。这样可以有效地避免两方面信息的相互影响，有助于提高RUL预测的性能。
[0010]利用解码器完成剩余寿命的预测；解码器层主要包括两个多头自注意力子层，包括掩码多头自注意力子层和编解码器多头自注意力子层。将两个编码器提取的特征融合之后输入解码器，在解码器上分析编码器部分提取的不同传感器和时间步长的权重特征，实现对当前工作周期信息和之前不同时间步长和传感器信息的关注，最后通过FFN层输出预测的RUL。
[0011](三)有益效果
[0012]本专利技术的有益效果为：本专利技术引入了一种基于Transformer的双向自注意力剩余寿命预测方法。该方法基于并行特征提取方案，采用传感器编码器和时间步编码器同时捕获不同传感器和时间步的加权特征。这里的并行提取方案是指同时运行两个编码器，然后融合两组特征，可以避免两方面信息的相互影响。DAST模型无需人工干预，可以自适应学习不同传感器和时间步长的重要性，有助于维护人员关注更重要的传感器和时间步，从而提高维护效率。
附图说明：
[0013]一种基于Transformer的双向自注意力剩余寿命预测方法建立流程图，图1是一种基于Transformer的双向自注意力剩余寿命预测方法流程图。
具体实施方式：
[0014]步骤一：权重特征的提取；双向编码机制利用传感器编码器和时间步编码器并行工作从而捕获不同传感器和时间步的权重特征。这两种编码器都是基于多头自注意力机制设计的。可以实现对当前工作周期信息、之前不同时间步长和传感器信息的注意。
[0015]Step 1：位置编码；首先在序列中注入一些相对位置标记，使模型能够充分利用序列的位置信息。
[0016][0017]其中t为时间步长，k为传感器维数。P
t
与P
t+l
有线性关系，l为任意固定时间步长。
[0018]Step 2：传感器编码；首先，传感器编码通过对输入数据X＝{X1,X2,...,X
T
}进行计算处理，生成三个矩阵(查询、键和值)：
[0019]Q
s
＝
′
s
W
sq
,K
s
＝X
′
s
W
sk
,V
s
＝
′
s
W
sv
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0020]其中W
sq
，W
sk
和W
sv
为可训练参数，D
model
为输入维数，然后计算Q
和K的点积，并沿传感器维度应用softmax函数，以X
′
s
为单位得到不同传感器的权重。不同传感器在时间步长t的权重向量为：
[0021][0022]其中α
t
＝(α
t,1
,α
t,2
,...,α
t,k
),t＝(1,2,...,T)，最后，通过自注意力机制对不同传感器的特征进行加权，计算为V
s
的加权和：
[0023]Attention
sensors
(Q
s
,K
s
,V
s
)＝α
t
V
s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0024]Step 3：时间步长编码；首先，时间步长编码器通过(2)式利用可训练参数W
sq
，W本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的双向自注意力剩余寿命预测方法，其特征在于：首先，对多个传感器采集的数据进行特征提取，利用双向编码机制中的传感器编码器和时间步编码器并行工作来捕获不同传感器和时间步的权重特征。其次，通过特征融合层对两方面提取的特征进行融合，得到包含不同传感器和时间步长的重要信息的新特征图。然后将融合后的特征图发送给解码器，解码器采用自注意力机制，实现对当前工作周期信息、之前不同时间步长和传感器信息的注意，并通过全连接前馈网络(FFN)输出预测的剩余寿命。最后利用RMSD数值可以比较好的评价该剩余寿命预测模型的性能，也可以以此为依据进行算法的改进和模型的优化；保存完善后的训练模型，供后续剩余寿命预测的使用。2.根据权利要求1所述的一种基于Transformer的双向自注意力剩余寿命预测方法，其特征在于：权重特征的提取；通过双向编码机制利用传感器编码器和时间步编码器并行工作从而捕获不同传感器和时间步的权重特征。这两种编码器都是基于多头自注意力机制设计的。可以实现对当前工作周期信息、之前不同时间步长和传感器信息的注意。主要步骤包括：Step 1：位置编码；首先在序列中注入一些相对位置标记，使模型能够充分利用序列的位置信息：式中：t为时间步长，k为传感器维数，P
t
与P
t+l
有线性关系，l为任意固定时间步长。Step 2：传感器编码；首先，传感器编码通过对输入数据进行计算处理，生成三个矩阵(查询、键和值)：式中：和为可训练参数，D
model
为输入维数，然后计算Q和K的点积，并沿传感器维度应用softmax函数，以X
′
s
为单位得到不同传感器的权重。不同传感器在时间步长t的权重向量为：式中：α
t
＝(α
t,1
,α
t,2
,...,α
t,k
),t＝(1,2,...,T)，最后，通过自注意力机制对不同传感器的特征进行加权，计算为V
s
的加权和：Attention
sensors
(Q
s
,K
s
,V
s
)＝α
t
V
s
Step 3：时间步长编码；首先，时间步长编码器通过(...

【专利技术属性】
技术研发人员：刘宇鑫，许刚，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：