基于自注意力机制的设备剩余寿命预测系统技术方案

本发明专利技术属于现代工业故障预测与健康管理领域，具体涉及一种基于自注意力机制的设备剩余寿命预测系统，旨在为了解决现有RUL预估方法实时性效果不足的问题，本发明专利技术系统包括深度单元，基于前馈神经网络构建，配置为将输入数据消除时间维度后进行高维向量表示，得到第一向量；注意力单元，配置为将输入数据的时间序列映射到统一的向量空间，并将向量空间中对应的特征向量输入到自注意力模块，得到多个子空间的注意力向量并拼接为一个，得到第二向量；预测单元，配置为将第一向量、第二向量合并为第三向量，并通过前馈神经网络输出预测结果。本发明专利技术可以保持预测精度的基础上可以更好的并行化计算，提高了预测的实时性。提高了预测的实时性。提高了预测的实时性。

【技术实现步骤摘要】
基于自注意力机制的设备剩余寿命预测系统


[0001]本专利技术属于现代工业故障预测与健康管理领域，具体涉及一种基于自注意力机制的设备剩余寿命预测系统。

技术介绍

[0002]寿命预测与健康管理(Prognostic Health Management,PHM)技术是现代工业发展过程中最重要的核心技术之一。工程实践表明，PHM技术可有效降低设备发生故障的概率，减少维修维护费用，特别是在安全性及可靠性要求较高的领域，能显著减少系统宕机次数并提升任务成功率。PHM的核心问题是针对海量状态监测数据，准确地针对系统健康状况进行评估并预测设备的Remaining Useful Life(RUL)，同时在此基础上确定设备的最优维护时机，进一步达到预测性维护的目的。而在这一问题中，根据设备的传感器监测数据来预测RUL是实现预测性维护的关键。通常来说，RUL预测任务是在机器发生故障之前，通过监控系统获得的时间序列来预测剩余的运行时间。基于物理模型的方法需要对设备机理进行分析，建立准确的物理模型，这对于复杂的设备系统来说很难做到。而基于数据驱动的方法使用分布式传感器采集设备的性能退化数据，通过充分挖掘监测数据所包含的潜在信息，不需要建立复杂的物理模型，就能做到对设备的剩余使用寿命进行准确预测。
[0003]深度学习是机器学习的一个分支，通过堆叠深层次的神经网络，实现深层抽象特征提取和复杂非线性关系表达。这种方法在诸多领域取得了远远超过传统机器学习方法的效果。
[0004]在RUL预估领域，目前的方法大多都是基于LSTM(Long Short-Term Memory，长短期记忆网络)的改进。由于LSTM不适合并行计算，无法满足实时性要求很高的场景，限制了RUL技术在实际工厂环境的使用。

技术实现思路

[0005]为了解决现有技术中的上述问题，即为了解决现有RUL预估方法实时性效果不足的问题，本专利技术提出了一种基于自注意力机制的设备剩余寿命预测系统，该系统包括深度单元、注意力单元、预测单元；
[0006]所述深度单元，基于前馈神经网络构建，配置为将输入数据消除时间维度后进行高维向量表示，得到第一向量；
[0007]所述注意力单元，配置为将输入数据的时间序列映射到统一的向量空间，并将所述向量空间中对应的特征向量输入到自注意力模块，得到多个子空间的注意力向量并拼接为一个，得到第二向量；
[0008]所述预测单元，配置为将所述第一向量、所述第二向量合并为第三向量，并通过前馈神经网络输出预测结果。
[0009]在一些具体实施方式中，所述第一向量，其获取方法为：
[0010]将所述输入数据的多变量时间序列拉平以消除其时间维度；
[0011]将拉平处理后的输入数据通过多层堆叠的神经网络获取高维向量表示。
[0012]在一些具体实施方式中，所述深度单元的输出部分设置有Res-FFNN。
[0013]在一些具体实施方式中，所述注意力单元包括嵌入模块，所述嵌入模块用于将输入数据的时间序列映射到统一的向量空间；
[0014]所述嵌入模块包括两个CNN结构；第一个CNN结构为滤波器尺寸为3的单层CNN结构；第二个CNN结构包括两层滤波器尺寸为1的CNN层。
[0015]在一些具体实施方式中，所述注意力单元还包括多头自注意力模块；
[0016]所述多头自注意力模块包括自注意力模块；所述自注意力模块的输入为增加位置编码向量后的所述嵌入模块输出的向量空间中对应的特征向量；所述自注意力模块的输出为多个子空间的注意力向量拼接后的向量。
[0017]在一些具体实施方式中，所述注意力单元的输出部分设置有Res-FFNN。
[0018]在一些具体实施方式中，所述注意力单元中Res-FFNN之后设置有序列拼接层，用于将Res-FFNN输出的向量沿着时间维度展开并且拼接到一起。
[0019]在一些具体实施方式中，所述输入数据为前T
w
次采集得到的数据；其中，T
w
为预设次数。
[0020]在一些具体实施方式中，其训练时的训练样本中的RUL基于原始信号数据通过分段线性的方法生成。
[0021]在一些具体实施方式中，所述Res-FFNN的网络结构基于Resnet的结构进行设计。
[0022]本专利技术的有益效果：
[0023]本专利技术设计了深度单元和注意力单元，分别从不同的角度对数据进行建模。深度单元可以减少噪声的影响，对于采集到的包含噪声的数据更加鲁棒。注意力单元在保持预测精度的基础上可以更好的并行化计算，提高了预测的实时性，更适合对实时性要求高的工业场景。本专利技术将深度单元和注意力单元设计成两个独立的模块，在噪声较小的场景下可以去掉深度单元，只使用注意力单元，所以系统配置更加灵活，可以针对不同的场景进行模块的增减。
附图说明
[0024]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0025]图1是本专利技术一种实施例的基于自注意力机制的设备剩余寿命预测系统框架示意图；
[0026]图2是本专利技术一种实施例中深度单元结构示意图；
[0027]图3是本专利技术一种实施例中注意力单元结构示意图；
[0028]图4是本专利技术一种实施例的验证效果示意图。
具体实施方式
[0029]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前
提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0031]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0032]本专利技术的一种基于自注意力机制的设备剩余寿命预测系统，如图1所示，该系统包括深度单元、注意力单元、预测单元；
[0033]所述深度单元，基于前馈神经网络构建，配置为将输入数据消除时间维度后进行高维向量表示，得到第一向量；
[0034]所述注意力单元，配置为将输入数据的时间序列映射到统一的向量空间，并将所述向量空间中对应的特征向量输入到自注意力模块，得到多个子空间的注意力向量并拼接为一个，得到第二向量；
[0035]所述预测单元，配置为将所述第一向量、所述第二向量合并为第三向量，并通过前馈神经网络输出预测结果。
[0036]为了更清晰地对本专利技术系统进行说明，下面结合附图对本方专利技术方法一种实施例中各部分进行展开详述。
[0037]本专利技术一种实施例的基于自注意力机制的设备剩余寿命预测系统，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的设备剩余寿命预测系统，其特征在于，该系统包括深度单元、注意力单元、预测单元；所述深度单元，基于前馈神经网络构建，配置为将输入数据消除时间维度后进行高维向量表示，得到第一向量；所述注意力单元，配置为将输入数据的时间序列映射到统一的向量空间，并将所述向量空间中对应的特征向量输入到自注意力模块，得到多个子空间的注意力向量并拼接为一个，得到第二向量；所述预测单元，配置为将所述第一向量、所述第二向量合并为第三向量，并通过前馈神经网络输出预测结果。2.根据权利要求1所述的基于自注意力机制的设备剩余寿命预测系统，其特征在于，所述第一向量，其获取方法为：将所述输入数据的多变量时间序列拉平以消除其时间维度；将拉平处理后的输入数据通过多层堆叠的神经网络获取高维向量表示。3.根据权利要求3所述的基于自注意力机制的设备剩余寿命预测系统，其特征在于，所述深度单元的输出部分设置有Res-FFNN。4.根据权利要求1所述的基于自注意力机制的设备剩余寿命预测系统，其特征在于，所述注意力单元包括嵌入模块，所述嵌入模块用于将输入数据的时间序列映射到统一的向量空间；所述嵌入模块包括两个CNN结构；第一个CNN结构为滤波器尺寸为3的单层CNN结构；第二个CNN结构包括两层滤波器尺寸为1的CNN层。5.根据权利要求...

【专利技术属性】
技术研发人员：王欣刚，刘元俊，徐歆尧，徐德，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：