基于注意力机制的CNN-LSTM风机故障预测方法及系统技术方案

一种基于注意力机制的CNN‑LSTM风机故障预测方法，首先，利用SCADA系统采集风机的时序数据；其次，利用随机森林算法对风机时序数据进行特征关联度分析，提取与风机故障关联度高的特征，形成新的特征数据集，将新的特征数据集输入到CNN‑LSTM模型中进行训练，并在模型中引入Attention机制，使得模型更关注与风机故障相关的特征，降低非相关特征的干扰，以提高风机故障预测模型的准确率和泛化能力；最后，将待预测的风机数据集输入到训练好的模型中，获取故障预测结果。本发明专利技术的模型是一种适合处理时序数据、准确率高、泛化能力强等综合性能突出的风机故障预测模型。

【技术实现步骤摘要】
基于注意力机制的CNN-LSTM风机故障预测方法及系统
本专利技术涉及风电故障预测
，具体涉及一种基于注意力机制的CNN-LSTM风机故障预测方法及系统。
技术介绍
风能是一种无公害的可再生能源，能量近乎无尽，分布广泛。风电缓解了能源的供应，对环境的保护意义重大。风电设备一般安装在风力资源丰富但交通不便的地区，如山区、高原地区、草原牧场等，这些地区环境恶劣，雷电、暴雨或者台风等都可能使得风机发生故障，需要定期对风机进行巡检，以保证风电设备的正运行，但是风机地处偏远的地区，巡检工作量大，增加了维护人员的工作负担；对于风机的某些故障，如果等到故障发生后再进行检测，可能为时已晚，造成的经济损失也不可估量，因此需要对这些风机故障提前预测或预警。针对此问题，目前，主流的解决方案是基于风机状态数据的分析方法，它基于海量的运行数据，利用智能算法从多层面对风机的状态数据进行分析，挖掘数据中潜在的有价值的故障信息，实现对风机的故障预测。风机产生的数据是以时间为轴不断增长的时序数据，因此对风机数据时序关系的学习对于风机故障预测至关重要；但是目前的风机故障预测模型对于处理时序问题性能较差，不能很好的挖掘数据间潜在的时序特征，导致泛化能力差，因此，需要一种模型能有效的处理时序数据且泛化能力强、准确率高。
技术实现思路
为解决现有技术中存在的不足，本专利技术的目的在于，提供一种基于注意力机制的CNN-LSTM风机故障预测方法。本专利技术采用如下的技术方案。一种基于注意力机制的CNN-LSTM风机故障预测方法，包括以下步骤：步骤1，从SCADA系统采集原始风机时序数据，包括：性能数据和外界环境数据；步骤2，利用随机森林算法对原始风机时序数据进行特征关联度分析，得到与风机故障关联度高的特征数据集；步骤3，将随机森林算法筛选得到的特征数据集输入到CNN神经网络，利用两层CNN神经网络对特征数据集进行特征提取；步骤4，根据步骤3的输出结果，利用两层LSTM神经网络进一步学习多个连续时刻风机特征的变化趋势，获得特征之间的时序关系；步骤5，将步骤4的输出结果输入到注意力机制模块，用于获取更多与故障相关的目标信息，通过注意力机制模块的全连接层输出结果，步骤6，将步骤5的输出结果通过输出模块得到预测结果，根据模型的输出结果与真实值的误差不断更新权重参数，判断当迭代次数达到上限，则输出模型；步骤7，加载步骤6训练好的模型，接着将待预测的风机数据输入到模型中，得到风机故障的预测结果；其中SCADA是指数据采集与监视控制系统。优选地，步骤1中，采集的原始风机时序数据包括：风速、发电机转速、网侧有功功率、对风角、风向角、偏航位置、偏航速度、叶片1角速度、叶片2角速度、叶片3角速度、叶片1速度、叶片2速度、叶片3速度、变桨电机1温度、变桨电机2温度、变桨电机3温度、水平方向加速度、垂直方向加速度、环境温度、机舱温度、变桨柜电源1温度、变桨柜电源2温度、变桨柜电源3温度、变桨柜电源1直流电流、变桨柜电源2直流电流和变桨柜电源3直流电流。优选地，步骤2包括：步骤2.1，从N维原始特征数据集上有放回的抽取M个样本数据，重复K次，即形成K个样本数据子集，每个样本数据子集中含有M个样本数据，每个样本由N个特征组成；步骤2.2，分别从每个样本数据子集的N个特征中随机抽取X个特征，形成新的样本数据子集，即每个新的样本数据子集中含有M个样本数据，每个样本由X个特征组成；步骤2.3，对于步骤2.2产生的每个样本数据子集建立相应的决策树；步骤2.4，计算决策树中每个特征变量在建立决策树上的得分，针对不同的特征变量再分别取平均值，根据平均值降序排序，得到特征重要度排名；步骤2.5，在特征重要度排名的基础上，过滤掉设定比例的特征，即过滤掉平均分数低的一些特征，形成新的样本特征子集；步骤2.6，用新的样本特征子集再次构建决策树，并重复步骤2.4，和步骤2.5，直到剩下设定的q个特征；步骤2.7，根据这q个特征在原始特征集进行特征选择，得到与风机故障关联度高的特征数据集。优选地，步骤2中，形成的特征数据集包括：偏航位置，环境温度，测网有功功率，叶片3角度，变桨电机1温度，变桨电机2温度，变桨电机3温度，叶片1角度，叶片2角度，风速，发电机转速和变桨柜电源2温度共12个特征。优选地，步骤3包括：步骤3.1，对于步骤2形成的样本数据集D＝{(xi，yi)|i＝1，2，…，p}，其中p表示样本的数量，xi表示输入的样本数据，xi∈Rq，q表示特征的个数，yi∈{0，1}表示第i个样本数据的标签；将样本数据输入到卷积层，得到高层次的特征表示：Ji＝f(ω·xi：i+g-1+b)，并最终得到特征矩阵J＝[J1，J2，…，Jn-g+1]；其中，ω表示卷积核，g表示卷积核的尺寸，i：i+g-1表示第i项特征到第i+g-1项特征，b表示偏置项；步骤3.2，接着对特征数据J使用最大池化计算进行处理，来保留关键信息并减少模型参数，得到局部最优解：E＝max(J1，J2，…，Jn-g+1)＝max{J}；步骤3.3，接着利用全连接层将E向量连接成向量H，得到最终的CNN输出H：H＝{E1，E2，…，En}。优选地，步骤4包括：步骤4.1，数据首先通过遗忘门结构，通过如下公式计算得到遗忘门：ft＝σ(Wf·[ht-1，xt]+bf)式中：ft表示遗忘门，σ表示Sigmoid激活函数，ht-1表示上个时刻隐藏状态；xt表示当前时刻的输入，即为CNN的输出结果H中对应t时刻的样本数据；步骤4.2，接下来数据通过输入门结构，通过如下公式分别计算得到输入门和候选记忆单元：it＝σ(Wi·[ht-1，xt]+bi)式中：it表示输入门，tanh(·)表示双曲正切激活函数，表示候选记忆单元。步骤4.3，LSTM通过遗忘门和输入门对旧的记忆单进行更新，得到新的记忆单元：式中：Ct-1表示旧的记忆单元，Ct表示更新后的记忆单元；步骤4.4，数据通过输出门结构，通过如下公式计算得到输出门：ot＝σ(Wo·[ht-1，xt]+bo)式中：ot表示输出门。步骤4.5，通过如下公式计算得到LSTM的最终输出：ht＝ot*tanh(Ct)式中：ht表示t时刻的输入样本对应的最终的输出。在上式中，参数Wf，Wi，WC，Wo表示权重矩阵，参数bf，bi，bC，bo为偏置向量。优选地，步骤5包括：步骤5.1，数据进入注意力模块，通过注意力机制给风机故障特征分配不同的权重：wt＝tanh(ht)式中：ht表示输入数据，wt表示目标特征的权重；步骤5.2，接着通过Softmax函数把注意力权重概率化：本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于，包括以下步骤：/n步骤1，从SCADA系统采集原始风机时序数据，包括：性能数据和外界环境数据；/n步骤2，利用随机森林算法对原始风机时序数据进行特征关联度分析，得到与风机故障关联度高的特征数据集；/n步骤3，将随机森林算法筛选得到的特征数据集输入到CNN神经网络，利用两层CNN神经网络对特征数据集进行特征提取；/n步骤4，根据步骤3的输出结果，利用两层LSTM神经网络进一步学习多个连续时刻风机特征的变化趋势，获得特征之间的时序关系；/n步骤5，将步骤4的输出结果输入到注意力机制模块，用于获取更多与故障相关的目标信息，通过注意力机制模块的全连接层输出结果，/n步骤6，将步骤5的输出结果通过输出模块得到预测结果，根据模型的输出结果与真实值的误差不断更新权重参数，判断当迭代次数达到上限，则输出模型；/n步骤7，加载步骤6训练好的模型，接着将待预测的风机数据输入到模型中，得到风机故障的预测结果；/n其中SCADA是指数据采集与监视控制系统。/n

【技术特征摘要】
1.一种基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于，包括以下步骤：
步骤1，从SCADA系统采集原始风机时序数据，包括：性能数据和外界环境数据；
步骤2，利用随机森林算法对原始风机时序数据进行特征关联度分析，得到与风机故障关联度高的特征数据集；
步骤3，将随机森林算法筛选得到的特征数据集输入到CNN神经网络，利用两层CNN神经网络对特征数据集进行特征提取；
步骤4，根据步骤3的输出结果，利用两层LSTM神经网络进一步学习多个连续时刻风机特征的变化趋势，获得特征之间的时序关系；
步骤5，将步骤4的输出结果输入到注意力机制模块，用于获取更多与故障相关的目标信息，通过注意力机制模块的全连接层输出结果，
步骤6，将步骤5的输出结果通过输出模块得到预测结果，根据模型的输出结果与真实值的误差不断更新权重参数，判断当迭代次数达到上限，则输出模型；
步骤7，加载步骤6训练好的模型，接着将待预测的风机数据输入到模型中，得到风机故障的预测结果；
其中SCADA是指数据采集与监视控制系统。


2.根据权利要求1所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：
步骤1中，采集的原始风机时序数据包括：风速、发电机转速、网侧有功功率、对风角、风向角、偏航位置、偏航速度、叶片1角速度、叶片2角速度、叶片3角速度、叶片1速度、叶片2速度、叶片3速度、变桨电机1温度、变桨电机2温度、变桨电机3温度、水平方向加速度、垂直方向加速度、环境温度、机舱温度、变桨柜电源1温度、变桨柜电源2温度、变桨柜电源3温度、变桨柜电源1直流电流、变桨柜电源2直流电流和变桨柜电源3直流电流。


3.根据权利要求1所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：
步骤2包括：
步骤2.1，从N维原始特征数据集上有放回的抽取M个样本数据，重复K次，即形成K个样本数据子集，每个样本数据子集中含有M个样本数据，每个样本由N个特征组成；
步骤2.2，分别从每个样本数据子集的N个特征中随机抽取X个特征，形成新的样本数据子集，即每个新的样本数据子集中含有M个样本数据，每个样本由X个特征组成；
步骤2.3，对于步骤2.2产生的每个样本数据子集建立相应的决策树；
步骤2.4，计算决策树中每个特征变量在建立决策树上的得分，针对不同的特征变量再分别取平均值，根据平均值降序排序，得到特征重要度排名；
步骤2.5，在特征重要度排名的基础上，过滤掉设定比例的特征，即过滤掉平均分数低的一些特征，形成新的样本特征子集；
步骤2.6，用新的样本特征子集再次构建决策树，并重复步骤2.4，和步骤2.5，直到剩下设定的q个特征；
步骤2.7，根据这q个特征在原始特征集进行特征选择，得到与风机故障关联度高的特征数据集。


4.根据权利要求1至3中任一项所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：
步骤2中，形成的特征数据集包括：偏航位置，环境温度，测网有功功率，叶片3角度，变桨电机1温度，变桨电机2温度，变桨电机3温度，叶片1角度，叶片2角度，风速，发电机转速和变桨柜电源2温度共12个特征。


5.根据权利要求1至3中任一项所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：
步骤3包括：
步骤3.1，对于步骤2形成的样本数据集D＝{(xi,yi)|i＝1,2,…,p}，其中p表示样本的数量，xi表示输入的样本数据，xi∈Rq，q表示特征的个数，yi∈{0,1}表示第i个样本数据的标签；将样本数据输入到卷积层，得到高层次的特征表示：Ji＝f(ω·xi:i+g-1+b)，并最终得到特征矩阵J＝[J1,J2,…,Jn-g+1]；其中，ω表示卷积核，g表示卷积核的尺寸，i:i+g-1表示第i项特征到第i+g-1项特征，b表示偏置项；
步骤3.2，接着对特征数据J使用最大池化计算进行处理，来保留关键信息并减少模型参数，...

【专利技术属性】
技术研发人员：赵计生，米路中，强保华，谢元，曹亚伟，张艳萍，陈锐东，
申请(专利权)人：国能信控互联技术有限公司，
类型：发明
国别省市：北京;11