基于深度强化学习的航空发动机剩余使用寿命估计方法技术

本发明专利技术提供一种基于深度强化学习的航空发动机剩余使用寿命估计方法，根据航空发动机寿命估计的需求和特点，将其视为一种序列性的决策问题，因此建立对应的马尔可夫决策过程模型。针对此马尔可夫模型，制定了状态动作奖赏等交互规则，同时设计了寿命估计奖励函数，并且根据航空发动机寿命估计数据的特点，提出了寿命估计策略的深度学习模型。最后，利用深度强化学习算法，在此马尔可夫模型中学得最优的航空发动机寿命估计估计策略。本发明专利技术克服了传统的监督学习方法所带来的过拟合风险，有利于求得更优的航空发动机寿命估计策略，可以提高航空发动机寿命估计的准确度，改善视情维修的及时性，增强飞机飞行的安全性，节省不必要的维护费用。维护费用。维护费用。

【技术实现步骤摘要】
基于深度强化学习的航空发动机剩余使用寿命估计方法


[0001]本专利技术针对航空发动机剩余使用寿命估计领域，首先将航空发动机剩余使用寿命估计问题建模为马尔可夫序列决策过程模型，然后利用深度强化学习(Deep Reinforcement Learning)算法求得最优的剩余使用寿命估计策略，从而提高航空发动机剩余使用寿命估计的准确度。

技术介绍

[0002]由于老化或其他突发状况，当代的工业系统有时会发生严重的故障。因此机器的维护管理在现代工业活动中起着关键的作用。视情维修(Condition-based Maintenance,CBM)作为一种高效的维护策略，已经被广泛应于现代的工业系统中。预断学(Prognostics)作为CBM实施的关键推动力，在CBM中起着重要的作用。预断技术通常备被用来分析所收集到的机器状况监控数据(Condition Monitoring,CM)。通过对CM数据的分析，机器的潜在故障信息可以被提前诊断出，因此可以安排适当及时的维修。CBM可以用来避免发生灾难性的错误，并且减少不必要的维修损失。在预断学中，一个关键性的技术即是对机器的剩余使用寿命进行估计(remaining useful life,RUL)。RUL表示机器距离发生故障或失效所剩余的使用时间。只要准备的预估出RUL的数值，则机器的故障时间可以提前准确的预知，相应的维修计划也可以及时得到安排。因此一个准确的剩余使用寿命估计模型可以提高系统的可靠性，改善机器维护的高效性，并且节省不必要的经济损失。由于其种种优点以及重要性，剩余使用寿命估计已经吸引了许多研究兴趣。
[0003]通常，目前存在的剩余使用寿命估计的方法可以分为三类：1)基于模型的方法。2)句驱动的方法。3)混合方法。若给出准确地物理系统退化过程模型，基于模型的方法可以准确的预估出剩余使用寿命值。然而，这种建模需要大量的对物理系统的先验知识，然而这些先验知识在实际过程中通常难以获得。另一方面，数据驱动的方法可以直接学习到机器的状态监控数据与剩余使用寿命之间的映射关系。在数据驱动方法中，无需关于机械系统的先验知识。并且随着传感器技术的发展，可以收集越来越多的机器监控数据。因此，基于数据驱动的方法目前在剩余使用寿命领域越来越受欢迎。
[0004]机器学习算法具有较强的泛化能力。近些年来，在数据驱动方法领域，越来越多的机器学习法被用来学习剩余使用寿命与机器监控数据之间的映射关系。例如，在2016年，支持向量回归(Support Vector Regression,SVR)算法被用来进行剩余使用寿命估计。在2016年，卷积神经网络(Convolutional Neural Networks,CNN)被用来进行剩余使用寿命估计方法的研究。同样在2016年，随机森林(Random Forest(RF))，梯度提升(Gradient Boosting,GB)，极限学习机(Extreme Learning Machine,ELM)算法，多层感知机(Multi-layer Perceptron,MLP)，深度置信神经网络(Deep Belief Network,DBN)算法，被应用于剩余使用寿命估计。在2016年，多目标进化算法集成的深度置信神经网络被提出，用于剩余使用寿命估计。在2017年，长短时记忆神经网络(Long Short-Term Memory networks,LSTM)被应用于剩余使用寿命估计。在2018年，双向的LSTM神经网络被应用于使用寿命估
计。在2019年，CNN混合LSTM被提出应用于剩余使用寿命估计。在2020年，双向门循环单元和CNN的混合算法被提出，并成功应用于航空发动机寿命估计领域，取得了优异的效果。
[0005]虽然许多机器学习的算法被应用于剩余使用寿命估计领域，但他们都属于监督学习算法的范畴，遵循相同的学习模式。在这种训练模式下，通过拟合训练集数据，来学习到一个剩余使用寿命估计模型，从而用于生产环境中的剩余使用寿命估计问题。但监督学习普遍存在过拟合的风险，因此为了避免过拟合，只能早停或其他的防治过拟合的策略，然而，这种处理方式会阻止对更优的剩余使用寿命估计策略的探索与发现。因此目前的机器学习算法，在航空发动机寿命估计领域存在一定的性能缺陷。作为机器学习算法的另一个分支，强化学习在未知环境探索中有着强大的能力。不同于监督学习算法，基于标签化的训练集学得一个剩余使用寿命估计模型，深度强化学习从未知环境中通过试错，逐步学得一个具有较强泛化性的策略。近些年来强化学习已经应用于许多交叉领域。
[0006]深度强化学习(Deep Reinforcement Learning,DRL)算法由Google DeepMind团队提出，是强化学习和和深度学习的一种结合。自提出以来，深度强化学习被广泛应用游戏、机器人控制以及金融等领域。深度强化学习通过与环境模型的交互，逐渐学得最优的控制策略。近年来深度强化学习已经成功解决了许多之前挑战性的序列性决策问题。例如，Mnih等提出了基于卷积神经网络的深度强化学习，并直接从游戏画面的高维输入中成功学习了控制策略。目前关于将深度强化学习应用于航空发动机剩余使用寿命估计领域的方法研究尚属空白。大部分的数据驱动方面的研究还是局限于监督学习算法领域。因此目前的方法存在一定的过拟合风险，会引起一定的性能缺陷。

技术实现思路

[0007]专利技术目的：
[0008]为了突破当前剩余使用寿命估计领域的基于数据驱动算法中，仅采用监督学习方法存在的局限，本专利技术将深度强化学习引入到航空发动机剩余使用寿命估计领域。针对航空发动机剩余使用寿命估计任务，首先将该估计问题建模为马尔可夫序列决策过程模型，然后利用深度强化学习算法求得最优的剩余使用寿命估计策略，从而提高航空发动机剩余使用寿命估计的准确度。
[0009]技术方案：
[0010]一种基于深度强化学习的航空发动机剩余使用寿命估计方法，包括以下步骤：
[0011]步骤1：收集航空发动机状态监控传感器数据以及对应的剩余使用寿命值，并对原始数据进行归一化。每个数据样本为一个数据对，其中包括传感器参数数据以及对应的航空发动机剩余使用寿命值。对收集到的航空发动机剩余使用寿命数据随机编号，组成带编号的航空发动机剩余使用寿命历史数据库。传感器监控数据主要包括21种数据，分别为：风扇进口总温、低压压气机出口总温、高压压气机出口总温、低压涡轮出口总温、风扇进口压力、外涵道总压、高压压气机出口总压、风扇物理转速、核心机物理转速、发动机压比、高压压气机出口静压、耗油率与高压压气机出口静压之比、修正风扇转速、修正核心机转速、外涵比、燃烧室油气比、抽气焓、额定风扇转速、额定修正风扇转速、高压涡轮冷却气抽气量、低压涡轮冷却气抽气量。航空发动机剩余使用寿命值为大于0的整数，表示发动机剩余使用周期。
[0012]步骤2：基于步骤1所建立的航空发动机剩余使用寿命历史数据库，对传统的航空发动机剩余使用寿命估计过程，建立其对应的马尔可夫决策过程模型，该马尔可夫模型主要包括以下内容：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的航空发动机剩余使用寿命估计方法，其特征在于，包括如下步骤：步骤1：收集航空发动机状态监控传感器数据以及对应的剩余使用寿命值，组成航空发动机剩余使用寿命历史数据库；步骤2：基于步骤1中的航空发动机剩余使用寿命历史数据库，对传统的航空发动机剩余使用寿命估计过程，建立其对应的马尔可夫决策过程模型；步骤3：初始化航空发动机寿命估计策略深度学习模型，迭代次数i＝0，最大迭代次数N，航空发动机寿命估计数据总数n；步骤4：初始化交互步数t＝0；步骤5：根据当前的航空发动机寿命估计策略深度学习模型，对当前接收到的航空发动机传感器特征数据进行一次剩余使用寿命估计，根据剩余使用寿命估计值以及实际剩余使用寿命值，马尔可夫模型给出相应的奖励值；并将当前估计交互数据存储，并判断是都已经到达终止状态：t≥n？，若满足条件，则进行下一步，否则继续与航空发动机寿命估计马尔可夫模型进行估计交互；步骤6：基于最新的n步剩余使用寿命估计交互数据，使用深度强化学习算法，对当前的剩余使用寿命估计策略深度学习模型进行更新，并增加迭代次数：i＝i+1，判断i≥N？，若满足条件则终止训练，否则返回步骤4继续训练。2.根据权利要求1所述的一种基于深度强化学习的航空发动机剩余使用寿命估计算法，其特征在于，步骤1中的航空发动机状态监控传感器数据包括21种航空发动机可测参数，分别为：风扇进口总温、低压压气机出口总温、高压压气机出口总温、低压涡轮出口总温、风扇进口压力、外涵道总压、高压压气机出口总压、风扇物理转速、核心机物理转速、发动机压比、高压压气机出口静压、耗油率与高压压气机出口静压之比、修正风扇转速、修正核心机转速、外涵比、燃烧室油气比、抽气焓、额定风扇转速、额定修正风扇转速、高压涡轮冷却气抽气量、低压涡轮冷却气抽气量。3.根据权利要求2所述的一种基于深度强化学习的航空发动机剩余使用寿命估计算法，其特征在于，步骤2中，针对航空发动机剩余使用寿命估计过程，建立其对应的马尔可夫决策过程模型，包括以下内容：1)状态：发动机寿命估计模型的状态量s
t
即为发动机传感器数据样本，包括所述的21种航空发动机可测参数；2)初始状态：初始状态即为航空发动机剩余使用寿命数据库中，第一个样本的传感器数据值；3)动作：动作值a
t
即为对发动机传感器故障数据所作的剩余使用寿命估计值，为大于0的实数；4)奖励函数：奖励值r
t
表征当前的航空发动机寿命估计策略，对当前样本所作剩余使用寿命估计的准确度，定义如下：其中t表示当前时刻，表示当前样本的实际剩余使用寿命值；5)状态转移概率：在航空发动机剩余使用寿命估计马尔可夫决策过程模型中，状态转
移概率P(s
t+1
|s
t
,a
t
)为确定值，即马尔可夫环境按照航空发动机剩余使用寿命数据库中...

【专利技术属性】
技术研发人员：赵永平，胡乾坤，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：