【技术实现步骤摘要】
本专利技术涉及人工智能领域，尤其涉及一种基于轻量化transformer的性能预测系统及其硬件加速方法。
技术介绍
1、航空燃气涡轮发动机(简称航空发动机)是大型运输机等飞行器的首选动力装置。由于长期在高温、高压、高转速、变工况等复杂条件下工作，发动机在使用过程中不可避免地会产生性能衰退，严重时甚至会导致重大事故。通过对发动机性能参数的预测和监测，可以实时监控发动机的工作状态并及时发现潜在问题和故障。这有助于制定合理的维修计划，提前预防和处理可能的故障，减少未预期的停机时间和维修成本。准确预测航空发动机的性能参数可以帮助评估飞行安全和性能，确定发动机在不同操作条件下的工作特性，包括推力输出、燃油消耗、排放等。这有助于飞行员做出正确的决策，提高飞行操作的安全性和效率。因此对航空发动机性能参数进行准确预测具有重大意义。
2、目前，针对航空发动机性能参数预测的问题，主要的方法有循环神经网络rnn、lr-wavenet网络以及长短期记忆神经网络lstm等，但是rnn由于其在长序列预测中存在梯度消失的问题，难以处理时序数据的长期依赖关系，并且rnn和lstm由于其当前时间步的开始需要等待上一时间步结束，所以其所需计算时间冗长，lr-wavenet网络目前仅在gpu端进行计算，难以部署到硬件上，所以一个能够实现高效计算并且可以部署到硬件上的航空发动机性能参数预测系统成为了一个需要探索的方向。
技术实现思路
1、本专利技术目的在于，提出一种基于轻量化transformer的性能预测系
2、为实现上述目的，本专利技术的技术方案如下：
3、一种基于轻量化transformer的性能预测系统包括：adc模块、航空发动机性能参数估计上位机，数据输入模块、数据异常预测模块和数据输出模块，均烧录至fpga开发板芯片中。
4、adc模块、航空发动机性能参数估计上位机和数据输入模块用于模拟数据的采集和发送，并对数据进行预处理；
5、数据异常预测模块用于对预处理后的数据进行transformer神经网络的前向传播计算，输出待预测点的性能预测数据；transformer神经网络包括输入位置编码层、多层编码器和全连接层；不同层的编码器结构一致，均包括多头注意力机制、残差和行归一化、前反馈层；fpga开发板存储transformer神经网络的神经权重；
6、数据输出模块用于对预测数据进行阈值判断，并输出检测到的异常信号。
7、上述基于轻量化transformer的性能预测系统的硬件加速方法，包括以下步骤：
8、步骤1、采集航空发动机各个部件的压力与温度传感器的原始数据，航空发动机性能参数估计上位机根据原始数据通过卡尔曼滤波算法估计出性能参数；对得到的性能参数进行预处理，并将其划分为训练集和测试集；
9、步骤2、训练transformer神经网络获得神经权重矩阵；
10、初始化transformer神经网络的超参数和神经权重；将训练集数据批量输入进行训练，直到网络收敛；通过调节超参数，进行网络剪枝，并进行复训练，使其达到最优；将测试集数据输入训练完成的transformer神经网络，对其进行测试验证；
11、transformer神经网络包括输入位置编码层(input and position embedding)、多层编码器(encoder)和全连接层；不同层的编码器结构一致，均包括多头注意力机制(multi-head attention)、残差和行归一化(add and layernorm)、前反馈层(feedforward)；
12、步骤2.1：随机初始化transformer神经网络的超参数和神经权重；
13、步骤2.2：将训练集数据批量输入至transformer神经网络，通过前向传播的输出结果与输入的训练集数据对比，获得数据损失函数，利用其反向传播的求导更新输入位置编码层、各层编码器和全连接层的神经权重；
14、步骤2.2.1：训练集数据批量输入至输入位置编码层中进行计算，得到含有相对位置信息的特征向量；将含有相对位置信息的特征向量输入到编码器的多头注意力机制中，并将得到的结果与输入做残差和行归一化，以防止模型过拟合；将多头注意力机制的输出输入前反馈层，得到的输出再与前反馈层输入做残差和行归一化；transformer神经网络的编码器均具有相同的结构，通过超参数的网络层数确定编码器层数；输出层采用全连接层的方式，并将全连接层的输出作为transformer神经网络的输出结果；
15、步骤2.2.2：通过transformer神经网络前向传播的输出结果与输入的训练集数据的对比，计算数据损失函数的输出结果；利用数据损失函数的输出结果对其各层网络的神经权重进行求导，并更新各层网络的神经权重，获得神经权重矩阵；
16、步骤3、将步骤2所得transformer神经网络的神经权重矩阵进行分组结构化稀疏处理，获得最终轻量化的transformer神经网络；
17、步骤3.1：将神经权重矩阵的每一行分成大小相等的组，将每组权值排序并剪掉绝对值最小的权值，每组设有相同的稀疏度，所述相同的稀疏度为相同数目的非零值；
18、步骤3.2：通过训练数据集，将含有剩余权值的网络进行重训练，经过多轮迭代式剪枝，最终确定组内稀疏度具体值；
19、步骤3.3：输出最终剩余权值的位置和数值，作为最终transformer神经网络的神经权重。
20、步骤4、统计transformer神经网络神经权重的数量，并计算其所占存储资源的大小；选取fpga开发板，将transformer神经网络结构和神经权重分别烧录至fpga开发板的芯片和存储资源上，作为数据异常预测模块；
21、步骤5、通过adc模块对航空发动机时序数据进行采样，并输入至航空发动机性能参数估计上位机，得到航空发动机当下性能参数数据；数据输入模块对性能参数数据进行预处理，并将预处理后的数据作为航空发动机性能预测系统的输入；
22、步骤6、数据输入模块将预处理后的航空发动机性能参数时序数据，以固定速率输出至数据异常预测模块；经过transformer神经网络的前向传播后，输出待预测点的性能预测数据至数据输出模块；通过数据输出模块对性能预测数据进行判断，并将预警信号输出至上位机显示。
23、所述步骤1中，预处理包括数据的归一化处理、滤波处理和滑窗处理，其中，
24、归一化处理采取z-score标准化方法，计算方法如下：
25、
26、其中，为原始数据的标准差，为原始数据的均值，x为归一化后的数据，xi为原始数据；
27、滑窗处理采用固定窗口大小方式，将待预测点xt前w个时刻的数据点组成输入序列xt＝[xt-w本文档来自技高网...
【技术保护点】
1.一种基于轻量化Transformer的性能预测系统，其特征在于，所述的基于轻量化Transformer的性能预测系统包括ADC模块、航空发动机性能参数估计上位机、数据输入模块、数据异常预测模块和数据输出模块，均烧录至FPGA开发板芯片中；
2.权利要求1所述的一种基于轻量化Transformer的性能预测系统的硬件加速方法，其特征在于，包括以下步骤：
3.根据权利要求2所述的一种基于轻量化Transformer的性能预测系统的硬件加速方法，其特征在于，所述步骤1中，预处理包括数据的归一化处理、滤波处理和滑窗处理，其中，
4.根据权利要求2所述的一种基于轻量化Transformer的性能预测系统的硬件加速方法，其特征在于，所述步骤2中，超参数包括网络层数、多头注意力机制的多头数、学习率和迭代次数。
5.根据权利要求2所述的一种基于轻量化Transformer的性能预测系统的硬件加速方法，其特征在于，所述步骤4中包含以下步骤：
6.根据权利要求2所述的一种基于轻量化Transformer的性能预测系统的硬件加速方法，其特
7.根据权利要求2所述的一种基于轻量化Transformer的性能预测系统的硬件加速方法，其特征在于，所述步骤6中包含以下步骤：
...【技术特征摘要】
1.一种基于轻量化transformer的性能预测系统，其特征在于，所述的基于轻量化transformer的性能预测系统包括adc模块、航空发动机性能参数估计上位机、数据输入模块、数据异常预测模块和数据输出模块，均烧录至fpga开发板芯片中；
2.权利要求1所述的一种基于轻量化transformer的性能预测系统的硬件加速方法，其特征在于，包括以下步骤：
3.根据权利要求2所述的一种基于轻量化transformer的性能预测系统的硬件加速方法，其特征在于，所述步骤1中，预处理包括数据的归一化处理、滤波处理和滑窗处理，其中，
4.根据权利要求2所...
【专利技术属性】
技术研发人员：马艳华，李海川，张伯维，孙希明，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。