基于动态注意力机制的多模态信息融合的导弹故障检测方法技术

本发明专利技术公开了一种基于动态注意力机制的多模态信息融合的导弹故障检测方法，主要解决现有技术检测率低下，且会对导弹造成一定程度损伤的问题。其实现方案为：采集导弹声音信号和测量物理参数；获取训练样本集和测试样本集；构建一个包括残差神经网络的视觉特征模型和多层感知机的物理信息特征模型；构建模态间的动态注意力流；构建动态模式内的注意力流；通过两种注意力流的融合实现导弹的状态检测。本发明专利技术提高了导弹检测的准确性和便捷性，可用于导弹健康管理，故障预测等。故障预测等。故障预测等。

【技术实现步骤摘要】
基于动态注意力机制的多模态信息融合的导弹故障检测方法


[0001]本专利技术涉及一种基于动态注意力机制的多模态信息融合的导弹故障检测方法，属于导弹健康管理


技术介绍

[0002]近些年来，随着科学技术的发展和武器水平的提升，武器研究人员越来越关注导弹健康管理问题。导弹运行状态不同于一般设备，异常的运行状态通常预示着某种故障的发生，比如设备磨损、设备腐蚀、设备断裂和设备老化等。因此，导弹健康管理对于导弹早期故障检测、维修和更换有着重要的意义。
[0003]目前，根据使用信号类型的不同，导弹故障检测可分为基于侵入式的物理量检测方法和基于非侵入式的监测信号的监测方法两类，其中，基于侵入式的物理量检测方法，可以获得必要的相关物理参数，比如直观视觉查验等。但是，此方法需要侵入式进行测量，检测过程中进行的拆装等操作给导弹本身带来一定程度的损伤。基于非侵入式的监测信号方法，该方法只需要传感器贴附导弹外部收集振动或声音信号等。虽然此方法经济成本低，但由于振动信号特征知识不足和受限采集仪器精度，使其基于振动信号故障检测方法识别效率低下。
[0004]因此，寻找一种融合两种检测方法优点、误差小的故障检测技术对于导弹健康管理来说有着重要的意义。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术对不足，提出一种基于动态注意力机制的多模态信息融合的导弹故障检测方法，用于解决现有技术中存在的导弹故障检测操作难的技术问题。
[0006]为实现上述目的，本专利技术采用的技术方案包括步骤如下：
[0007](1)采集导弹声音信号和测量物理参数；
[0008]使用n个声音传感器以采样频率f
s
收集待测导弹长度为T的n个导弹状态声音信号，同时使用与该声音传感器相同采样频率的振动传感器采集待测导弹的上端振动强度v1和下端振动强度v2，n≥1,T≥4687500,f
s
≥1500Hz；
[0009](2)获取训练样本集和测试样本集：
[0010](2a)以w为长度，以s为步长，并按采集顺序将原始导弹状态的声音信号截取N个信号段后顺次进行排列，得到每组包含N个信号段的n组信号段，
[0011](2b)对n个声音信号进行短时傅里叶变换将其转成时频图；
[0012](2c)将时频图与相对应的真实导弹状态构成的样本
‑
标签对作为一个样本，所有样本组成样本集，样本集容量为n
×
N，随机挑选样本集中的80％的样本作为训练样本集，剩余的20％样本组成测试样本集；
[0013](3)构建视觉和物理信息特征提取模型；
[0014]构建包括残差神经网络的视觉特征模型和多层感知机的物理信息特征模型，其中残差神经网络包括相互层叠的多个残差模块，用于提取导弹状态的区域视觉特征多层感知机包括依次层叠由多个神经元组成全连接网络层，用于提取物理信息特征感知机包括依次层叠由多个神经元组成全连接网络层，用于提取物理信息特征其中I为经过短时傅里叶变换后的输入图像，P为与I对应的物理信息，θ
ResNet
表示视觉特征提取模型参数，θ
MLP
表示物理信息特征提取模型参数；
[0015](4)构建模态间的动态注意力流：
[0016](4a)受Transformer模型启发，利用W
Q
，W
V
，W
K
矩阵分别将输入的视觉特征和物理信息特征分别转换为R
Q
，R
V
，P
Q
，P
V
和
[0017]R
K
＝Linear(R；θ
RK
),PK＝Linear(R；θ
PK
),
[0018]R
Q
＝Linear(R；θ
RQ
),P
Q
＝Linear(P；θ
PQ
),
[0019]R
V
＝Linear(R；θ
RV
),P
V
＝Linear(P；θ
PV
).
[0020]其中，“Linear”表示带有参数θ的全连接网络层,“dim”表示两种转换特征的共同维度；
[0021](4b)通过计算每一对视觉特征R
Q
与物理信息主要特征P
K
之间的内积R
Q
P
KT
获得用于物理特征信息汇总到每一个视觉特征的原始注意力权重。然后，通过“dim”的平方根和非线性函数对原始权重进行归一化处理分别获得物理信息到视觉特征的信息流InterMAF
R
←
P
和视觉特征到物理信息到信息流InterMAF
R
→
P
；
[0022][0023][0024]其中，dim为两种转换特征的共同维度，R
Q
P
K
为视觉特征Query向量R
Q
与物理信息主要特征Key向量P
K
之间的内积，P
Q
R
K
为物理信息主要特征Query向量P
Q
和视觉特征Key向量R
K
之间的内积。
[0025](4c)两个双向InterMAF矩阵捕捉每个视觉特征和物理信息之间的重要性，进而获得更新后的视觉特征R
update
和物理特征P
update
；
[0026]R
update
＝InterMAF
R
←
P
×
P
V
,
[0027]P
update
＝InterMAF
R
→
P
×
R
V
.
[0028]其中，其中，P
V
和R
V
是未加权的信息流，InterMAF
R
←
P
为物理信息到视觉特征的信息流，InterMAF
R
→
P
为视觉特征到物理信息到信息流。
[0029](4d)获得更新后的视觉和物理特征后，将它们与原始的视觉特征R和物理特征P进行拼接，并使用一个全连接层用于转换拼接后的特征，进而得到不同模态间的交互输出；
[0030]R＝Linear([R,R
update
]T
；θ
RT
),
[0031]P＝Linear([P,P
update
]T
；θ
PT
).
[0032](5)构建动态模式内的注意力流：
[0033](5a)为了利用来自其他模式的信息，沿视觉特征的索本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于动态注意力机制的多模态信息融合的导弹故障检测方法，其特征在于，包括：1)采集导弹声音信号和测量物理参数：使用n个声音传感器以采样频率f
s
收集待测导弹长度为T的n个导弹状态声音信号，同时使用与该声音传感器相同采样频率的振动传感器采集待测导弹的上端振动强度v1和下端振动强度v2，n≥1,T≥4687500,f
s
≥1500Hz；2)获取训练样本集和测试样本集：(2a)以w为长度，以s为步长，并按采集顺序将原始导弹状态的声音信号截取N个信号段后顺次进行排列，得到每组包含N个信号段的n组信号段；(2b)对n个声音信号进行短时傅里叶变换将其转成时频图；(2c)将时频图与相对应的真实导弹状态构成的样本
‑
标签对作为一个样本，所有样本组成样本集，样本集容量为n
×
N，随机挑选样本集中的80％的样本作为训练样本集，剩余的20％样本组成测试样本集；3)构建视觉和物理信息特征提取模型；构建包括残差神经网络的视觉特征模型和多层感知机的物理信息特征模型；4)构建模态间的动态注意力流：(4a)受Transformer模型启发，利用W
Q
,W
K
,W
V
矩阵分别将输入的视觉特征R和物理信息特征P分别转换为P
Q
，P
V
和(4b)计算每一对视觉特征R
Q
与物理信息主要特征P
K
之间的内积R
Q
P
KT
，获得用于物理特征信息汇总到每一个视觉特征的原始注意力权重。然后，通过dim的平方根和非线性函数对原始权重进行归一化处理分别获得物理信息到视觉特征的信息流InterMAF
R
←
P
和视觉特征到物理信息到信息流InterMAF
R
→
P
；(4c)获得更新后的视觉特征R
update
和物理特征P
update
；(4d)获得更新后的视觉特征R
update
和物理特征后，将它们与原始的视觉特征R和物理特征P进行拼接，并使用一个全连接层用于转换拼接后的特征，进而得到不同模态间的交互输出；5)构建动态模式内的注意力流；(5a)为了利用来自其他模式的信息，沿视觉特征的索引维度对视觉特征进行平均和沿物理信息的索引维度对物理信息特征进行平均。然后，两种模式的平均集合特征被转换为一个二维的特征向量，以匹配R
Q
，R
K
和P
Q
，P
K
。接着，每个模式的二维特征向量被一个Sigmoid非线性函数σ(
·
)进行控制，进而产生对另一模式的控制调节；(5b)计算Q,V矩阵时，施加对方模态流的条件门控向量的影响；(5c)通过计算每一对更新后的视觉特征Query向量与更新后的物理信息主要特征Key向量之间的内积获得用于物理特征信息汇总到每一个视觉特征的原始注意力权重。然后，通过“dim”的平方根和非线性函数对原始权重进行归一化处理分别获得物理信息到物理信息的动态模式内的信息流DyIntralMAF
R
←
R
和视觉特征到视觉特征动态模式内的信息流DyIntralMAF
P
←
P
；(5d)两个模态内的动态信息流经对各自模态内的原始特征P
V
和R
V
通过残差进行更新；6)经过模态内和模态间处理的视觉特征和物理特征进行点乘，经过softmax函数得到
导弹不同状态的概率实现导弹状态检测。2.根据权利要求1所述的基于动态注意力机制的多模态信息融合的导弹故障检测方法，其特征在于步骤(2a)中所述得到每组包含N个信号段的n组信号段：其中，T为待测导弹长度，w为长度，s为步长，n为导弹个数。3.根据权利要求1所述的基于动态注意力机制的多模态信息融合的导弹故障检测方法，其特征在于步骤3)中所述构建包括残差神经网络的视觉特征模型和多层感知机的物理信息特征模型，各个模块的组成和功能如下：残差神经网络包括相互层叠的多个残差模块，用于提取导弹状态的区域视觉特征R；多层感知机包括依次层叠由多个神经元组成全连接网络层，用于提取物理信息特征P；R＝ResNet(I；θ
ResNet
)P＝MLP(P；θ
MLP
)其中I为经过短时傅里叶变换后的输入图像，P为与I对应的物理信息，θ
ResNet
表示视觉特征提取模型参数，θ
MLP
表示物理信息特征提取模型参数。4.根据权利要求1所述的基于动态注意力机制的多模态信息融合的导弹故障检测方法，其特征在于步骤(4a)中所述将输入的视觉特征R和物理信息特征P分别转换为P
Q
，P
V
和R
K
＝Linear(R；θ
RK
),P
K
＝Linear(R；θ
PK
),R
Q
＝Linear(R；θ
RQ
),P
Q
＝Linear(P；θ
PQ
),R
V
＝Linear(R；θ
RV
),P
V
＝Linear(P；θ
PV
).其中，Linear表示带有参数θ的全连接网络层，dim表示两种转换特征的共同维度；步骤(4b)中所述获得物理信息到视觉特征的信息流InterMAF
R
←
P
和视觉...

【专利技术属性】
技术研发人员：肖支才，丛林虎，
申请(专利权)人：中国人民解放军海军航空大学，
类型：发明
国别省市：