【技术实现步骤摘要】
本专利技术涉及航空安全事件多模态数据处理与分类识别，具体涉及一种跨模态交互补全的航空安全事件识别方法。
技术介绍
1、随着移动通信设备和互联网络的普及，当航空空难事故发生时，目击者可以方便地使用智能手机记录空难发生时的场景，并通过社交媒体上传相关的文本、图像和视频。这些数据通常带有客观的信息，并且能够迅速传播开来，并用于间接信息的推演识别，以实现通过火源、烟的迹象，推测事故地点、原因和损害程度等。因此，充分利用社交媒体上的多模态数据，成为航空安全信息管理的重要补充措施。这些信息的收集和管理，可以为航空安全事件的后续分析提供重要依据。
2、然而，实际中的多模态数据发生模态缺失的现象较为普遍，即在某些情况下，文本、图像或视频中的某一模态可能缺失或不完整。这种模态缺失会对后续的数据处理和分析任务造成干扰，降低分析的准确性和可靠性。现有的技术方法通常依赖于所有模态的完整性，缺乏有效的方法来应对模态缺失的情况，导致在处理和分析多模态数据时，信息的利用效率不高，无法充分发挥多模态数据在航空安全事件分析中的潜力。
技术实现思路
1、鉴于上述问题，本专利技术提供了一种跨模态交互补全的航空安全事件识别方法，解决了现有技术中航空安全事件判断时模态不完整导致降低分析的准确性和可靠性的技术问题。
2、本专利技术提供了一种跨模态交互补全的航空安全事件识别方法，包括以下步骤：
3、步骤s1、将描述航空安全事件的文本、图像和标签信息构成的事件样本的集合作为所述多模态航空安全事
4、步骤s2、确定变分自动编码器，所述变分自动编码器对所述事件样本的特征进行编码，获取事件样本的潜在表示；
5、步骤s3、确定多源特征分类模型，所述多源特征分类模型对所述事件样本的特征和潜在表示进行特征融合和分类；
6、步骤s4、基于所述存在模态缺失的多模态航空安全事件数据集，通过优化所述变分自动编码器的损失、所述多源特征分类模型的交叉熵损失、困难负采样对比学习损失和缺失交互重构损失，对所述变分自动编码器和多源特征分类模型进行训练；
7、步骤s5、将航空安全事件数据输入训练好的变分自动编码器和多源特征分类模型，得到事件类型识别结果。
8、优选地，步骤s1具体包括：
9、特征提取的表达式为：
10、ft＝bert(pt)，fv＝σ(resnet(fv)·wv)，fy＝bert(py)
11、其中，pt表示数据集中事件样本的文本，bert(·)表示用bert模型进行特征提取，ft表示bert模型提取的文本特征向量，pv表示数据集中事件样本的图像，wv表示维度变换矩阵，resnet(·)表示用resnet模型提取特征，σ(·)表示激活函数，fv表示resnet模型提取的图像特征向量，py表示数据集中的多模态数据对应的标签信息，fy表示标签信息的特征向量；
12、将标签信息的特征向量分别与图像和文本的特征向量拼接，表达式如下：
13、fty＝ft：fy
14、fvy＝fv：fy
15、其中，ft|y为含有标签信息的文本特征，fv|y为含有标签信息的图像特征，：表示拼接操作，将文本特征ft|y和图像特征fv|y作为数据集中事件样本的特征。
16、优选地，步骤s2具体包括：
17、步骤s2-1、基于变分自动编码器构建文本编码器和文本解码器，获取文本编码器的损失函数；
18、步骤s2-2、基于变分自动编码器构建图像编码器和图像解码器，获取图像编码器的损失函数；
19、步骤s2-3、结合文本编码器和图像编码器的损失函数，得到变分自动编码器的总损失函数。
20、优选地，步骤s2-1具体包括：建立文本编码器和文本解码器，所述文本编码器将事件样本的文本特征编码为潜在表示，所述文本解码器将所述潜在表示解码为重建文本特征；文本编码器的损失函数为：
21、
22、其中，表示文本解码器的重建损失，dkl(q(zt|ft|y)||p(zt))表示测量kl散度得到的文本的先验正则化项，zt为文本潜在表示，q(zt|ft|y)为文本编码器给定输入ft|y时生成文本潜在表示zt的条件概率，p(ft|y|zt)为文本解码器给定潜在表示zt时生成ft|y的条件概率；p(zt)是文本潜在表示zt的先验分布；
23、步骤s2-2具体包括：建立图像编码器和图像解码器，所述图像编码器将事件样本的图像特征编码为潜在表示，所述图像解码器将所述潜在表示解码为重建文本特征；图像编码器的损失函数为：
24、
25、其中，表示图像解码器的重建损失，dkl(q(zv|fv|y)||p(zv))表示测量kl散度得到的图像的先验正则化项，zv为图像潜在表示，q(zv|fv|y)为图像编码器给定输入fv|y时生成文本潜在表示zv的条件概率，p(fv|y|zv)为图像解码器给定潜在表示zv时生成数据fv|y的条件概率；p(zv)是图像潜在表示zv的先验分布；
26、步骤s2-3具体包括：结合文本编码器和图像编码器的损失函数，得到变分自动编码器的总损失函数表达式为：
27、
28、优选地，步骤s3具体包括：
29、步骤s3-1、基于transformer建立多源特征分类模型，多源特征分类模型对图像特征和图像潜在表示进行深度融合得到图像的融合特征，对文本特征和文本潜在表示进行深度融合得到文本的融合特征，对图像的融合特征和文本的融合特征进行深度融合得到多模态融合特征；
30、步骤s3-2、将所述多模态融合特征投射到分类的目标空间中得到预测类别，获取交叉熵损失。
31、优选地，步骤s3-1具体包括，通过以下表达式获取多模态融合特征f：
32、fv＝attention(fv|y，zv，zv)
33、ft＝attention(ft|y，zt，zt)
34、f＝attention(ft，fv，fv)
35、其中，fv表示图像的融合特征，ft表示文本的融合特征，f表示多模态融合特征，attention(·，·，·)为注意力计算；
36、步骤s3-2具体包括，通过以下表达式获取预测类别和交叉熵损失：
37、
38、其中，w为权重，b为偏置，relu(·)为激活函数，为预测的类别标签，为预测标签值和真实标签值的交叉熵损失，y是真实的类别标签；n为样本总数，k为类别数，i为事件样本索引，k为类别索引，yi，k为本文档来自技高网...
【技术保护点】
1.一种跨模态交互补全的航空安全事件识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤S1具体包括：
3.根据权利要求2所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤S2具体包括：
4.根据权利要求3所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤S2-1具体包括：
5.根据权利要求4所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤S3具体包括：
6.根据权利要求5所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤S3-1具体包括，通过以下表达式获取多模态融合特征F：
7.根据权利要求6所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤S4具体包括：
8.根据权利要求7所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤S4-1具体包括：
9.根据权利要求8所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤S4-3具体包括：
【技术特征摘要】
1.一种跨模态交互补全的航空安全事件识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤s1具体包括：
3.根据权利要求2所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤s2具体包括：
4.根据权利要求3所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤s2-1具体包括：
5.根据权利要求4所述的跨模态交互补全的航空安全事件识别方法，其特征在于，步骤...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。