【技术实现步骤摘要】
本专利技术涉及图像识别，尤其涉及一种基于异构数据共享语义的舰船目标细粒度识别方法、装置和电子设备。
技术介绍
1、舰船目标的高精度检测和细粒度识别对于实时掌握态势变化有着至关重要的作用，但海上舰船检测识别往往具有场景复杂、信息丢失以及细粒度类别难分辨等特殊属性。
2、现有技术大部分都是基于单模态信息进行目标的发现和分类，这种处理方式并不鲁棒，容易丢失目标信号，且单一模态信息只能描述舰船的单一角度信息，难以精准获得细粒度分类结果。
3、因此，亟需可以充分利用多模态异构数据生成鲁棒可靠的空天目标细粒度分类解决方案。
技术实现思路
1、（一）要解决的技术问题
2、针对现有的技术问题，本专利技术提供一种基于异构数据共享语义的舰船目标细粒度识别方法、装置和电子设备，用于至少部分解决以上技术问题。
3、（二）技术方案
4、本专利技术提供一种基于异构数据共享语义的舰船目标细粒度识别方法，包括：获取舰船目标的多模态数据，多模态数据包括光学数据、sar数据和雷达辐射数据中的至少两种。采用预先训练的分类模型对多模态数据进行处理，以对舰船目标进行识别。其中，分类模型采用模态缺省重建的方式训练得到，分类模型分别对各模态数据进行特征提取，并对提取到的特征进行融合，以及分类模型包括多级分类器。
5、可选地，分类模型包括多个数据处理支路，采用预先训练的分类模型对多模态数据进行处理，以对舰船目标进行识别包括：采用至少一个第一数据支路对光学数据
6、可选地，光学数据包括可见光数据、高光谱数据和多光谱数据，采用至少一个第一数据支路对光学数据进行特征提取，得到表观特征包括：采用可见光数据处理模型对可见光数据进行特征提取，得到可见光表观特征。采用高光谱数据处理模型对高光谱数据进行特征提取，得到高光谱表观特征。以及采用多光谱数据处理模型对多光谱数据进行特征提取，得到多光谱表观特征。
7、可选地，采用预先训练的分类模型对多模态数据进行处理，以对舰船目标进行识别包括：对多模态数据的特征图进行网格化处理，得到多个特征网格。在多模态数据具有缺失的情况下，采用占位令牌对多个特征网格内的缺失数据进行填充，同一模态特征的至少部分特征网格内的占位令牌的初始值不相同。对填充缺失值后的多模态数据特征进行融合，得到统一特征表示。以及采用多级分类器对统一特征表示进行分类，以对舰船目标进行识别。
8、可选地，分类模型还包括模态对齐融合注意力模块，模态对齐融合注意力模块包括自注意层、交叉注意力层和多层感知层，对填充缺失值后的多模态数据特征进行融合，得到统一特征表示包括：采用自注意层对同一模态特征的不同网格令牌进行特征融合。采用交叉注意力层对不同模态特征进行两两交互融合。以及采用多层感知层对所有模态特征进行再学习，得到统一特征表示。
9、可选地，多级分类器包括通用分类器和专家分类器，采用多级分类器对统一特征表示进行分类，以对舰船目标进行识别包括：采用通用分类器对统一特征表示进行一级分类，得到一级标签。采用专家分类器对一级标签和统一特征表示进行自注意力学习，得到二级类别特征。以及根据二级类别特征对舰船目标进行识别。
10、可选地，在采用预先训练的分类模型对多模态数据进行处理之前，方法还包括：对多模态数据进行预处理，预处理包括格式转换、数据归一化、影像栅格化与投影、数据清理与去噪。
11、可选地，分类模型的训练包括：获取训练样本。按预设概率对训练样本中的多模态数据进行丢弃，且至少保留两个模态数据。采用占位令牌对丢弃的数据进行填充，得到输入数据。对输入数据进行特征提取并融合，得到统一特征表示。采用缺省模态重建模块对统一特征表示进行反演，得到缺失特征表示。将缺失特征表示与被丢弃数据的特征表示进行对比，并最小化l1损失，得到初始分类模型。以及去掉初始分类模型中的缺省模态重建模块，并测试得到分类模型。
12、本专利技术另一方面提供一种基于异构数据共享语义的舰船目标细粒度识别装置，包括：获取模块，用于获取舰船目标的多模态数据，多模态数据包括光学数据、sar数据和雷达辐射数据中的至少两种。处理模块，用于采用预先训练的分类模型对多模态数据进行处理，以对舰船目标进行识别。其中，分类模型采用模态缺省重建的方式训练得到，分类模型分别对各模态数据进行特征提取，并对提取到的特征进行融合，以及分类模型包括多级分类器。
13、本专利技术的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例的方法。
14、（三）有益效果
15、与现有技术相比，本专利技术提供的基于异构数据共享语义的舰船目标细粒度识别方法、装置和电子设备，至少具有以下有益效果：
16、（1）本专利技术的的基于异构数据共享语义的舰船目标细粒度识别方法，通过采用模态缺省重建的方式训练得到分类模型，并结合舰船目标的光学数据、sar数据和雷达辐射数据等多模态数据，即便其中的某一模态数据存在缺失，也可以识别得到舰船目标，提高了识别舰船目标的准确性。
17、（2）本专利技术的的基于异构数据共享语义的舰船目标细粒度识别方法，采用两阶段级联细粒度分类器，由粗到细的分类模式保证了高精度的分类结果。
18、（3）本专利技术的的基于异构数据共享语义的舰船目标细粒度识别方法，在训练分类模型时，对多模态数据进行随机缺省，结合融合重建方式强迫分类模型学习鲁棒的多模态特征，融合互补多模态信息，提高了模型处理缺失数据的鲁棒性。
本文档来自技高网...【技术保护点】
1.一种基于异构数据共享语义的舰船目标细粒度识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述分类模型包括多个数据处理支路，所述采用预先训练的分类模型对所述多模态数据进行处理，以对所述舰船目标进行识别包括：
3.根据权利要求2所述的方法，其特征在于，所述光学数据包括可见光数据、高光谱数据和多光谱数据，所述采用至少一个第一数据支路对所述光学数据进行特征提取，得到表观特征包括：
4.根据权利要求1所述的方法，其特征在于，所述采用预先训练的分类模型对所述多模态数据进行处理，以对所述舰船目标进行识别包括：
5.根据权利要求4所述的方法，其特征在于，所述分类模型还包括模态对齐融合注意力模块，所述模态对齐融合注意力模块包括自注意层、交叉注意力层和多层感知层，所述对填充缺失值后的多模态数据特征进行融合，得到统一特征表示包括：
6.根据权利要求2或4所述的方法，其特征在于，所述多级分类器包括通用分类器和专家分类器，所述采用所述多级分类器对所述统一特征表示进行分类，以对所述舰船目标进行识别包括：
7.
8.根据权利要求1所述的方法，其特征在于，所述分类模型的训练包括：
9.一种基于异构数据共享语义的舰船目标细粒度识别装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种基于异构数据共享语义的舰船目标细粒度识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述分类模型包括多个数据处理支路，所述采用预先训练的分类模型对所述多模态数据进行处理，以对所述舰船目标进行识别包括：
3.根据权利要求2所述的方法，其特征在于，所述光学数据包括可见光数据、高光谱数据和多光谱数据，所述采用至少一个第一数据支路对所述光学数据进行特征提取，得到表观特征包括：
4.根据权利要求1所述的方法，其特征在于，所述采用预先训练的分类模型对所述多模态数据进行处理，以对所述舰船目标进行识别包括：
5.根据权利要求4所述的方法，其特征在于，所述分类模型还包括模态对齐融合注意力模块...
【专利技术属性】
技术研发人员：于泓峰，胡玉新，孙显，卢宛萱，胡雷毅，邓楚博，郝凌翔，张莹莹，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。