基于双三元组伪孪生架构的遥感飞机目标分类方法和装置制造方法及图纸

本申请涉及一种基于双三元组伪孪生架构的遥感飞机目标分类方法和装置。所述方法包括：获取遥感飞机目标的样本集，样本集包括：锚样本、正样本和负样本，构建基于双三元组伪孪生架构的遥感飞机目标分类网络，该网络包括：三个基于伪孪生架构的分类子网；分类子网包括两个由特征提取网络、全连接层以及分类层构成的分类支路；构建损失函数；根据锚样本，正样本、负样本以及损失函数，对网络进行训练得到遥感飞机目标分类模型，将待测样本输入到该模型中得到遥感飞机目标分类结果。本方法采用对比损失提升模型区别非同源特征的能力；采用三元组损失缩短同类目标在特征空间的距离，同时加大非同类目标在特征空间的距离，提升分类精度。度。度。

【技术实现步骤摘要】
基于双三元组伪孪生架构的遥感飞机目标分类方法和装置


[0001]本申请涉及图像处理
，特别是涉及一种基于双三元组伪孪生架构的遥感飞机目标分类方法和装置。

技术介绍

[0002]随着遥感技术快速发展，遥感图像分辨率逐步提高，同时图像的空间和纹理信息也越来越丰富。遥感飞机目标精细识别是遥感领域近年来的热门研究课题。其主要过程是根据网络提取的目标特征进行分类。如何有效提取目标特征信息并且能够区分差异较小的不同类别的目标，是遥感飞机目标识别的关键。由于不同型号飞机目标之间尺寸相近、形状相似，类间特征差异较小；而同型号飞机之间受可变掠翼张角不同、阴影等影响，类内特征差异较大，所以难以区分。
[0003]Yann等人提出了孪生架构，孪生架构中两个子网络的结构相同，并且参数共享，该架构使用两个图像作为输入，并通过逐像素相似性(例如，欧几里得距离)来测量对比度损失。孪生架构可以提取两个输入图像之间的差异，并判断它们是否属于同一类。如果两个图像属于同一类别，则架构学习到的距离应该很小，反之亦然。
[0004]现有基于孪生架构的分类模型已经实现了较先进的表现，但是，对于细粒度的识别精度不高。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种基于双三元组伪孪生架构的遥感飞机目标分类方法和装置。
[0006]一种基于双三元组伪孪生架构的遥感飞机目标分类方法，所述方法包括：
[0007]获取遥感飞机目标的样本集，所述样本集包括：锚样本、正样本和负样本；所述锚样本和所述正样本属同一类别，所述锚样本和所述负样本属不同类别。
[0008]构建基于双三元组伪孪生架构的遥感飞机目标分类网络；所述遥感飞机目标分类网络包括三个基于伪孪生架构的分类子网；所述基于伪孪生架构的分类子网包括两个由特征提取网络、全连接层以及分类层构成的分类支路；两条分类支路中的所述特征提取网络为两个权值不共享的卷积神经网络，所述特征提取网络用于提取输入样本的特征。
[0009]构建损失函数；所述损失函数包括分类损失、对比损失以及三元组损失；所述三元组损失是根据锚样本的特征和正样本的特征的距离、加锚样本的特征和负样本的特征的距离以及预设距离阈值确定的。
[0010]将所述锚样本，所述正样本和所述负样本分别输入到所述遥感飞机目标分类网络中，并根据所述损失函数，对所述遥感飞机目标分类网络进行训练，得到训练好的遥感飞机目标分类模型。
[0011]获取待测遥感飞机目标的待测锚样本，待测正样本和待测负样本，并输入到所述遥感飞机目标分类模型中，得到遥感飞机目标分类结果。
[0012]上述基于双三元组伪孪生架构的遥感飞机目标分类方法和装置，通过获取遥感飞机目标的样本集，样本集包括：锚样本、正样本和负样本，构建基于双三元组伪孪生架构的遥感飞机目标分类网络，该网络包括：三个基于伪孪生架构的分类子网；分类子网包括两个由特征提取网络、全连接层以及分类层构成的分类支路，两条分类支路中的所述特征提取网络为两个权值不共享的卷积神经网络；构建损失函数，根据锚样本，正样本、负样本以及损失函数，对遥感飞机目标分类网络进行训练得到遥感飞机目标分类模型，将待测样本输入到遥感飞机目标分类模型中得到遥感飞机目标分类结果。本方法采用对比损失提升模型区别非同源特征的能力；采用三元组损失缩短同类目标在特征空间的距离，同时加大非同类目标在特征空间的距离，提升分类精度。
附图说明
[0013]图1为一个实施例中基于双三元组伪孪生架构的遥感飞机目标分类方法的流程示意图；
[0014]图2为另一个实施例中基于双三元组伪孪生架构的遥感飞机目标分类网络训练过程示意图；
[0015]图3为另一个实施例中基于双三元组伪孪生架构的遥感飞机目标分类网络测试过程示意图；
[0016]图4为一个实施例中基于双三元组伪孪生架构的遥感飞机目标分类装置的结构框图。
具体实施方式
[0017]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0018]在一个实施例中，如图1所示，提供了一种基于双三元组伪孪生架构的遥感飞机目标分类方法，该方法应包括以下步骤：
[0019]步骤100：获取遥感飞机目标的样本集。
[0020]样本集包括：锚样本、正样本和负样本；锚样本和正样本属同一类别，锚样本和负样本属不同类别。
[0021]遥感飞机目标的样本集是通过对遥感飞机目标的图像，并进行处理得到的。
[0022]将锚样本、正样本和负样本作为一个三元组输入。锚样本、正样本和负样本均包括图样和掩模，因此三组元输入包括：图像三组元和掩模三组元。
[0023]步骤102：构建基于双三元组伪孪生架构的遥感飞机目标分类网络。
[0024]遥感飞机目标分类网络包括三个基于伪孪生架构的分类子网。
[0025]基于伪孪生架构的分类子网包括两个由特征提取网络、全连接层以及分类层构成的分类支路。
[0026]两条分类支路中的所述特征提取网络为两个权值不共享的卷积神经网络，所述特征提取网络用于提取输入样本的图像特征和掩模特征。
[0027]步骤104：构建损失函数。
[0028]所述损失函数包括分类损失、对比损失以及三元组损失。
[0029]所述三元组损失是根据锚样本的特征和正样本的特征的距离、加锚样本的特征和负样本的特征的距离以及预设距离阈值确定的。
[0030]所述分类损失函数采用交叉熵损失的方式对所述遥感飞机分类网络进行训练。
[0031]所述对比损失是所述分类子网中的两个特征提取网络提取的输入样本的图像特征和掩模特征之间的欧氏距离。
[0032]步骤106：将锚样本、正样本和负样本分别输入到遥感飞机目标分类网络中，并根据损失函数，对遥感飞机目标分类网络进行训练，得到训练好的遥感飞机目标分类模型。
[0033]使用三元组损失函数来监督三元组网络训练，以减少相同类别的特征距离并增加不同类别的特征距离。
[0034]将锚样本、正样本和负样本作为一个三组元输入，将其输入到遥感飞机目标分类网络中，并根据损失函数，对遥感飞机目标分类网络进行训练，得到训练好的遥感飞机目标分类模型。
[0035]步骤108：获取待测遥感飞机目标的待测锚样本，待测正样本和待测负样本，并输入到遥感飞机目标分类模型中，得到遥感飞机目标分类结果。
[0036]上述基于双三元组伪孪生架构的遥感飞机目标分类方法中，通过获取遥感飞机目标的样本集，样本集包括：锚样本、正样本和负样本，构建基于双三元组伪孪生架构的遥感飞机目标分类网络，该网络包括：三个基于伪孪生架构的分类子网；分类子网包括两个由特征提取网络、全连接层以及分类层构成的分类支路。两条分类支路中的所述特征提取网络为两个权值不共享的卷积神经网络；构建损失函数，根据锚样本，正样本、负本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双三元组伪孪生架构的遥感飞机目标分类方法，其特征在于，所述方法包括：获取遥感飞机目标的样本集，所述样本集包括：锚样本、正样本和负样本；所述锚样本和所述正样本属同一类别，所述锚样本和所述负样本属不同类别；构建基于双三元组伪孪生架构的遥感飞机目标分类网络；所述遥感飞机目标分类网络包括三个基于伪孪生架构的分类子网；所述基于伪孪生架构的分类子网包括两个由特征提取网络、全连接层以及分类层构成的分类支路；两条分类支路中的所述特征提取网络为两个权值不共享的卷积神经网络，所述特征提取网络用于提取输入样本的特征；构建损失函数；所述损失函数包括分类损失、对比损失以及三元组损失；所述三元组损失是根据锚样本的特征和正样本的特征的距离、加锚样本的特征和负样本的特征的距离以及预设距离阈值确定的；将所述锚样本，所述正样本和所述负样本分别输入到所述遥感飞机目标分类网络中，并根据所述损失函数，对所述遥感飞机目标分类网络进行训练，得到训练好的遥感飞机目标分类模型；获取待测遥感飞机目标的待测锚样本，待测正样本和待测负样本，并输入到所述遥感飞机目标分类模型中，得到遥感飞机目标分类结果。2.根据权利要求1所述的方法，其特征在于，构建损失函数，包括：将所述分类损失、所述对比损失以及三元组损失进行加权求和，得到总损失；所述总损失的损失函数的表达式为：Loss＝w1*L
cls
+w2*L
contrastive
+w3*L
triplet
其中：Loss表示损失，L
cls
表示分类损失，L
contrastive
表示对比损失，w1,w2,w3表示损失权重，L
triplet
表示三元组损失，三元组损失的函数表达式为：其中：和分别表示第一组锚样本、正样本和负样本，f(.)表示特征提取网络提取的特征图，α表示距离阈值，N表示锚样本、正样本和负样本的组数。3.根据权利要求2所述的方法，其特征在于，所述锚样本，所述正样本和所述负样本均包括：图像样本和掩模样本；所述分类子网的全连接层包括两个并列的全连接层；所述分类子网的分类层包括两个并列的分类层；将所述锚样本，所述正样本和所述负样本分别输入到三条所述分类子网中，并根据所述损失函数，对所述遥感飞机目标分类网络进行训练，得到训练好的遥感飞机目标分类模型，包括：将所述锚样本的图像样本、所述正样本的图像样本以及所述负样本的图像样本组成图像三元组；将所述锚样本的掩模样本、所述正样本的掩模样本以及所述负样本的掩模样本组成掩模三元组；将所述图像三元组和所述掩模三元组输入到所述遥感飞机目标分类网络的三个分类
子网的特征提取网络中，得到三元组图像特征和三元组掩模特征；所述三元组图像特征包括：锚样本图像特征、正样本图像特征以及负样本图像特征；所述三元组掩模特征包括：锚样本掩模特征、正样本掩模特征以及负样本掩模特征；将所述三元组图像特征和所述三元组掩模特征输入到所述遥感飞机目标分类网络的三个分类子网的全连接层网络中，并将得到的输出输入到所述遥感飞机目标分类网络的三个分类子网的分类层中，得到图像三元组预测分类和掩模三元组预测分类；根据图像三元组预测分类以及对应输入的图像三元组的真实类别，得到图像三元组分类损失，根据掩模三元组预测分类以及对应输入的掩模三元组的真实类别，得到掩模三元组分类损失；根据所述锚样本图像特征和所述锚样本掩模特征得到锚样本对比损失，根据所述正样本图像特征和所述正样本掩模特征得到正样本对比损失，根据所述负样本图像特征和所述负样本掩模特征，得到负样本对比损失；根据所述锚样本图像特征、所述正样本图像特征以及所述负样本图像特征，得到图像三元组损失；根据所述锚样本掩模特征、所述正样本掩模特征以及所述负样本掩模特征，得到掩模三元组损失；将图像三元组的分类损失、掩模三元组的分类损失、所述锚样本对比损失、所述正样本对比损失、所述负样本对比损失、所述图像三元组损失以及所述掩模三元组损失进行加权融合，得到总损失；根据所述总损失对所述遥感飞机目标分类网络进行反向训练，直至所述总误差满足预设条件或训练轮数达到预定值，训练结束，得到训练好的遥感飞机目标分类模型。4.根据权利要求3所述的方法，其特征在于，将所述图像三元组和所述掩模三元组输入到所述遥感飞机目标分类网络的三个分类子网的特征提取网络中，得到三元组图像特征和三元组掩模特征，包括：将所述图像三组元输入到所述遥感飞机目标分类网络的三个分类子网的第一个分类支路的特征提取网络中，得到三元组图像特征，所述三元组图像特征包括锚样本图像特征、正样本图像特征以及负样本图像特征；将所述掩模三组元输入到所述遥感飞机目标分类网络的三个分类子网的第二个分类支路的特征提取网络中，得到三元组掩模特征，所述三元组掩模特征包括锚样本掩模特征、正样本掩模特征以及负样本掩模特征。5.根据权利要求4所述的方法，其特征在于，图像三元组预测分类包括：图像锚样本预测分类、图像正样本预测分类以及图像负样本预测分类；掩模三元组预测分类包括：掩模锚样本预测分类、掩模正样本预测分类以及掩模负样本预测分类；将所述三元组图像特征和所述三元组掩模特征输入到所述遥感飞机目标分类网络的三个分类子网的全连接层网络中，并将得到的输出输入到所述遥感飞机目标分类网络的三个分类子网的分类层中，得到图像三元组预测分类和掩模三元组预测分类，包括：将所述锚样本图像特征输入到第一个分类子网...

【专利技术属性】
技术研发人员：邹焕新，曹旭，李润林，应昕怡，贺诗甜，李美霖，成飞，魏娟，孙丽，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：