【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于双分支自动编码器的零样本sar图像识别方法。
技术介绍
1、合成孔径雷达（sar）是一种主动传感器技术，用于获取地球表面的雷达图像。sar图像是通过在雷达平台上安装雷达天线，发射微波信号并接收反射回来的信号来获取的。与光学传感器不同，sar不受日光照明、云层和大气条件的限制，可以在任何天气条件下进行观测。sar图像具有以下特点：1）高分辨率：sar可以实现高空间分辨率的图像获取，典型的分辨率可以达到几米甚至亚米级别。2）全天候能力：sar不受光照条件的限制，可以在白天、夜晚以及云层遮挡的情况下获取图像。3）独立性：sar可以独立于地表特征的光学反射率，因此适用于不同地表类型的监测，如陆地、海洋、冰雪覆盖区等。4）信息丰富：sar图像可以提供地表的物理和几何信息，包括地表形态、纹理、移动目标等。由于sar图像的上述特点，它在地球观测、环境监测、军事侦察、灾害监测等领域有广泛的应用。
2、自动目标识别是合成孔径雷达(sar)应用中最具挑战性的任务之一，尽管现有的深度学习方法在sar的自动目标识别任务中取得了相当大的成功，但现有方法无法识别训练集中不存在的对象。
技术实现思路
1、针对现有技术的上述不足，本专利技术提出了一种新的基于双分支自动编码器的零样本sar图像识别方法，旨在扩展现有方法对于sar图像的识别能力，减少数据采集和标注成本，实现对未知目标的快速适应，帮助应对突发事件和新威胁，提高安全监测和防护的能力。
2、本
3、获取已知sar图像的目标分类语义信息，作为训练集；
4、构建双分支生成网络g-net，提取训练集中图像的语义特征和视觉特征；
5、将语义特征和视觉特征进行融合的到融合特征；
6、将融合特征输入分类网络c-net和转换网络t-net，分类网络c-net输出sar图像的目标分类，转换网络t-net输出对sar图像的重构图像，获取所有已知目标在特征空间的位置；并通过计算已知目标分类和图像重构损失对网络进行反向传播梯度优化，预测未知目标在特征空间中的位置；
7、将已知目标的分类损失作为目标对分类网络c-net和转换网络t-net进行再训练；其中，转换网络t-net通过将目标图像映射到特征空间，并输入到分类网络c-net，得到重构图像分类结果；通过对已知目标分类损失进行反向传播优化网络，增强转换网络t-net预测图像在特征空间定位的精度；
8、零样本目标识别的过程如下：通过将sar图像反向输入转换网络t-net，得到输入图像在特征空间的位置，对于已知目标可输入分类网络c-net网络预测类别，对于未知目标则根据其在特征空间的位置与已知类别加以区分。
9、进一步的，所述双分支生成网络g-net的语义特征提取分支，使用多层感知机网络对输入目标的语义信息进行特征提取；双分支生成网络g-net的视觉特征提取分支，使用多层卷积神经网络对输入的sar图像进行特征提取；
10、所述语义特征提取分支包括三层的全连接神经网络fcn，输出语义特征；
11、所述视觉特征提取分支包括5个卷积神经网络残差模块；每个残差模块包括串联而成的卷积模块、maxpooling层和leakyrelu激活函数层，每个残差模块输出一个特征图并作为下一个残差模块的输入，最终输出视觉特征。
12、进一步的，所述将语义特征和视觉特征进行融合的到融合特征，包括：
13、将视觉特征展开后与语义特征进行连接得到连接特征；
14、将连接特征输入特征融合网络得到融合特征，所述特征融合网络是由三个全连接层构成的全连接网络。
15、进一步的，所述分类网络c-net包括三层的全连接层，并经过relu激活函数层和softmax层得到对每个类别的预测概率；转换网络t-net包括与视觉特征提取分支相对应的反卷积模块，用于根据输入的融合特征，得到输入图像的重构图像；
16、进一步的，所述计算已知目标分类和图像重构损失，包括：
17、根据下列计算已知目标分类损失lcl，并通过最小化lcl适应可训练参数：
18、
19、其中，为输入的训练集第i个sar图像，为图像对应的类别标签，as为图像的语义特征，ns为训练样本数量，s为图像的可见类别数量，p()为概率分布函数；
20、根据下列公式计算重构和分类的混合损失lhy；
21、
22、其中，为重构图像，为类别在特征空间的中心位置，表示自定义的损失权重，其中为sar图像的重构和分类误差项，用于扩大特征空间的类间聚类方差，为中心误差项，用于缩小类内的聚类方差。
23、进一步的，所述将已知目标的分类损失作为目标对分类网络c-net和转换网络t-net进行再训练，包括：
24、第一训练阶段：最小化进行模型训练，，、为自定义损失权重，训练开始时停用中心误差项，仅应用重构和分类误差项；在特征空间分布达到相当稳定的状态之后，启用中心误差项；
25、第二训练阶段：通过最小化已知目标分类损失训练转换网络t-net，用于定位未知目标；转换网络t-net以sar图像为输入，输出目标在特征空间中的位置，c-net接受转换网络t-net的输出作为输入，输出输入sar图像对应的类标签。
26、本专利技术的有益效果在于：本专利技术提出了一种新的基于双分支自动编码网络的零样本sar图像识别的方法，实现对已知目标进行精准识别，也可对未知目标进行有效区分，解决了零样本sar图像识别任务中分布集中的问题；通过视觉和语义信息构建一个稳定的特征空间，并通过对分类网络的微调，进一步增加特征空间的类间方差；可实现对未知目标的快速适应，并进行识别和分类，帮助应对突发事件和新威胁，提高安全监测和防护的能力。
本文档来自技高网...【技术保护点】
1.一种基于双分支自动编码器的零样本SAR图像识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述双分支生成网络G-Net的语义特征提取分支，使用多层感知机网络对输入目标的语义信息进行特征提取；双分支生成网络G-Net的视觉特征提取分支，使用多层卷积神经网络对输入的SAR图像进行特征提取；
3.根据权利要求1所述的方法，其特征在于，所述将语义特征和视觉特征进行融合的到融合特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述分类网络C-Net包括三层的全连接层，并经过ReLU激活函数层和SoftMax层得到对每个类别的预测概率；转换网络T-Net包括与视觉特征提取分支相对应的反卷积模块，用于根据输入的融合特征，得到输入图像的重构图像。
5.根据权利要求1所述的方法，其特征在于，所述计算已知目标分类和图像重构损失，包括：
6.根据权利要求5所述的方法，其特征在于，所述将已知目标的分类损失作为目标对分类网络C-Net和转换网络T-Net进行再训练，包括：
【技术特征摘要】
1.一种基于双分支自动编码器的零样本sar图像识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述双分支生成网络g-net的语义特征提取分支，使用多层感知机网络对输入目标的语义信息进行特征提取；双分支生成网络g-net的视觉特征提取分支，使用多层卷积神经网络对输入的sar图像进行特征提取；
3.根据权利要求1所述的方法，其特征在于，所述将语义特征和视觉特征进行融合的到融合特征，包括：
4.根据权利要求1所述的方法...
【专利技术属性】
技术研发人员：李俊杰，李若仪，孔德宇，李杨，付彩玲，
申请(专利权)人：山东军地信息技术集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。