【技术实现步骤摘要】
本专利技术涉及遥感图像识别和目标检测,具体涉及一种基于多尺度特征协同与语义互补的遥感图像目标检测方法。
技术介绍
1、随着遥感观测技术的快速发展，世界各地的许多高分辨率遥感卫星获取了大量多地貌、多维度、高分辨率的遥感图像。高分辨率遥感图像中包含了丰富的地物细节特征，具有更加丰富的空间结构和拓扑关系。如今遥感图像已经被广泛应用于气象、农业、环境和灾害监测等领域，具有广泛的实用价值。近年来，深度学习的快速发展，为遥感图像智能信息提取提供有利的技术支撑。为了有效促进基于深度学习的遥感图像目标检测方法，许多机构和研究人员也公开发布了多种大规模遥感图像识别相关的数据集。
2、与常见的自然场景相比，遥感和航空图像通常是从俯视角度捕获任意水平或方向的物体，再加上不同的拍摄角度和成像条件，这使得针对多场景遥感图像目标的检测仍具有挑战性。具体来说，存在以下两个主要挑战需要解决。
3、复杂的背景干扰问题：遥感图像中前景目标通常所占比例较小，容易受到周围复杂背景如建筑群、植被的干扰，使得目标物体的特征模糊，不利于算法识别。
4、目标的大尺度变化问题：遥感图像通常是从具有宽视野的卫星或无人机上捕获的，因此目标尺度跟随图像分辨率而变化，巨大的尺度变化往往阻碍了精确的目标检测。
5、针对复杂背景对于前景目标的干扰问题，当前很多工作聚焦于探索不同的方法利用语义信息提高检测的性能。语义信息有助于建模遥感图像中的物体和背景之间的关系，减轻复杂背景对于精确目标特征的影响。目前许多方法通过特征融合、语义编码或者注意力机
6、针对目标的大尺度变化问题，目前大多数研究主要围绕特征金字塔及其变体结构，空间和通道注意力和跨尺度特征融合等方面来获取多尺度信息。但是采用特征金字塔结构的网络中路径数量过多，非相邻层之间只能间接交互，导致跨层信息交互时出现信息丢失，阻碍网络更好地进行信息融合。
技术实现思路
1、本专利技术的目的是为了解决现有的遥感图像目标检测方法存在由于复杂背景对于前景目标的干扰以及目标尺度通常会跟随图像分辨率而变化，从而导致遥感图像目标检测的检测精度容易受到影响的技术问题，而提出的基于多尺度特征协同与语义互补的遥感目标检测方法。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种基于多尺度特征协同与语义互补的遥感目标检测方法，包括以下步骤：
4、步骤s1：采用主干网络提取给定输入遥感图像的特征，生成下采样后的多层级特征图其中i∈{1，2，3，4，5}，h和w表示输入图像的高度和宽度，hi×wi表示特征图si的尺寸(h/2∧i×w/2∧i)；
5、步骤s2：通过gmi收集并挖掘所述多层级特征图后四个阶段{s2,s3,s4,s5}中的全局语义信息，从而获得包含全局信息的多尺度特征ffuse；
6、步骤s3：利用sam协同全局多尺度特征ffuse和局部层级特征si，交换融合信息后生成{p2,p3,p4,p5}；
7、步骤s4：通过scm融合特征图{p2,p3,p4,p5}中相邻层的显著信息增强输出特征图的语义表示，得到输出特征图{o3,o4,o5}；
8、步骤s5：由分类和定位解耦的检测头从增强后的特征图中分别预测目标的类别和检测框；
9、步骤s6：采用交叉熵损失作为分类损失进行目标分类，选择distribute focalloss和complete iou loss作为回归损失用于目标的边界框回归。
10、在步骤s2中，包括以下步骤：
11、步骤s21：将主干网络的三层特征图{s2,s3,s4}通过下采样到与s5相同的统一尺寸后在通道维度拼接和r倍缩放后得到全局特征f；该过程采用以下公式：
12、s'i＝downsample(si),i∈{2,3,4}
13、f＝conv1×1([s'2,s'3,s'4,s5])
14、其中downsample(·)表示下采样操作，通过平均池化实现，[·,·]表示沿通道维度的级联操作；
15、步骤s22：在全局特征f上利用并行的，膨胀率分别为r＝{1,2,2,3}的两个3×3卷积和两个5×5卷积分别获取不同感受野大小的特征图；将不同感受野的特征图进行融合，进而获得更加丰富的多尺度特征fms；该过程采用以下公式：
16、fms＝conv1×1([f,f'1,f'2,f'3,f'4])；
17、步骤s23：引入transformer层来对多尺度特征fms的长距离全局依赖进行建模，进一步提取和融合特征信息；首先通过1×1卷积层替换线性层对fms执行投影操作得到查询q、键k和值v；该过程采用以下公式：
18、q、k、v＝flatten(fms)；
19、步骤s24：然后对q、k、v执行transformer层中的多头自注意力操作和残差连接得到fattn，多头自注意力操作可以对特征进行加权提高模型的表示能力；该过程采用以下公式：
20、fattn＝residual(attn(q,k,v))；
21、步骤s25：最后在fattn进行前馈网络和残差连接运算，加强网络的非线性提取能力，同时将特征的维度调整回去，获得全局多尺度特征ffuse；该过程采用以下公式：
22、ffuse＝reshape(residual(mlp(fattn)))
23、其中mlp(·)表示多头自注意力，residual(·)表示残差连接。
24、在步骤s3中，包括以下步骤：
25、步骤s31：首先使用conv1×1将步骤s2得到的ffuse的通道按步骤s21中给出的缩放因子r进行放大，之后按照局部特征{s2,s3,s4,s5}的通道维度进行划分得到gi＝{g2,g3,g4,g5}；该过程采用以下公式：
26、[g2,g3,g4,g5]＝split(conv1×1(ffuse))；
27、步骤s32：然后将gi上采样至步骤s1中si的尺寸得到g′i，令g′i和该过程采用以下公式：
28、g′i＝bilinear(gi)
29、其中bilinear(·)表示基于双线性插值的上采样操作；
30、步骤s33：最后，利用g′i作为衡量跨尺度交互的权重，该权重视为主干网络特征si的辅助残差，运算得到pi：
31、
32、其中和分别表示元素乘法和元素加法，作为语义对齐模块的输出参与后续运算。
33、在步骤s3中，包括以下步骤：
34、步骤s41：语义互补模块接收s33步骤的输出特征图pi＝{p2,p3,p4,p5}作为输入；
35、步骤s42：首先融合最高层的特征图p4和特征图p5得到特征本文档来自技高网...
【技术保护点】
1.一种基于多尺度特征协同与语义互补的遥感目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤S2中，包括以下步骤：
3.根据权利要求2所述的方法，其特征在于，在步骤S3中，包括以下步骤：
4.根据权利要求3所述的方法，其特征在于，在步骤S3中，包括以下步骤：
5.根据权利要求1所述的方法，其特征在于，所述步骤S6中选择Distribute FocalLoss和Complete IoU Loss作为回归损失用于目标的边界框回归，采用的损失函数为：
【技术特征摘要】
1.一种基于多尺度特征协同与语义互补的遥感目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤s2中，包括以下步骤：
3.根据权利要求2所述的方法，其特征在于，在步骤s3中，包括以下步骤：
4....
【专利技术属性】
技术研发人员：万书振，徐才明，朱焱华，饶哲，李铭松，程泽敏，刘传炜，汤周平，王涵烯，代波，
申请(专利权)人：三峡大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。