基于语义重用上下文特征金字塔的遥感图像特征提取方法技术

本发明专利技术公开了一种基于语义重用上下文特征金字塔的遥感图像特征提取方法，包括构建训练数据集；构建基于语义重用上下文特征金字塔网络；训练该网络得到网络模型；获取待测区域的遥感图像作为待测图像，将其送入网络模型中，生成待测图像对应的特征金字塔。本发明专利技术在现有特征金字塔网络FPN基础上，增设一用于上下文特征增强的CFE模块和三个语义特征重用的SFR模块，CFE模块用于提取具有多个感受野的上下文特征，以更好地检测综合性大目标和易混淆目标，SFR模块通过重用主干的后层特征而不增加参数数量来增强语义特征，以更好地检测小目标。从而提高遥感图像目标检测的性能，尤其针对综合性大目标，易混淆目标和小目标效果更为明显。明显。明显。

【技术实现步骤摘要】
基于语义重用上下文特征金字塔的遥感图像特征提取方法


[0001]本专利技术涉及一种遥感图像目标检测方法，尤其涉及一种基于语义重用上下文特征金字塔的遥感图像特征提取方法。

技术介绍

[0002]随着遥感技术的快速发展，高质量的卫星和航空影像已成为各种应用的主要数据源。遥感图像中的目标检测在土地利用、城市规划、环境监测、军事目标识别和战场环境模拟等诸多领域发挥着重要作用。光学遥感图像包含许多综合大目标，比如水坝、高速公路服务区、高尔夫球场、港口和火车站等，他们在图像中所占比例大，内容复杂，通常包含其他小目标。还有很多易混淆目标，如立交桥和桥梁、篮球场和棒球场等，经常被许多目标检测器混淆。另外，还包含小目标，如车辆、飞机和船舶等，它们在图像中的分辨率较低，其特征信息往往被复杂的背景和其他更易识别的物体所淹没。此外，由于光学遥感图像中的目标具有物体尺度变化大、背景复杂、物体模糊或小、垂直视角等特点，使目标检测不同于自然场景图像。
[0003]目前基于深度学习的检测器大致可以分为两类：两阶段方法和单阶段方法。许多两阶段目标检测方法都是基于R
‑
CNN框架的，例如Fast R
‑
CNN和Faster R
‑
CNN。这些方法具有相同的过程，即首先通过区域建议网络（RPN）生成感兴趣区域（RoI）候选框，然后根据区域特征预测分类和定位。它们可以获得更好的性能但消耗更多的资源和时间，而单阶段方法具有更加简单的网络结构，例如SSD和Yolo，它们可以使用密集采样进行定位和分类，无需区域建议模块。
[0004]尽管上述经典算法在自然场景图像的目标检测任务中表现良好，但它们无法在遥感图像中很好地完成这些任务。为了获得更好的检测性能，一些研究人员改进了目标函数、锚点或NMS，以使现有算法适应遥感图像中的目标检测任务。一些研究人员还为某些特定任务构建了新的目标检测框架。尽管如此，由于几乎所有基于深度学习的检测器都必须提取原始图像的特征图，以进行定位和分类，因此研究人员将更多的精力集中在特征提取的改进上，以解决背景干扰、小目标检测和旋转不变性等问题。
[0005]针对遥感图像中的多尺度目标检测问题，很多工作都利用基于特征金字塔网络FPN的多尺度特征图。自FPN诞生以来，广泛应用于各种目标检测任务中。FPN包含自底向上路径（Bottom
‑
up pathway），自顶向下路径（Top
‑
down pathway）和横向连接（lateral connections）三部分，自底向上路径也称为自底向上模块，是卷积神经网络骨干网，用于对遥感图像进行特征提取，自顶向下路径又称为自顶向下模块，用于输出特征图金字塔。FPN可以通过最近邻插值和横向连接将高级语义信息逐渐传播到底部，使得到的每一层特征图都能包含高级语义信息，但金字塔最高层的语义信息，由于通道减少，这些信息损失严重，所述FPN虽然在遥感图像中实现相对较高的目标检测平均精度，但缺乏丰富上下文信息和语义信息，对于遥感图像中的综合性大目标，易混淆目标和小目标的检测精度并不理想。

技术实现思路

[0006]本专利技术的目的就在于提供一种解决上述问题，能提高遥感图像中综合性大目标、易混淆目标和小目标检测精度的，基于语义重用上下文特征金字塔的遥感图像特征提取方法。
[0007]为了实现上述目的，本专利技术采用的技术方案是这样的：一种基于语义重用上下文特征金字塔的遥感图像特征提取方法，包括以下步骤；（1）构建训练数据集，所述训练数据集包括多张标注过目标位置和类别的遥感图像；（2）构建一基于语义重用上下文特征金字塔网络；（2.1）构建一特征金字塔网络FPN，包括自底向上模块和自顶向下模块，所述自底向上模块用于对遥感图像进行特征提取，并从下到上得到各层的特征图F1‑
F4；所述自顶向下模块用于根据自底向上模块的输出，得到特征图金字塔P1‑
P5；（2.2）在自底向上模块、自顶向下模块间增设一用于上下文特征增强的CFE模块和三个语义特征重用的SFR模块；所述CFE模块包括四个卷积单元、三个拼接单元、一个融合单元，所述四个卷积单元用于卷积操作，并分别得到卷积后的特征图I1‑
I4，所述拼接单元用于拼接操作，并分别得到拼接后的特征图C1‑
C3，所述融合单元用于对I1‑
I4进行求和加权操作得到融合特征图cfe，I1‑
I4、C1‑
C3、cfe的表达式分别为：式（1）中：为卷积操作，3
×
3为卷积核大小，r
i
为扩张率，i∈[1,4]，且r1‑
r4分别为3、6、12、18；式（2）中：C0为特征图F4，CAT表示将两张图在通道维度上进行拼接，k∈[1,3]；式（3）中：ω
i
为I
i
进行加权和操作的权重，初始值为0.25，其值在网络训练过程中进行更新，ε=10
‑4；所述三个SFR模块，其输出为sfr1‑
sfr3，表达式为式中，UP（F
j
）表示对特征图F
j
进行上采样操作至与F
i
的相同大小，j∈[1,3]；（2.3）将F4与cfe按元素相加得到一相加图，将sfr1、sfr2、sfr3和相加图，分别代替F1‑
F4作为自顶向下模块的输入，得到基于语义重用上下文特征金字塔网络；（3）将训练数据集中的遥感图像送入基于语义重用上下文特征金字塔网络中训练得到网络模型；（4）获取待测区域的遥感图像作为待测图像，将其送入网络模型中，生成待测图像对应的特征金字塔P1‑
P5。
[0008]作为优选：所述I1‑
I4的输出通道数均为256。
[0009]作为优选：所述自底向上模块采用resnet50模型、VGG16模型或DetNet模型。
[0010]与现有技术相比，本专利技术的优点在于：（1）对原有的特征金字塔网络FPN进行了优化改进，在现有特征金字塔网络FPN中加入了用于上下文特征增强的CFE模块，和语义特征重用的SFR模块，先用CFE模块和SFR模块对自底向上模块输出的特征图进行处理，得到新的特征图，作为自顶向下模块的输入，替换原有自底向上模块的特征图直接输入到自顶向下模块中的情况。从而形成了一新的特征金字塔网络构架——SC
‑
FPN架构。其中CFE模块使用密集连接和可学习的分支结构来提取具有多个感受野的上下文特征，以更好地检测综合性大目标和易混淆目标；SFR模块通过重用主干的后层特征而不增加参数数量来增强语义特征，以更好地检测小目标。由于F1‑
F4经过CFE模块和SFR模块，从而能提高遥感图像目标检测的性能，尤其针对综合性大目标，易混淆目标和小目标效果更为明显。
[0011]（2）SC
‑
FPN架构可以有效且高效地检测复杂场景中的多尺度对象，并可移植到任何基于FPN的检测模型中。
[0012]（3）本专利技术对遥感图像目标检测的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义重用上下文特征金字塔的遥感图像特征提取方法，其特征在于：包括以下步骤；（1）构建训练数据集，所述训练数据集包括多张标注过目标位置和类别的遥感图像；（2）构建一基于语义重用上下文特征金字塔网络；（2.1）构建一特征金字塔网络FPN，包括自底向上模块和自顶向下模块，所述自底向上模块用于对遥感图像进行特征提取，并从下到上得到各层的特征图F1‑
F4；所述自顶向下模块用于根据自底向上模块的输出，得到特征图金字塔P1‑
P5；（2.2）在自底向上模块、自顶向下模块间增设一用于上下文特征增强的CFE模块和三个语义特征重用的SFR模块；所述CFE模块包括四个卷积单元、三个拼接单元、一个融合单元，所述四个卷积单元用于卷积操作，并分别得到卷积后的特征图I1‑
I4，所述拼接单元用于拼接操作，并分别得到拼接后的特征图C1‑
C3，所述融合单元用于对I1‑
I4进行求和加权操作得到融合特征图cfe，I1‑
I4、C1‑
C3、cfe的表达式分别为：式（1）中： 为卷积操作，3
×
3为卷积核大小，r
i
为扩张率， ，且r1‑
r4分别为3、6、12、18；式（2）中：C0为特征图F4，CAT表示将两张...

【专利技术属性】
技术研发人员：张理，郭勇，王新月，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：