融合富尺度特征的双分支网络遥感图像建筑语义分割方法技术

本发明专利技术公开了一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法，包括以下步骤：深层语义路径基于混合空洞卷积的ResNet50提取不同层次的建筑物语义特征；将提取的深层语义特征经空间金字塔处理；浅层空间路径采用较小的下采样倍数以保持图像的分辨率，主要以Res2Net模块及富尺度特征提取模块获取准确的图像空间信息；将深层特征与浅层特征自适应融合。本发明专利技术能避免因浅层特征提取不当，影响深层特征的准确性；从浅层空间路径提取具有丰富空间信息的高分辨率特征，从深层语义路径获取聚合上下文信息的高级语义特征，确保了不同层次特征的高效利用；特征融合模块能为不同分辨率的特征图自适应分配权重，实现更好的特征融合。合。合。

【技术实现步骤摘要】
融合富尺度特征的双分支网络遥感图像建筑语义分割方法


[0001]本专利技术属于遥感图像建筑物提取
，具体涉及一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法。

技术介绍

[0002]遥感图像建筑物提取在城市规划、城市动态变化监测、土地利用变更调查等实际应用中发挥着重要作用。但随着遥感图像空间分辨率不断提高，地物细节信息愈加丰富，且复杂程度更高。建筑物存在的尺度多样、形状各异、光谱异质性强等特点，致使高空间分辨率遥感图像建筑物语义分割极具挑战性。
[0003]遥感图像语义分割是根据图像语义信息，按照一定的规则和算法为每个像素分配一个对应的类别标签。在遥感图像建筑物语义分割中，传统方法通过人工或机器学习方法获取纹理、灰度、几何等图像特征实现对建筑物语义分割，主要包括基于聚类、阈值、区域、图论模型等方法。这类方法均建立在精准的数学模型上，但由于人工设计的特征会随传感器质量、光照条件、建筑物结构的差异产生较大变化，通常分割精度较低，且难以推广到其他数据集。
[0004]近年来，随着深度学习快速发展，如卷积神经网络(Convolutional Neural Network,CNN)、递归神经网络、生成式对抗网络出色地完成了各类计算机视觉任务，基于深度学习的语义分割网络也受到了广泛关注。Long J等提出全卷积神经网络(Full Convolutional Networks,FCN)将传统CNN中全连接层替换为全卷积层，解决了语义级别的图像分割问题；Ronneberger O等提出了一种用于医学图像分割的新型编码
‑
解码网络架构UNet，解码器在上采样逐渐恢复图像分辨率过程中，使用跳跃连接与编码部分对应分辨率的特征进行融合，从而利用不同层次的语义特征来提高图像分割精度；Zhao H等提出了一种金字塔场景解析网络，通过在FCN中嵌入不同场景的上下文特征提高分割效果；He K等针对随模型深度加深网络出现退化问题，提出了一种减轻网络训练负担的残差学习框架(ResNet)，保证了网络精度随深度增加而增加。基于CNN遥感图像建筑物语义分割已成为建筑物提取的主要方法，田青林等在解码阶段的横向连接过程中引入注意力机制以突出重要特征，并采用自上而下的密集连接方式计算特征金字塔，有效提升了遥感图像语义分割中多尺度目标分割边缘分割精度；徐胜军等提出了一种基于多尺度特征融合空洞卷积ResNet分割网络，有效地解决了复杂场景下道路、树木及建筑物之间分割边界不清晰问题；赫晓慧等针对遥感图像背景复杂，在建筑物提取时建筑物目标的部分细节特征与背景区分度较低，出现建筑物轮廓失真、缺失等问题，通过融合RGB特征图和边缘特征设计了自适应加权边缘特征融合网络(VAF
‑
Net)，在Massachusetts Buildings数据集上取得了较好分割效果；何青等利用多层次编码解码结构提取影像中建筑物不同尺度特征，在同层次特征之间引入密集连接提高浅层特征的准确性，并在相邻层次特征之间引入交换单元增加不同层次的特征交互能力，从而达到提升建筑物边缘提取精度和高分辨率特征利用率的目的；Chen M等以deeplabv3编码解码网络为主干，将深度卷积神经网络(DCNN)与ResNet结合，提出了
一种密集残差神经网络(DR
‑
Net)，解决浅层提取的低层特征与人工神经网络深层提取的抽象特征不能完全融合问题；Jin Y针对现有的大多数CNN因多尺度上下文信息聚合差、不同层次特征融合不充分以及未考虑语义边缘信息，而导致建筑物边界预测存在巨大不确定性问题，提出一种嵌入了特殊边界感知损失的新型网络(Boundary
‑
Aware Refined Network,BARNet)，BARNet在跳越连接中实现了跨级特征融合，通过引入边界增强损失函数，使模型能够关注边界像素。
[0005]上述研究提高了遥感图像建筑物提取精度，同时改善了建筑物轮廓分割残缺等问题，但仍存在浅层空间特征利用率低的情况。
[0006]为提高浅层特征利用率，增强浅层特征对分割结果的约束力，以获取完整的建筑物轮廓及精确的边缘信息，本文提出了一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法。

技术实现思路

[0007]为了解决上述技术问题，本专利技术设计了一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法，该方法在浅层空间路径采用Res2Net模块结合Inception Module提取浅层富尺度特征，避免浅层特征利用不当影响分割结果；在深层语义路径中以结合混合空洞卷积的ResNet50为主干网络，将获取的高级语义特征经空间金字塔池化，以捕捉更深层次的多尺度特征；最后设计了一种新的特征融合模块为两条路径提取的不同层次特征图分配权重。在WHU和Massachusetts数据集上的实验结果表明，与其他语义分割网络相比，所提方法建筑物提取精度高，泛化能力强。
[0008]为了达到上述技术效果，本专利技术是通过以下技术方案实现的：一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法，其特征在于，包括以下步骤：
[0009]Step1：深层语义路径基于混合空洞卷积的ResNet50提取不同层次的建筑物语义特征；
[0010]Step2：将提取的深层语义特征经空间金字塔处理，获取深层特征中的多尺度信息；
[0011]Step3：浅层空间路径采用较小的下采样倍数以保持图像的分辨率，主要以Res2Net模块及富尺度特征提取模块获取准确的图像空间信息；
[0012]Step4：特征融合模块，将深层特征与浅层特征自适应融合，最终获取得到有效的分割结果。
[0013]进一步的，所述Step1中深层语义特征包含了大量语义和较少位置信息，使用空间金字塔对不同区域的上下文进行聚合，对残差网络提取到的深层语义特征再进行空间金字塔处理；
[0014]混合空洞卷积计算为：
[0015][0016][0017]式中r为空洞率(Dilation rate)，W
′
(x,y)为空洞卷积核，W
″
(x,y)为混合空洞卷积核，m∈(1,2,5,1,2,5)
[0018]进一步的，所述Step3中浅层空间路径保持较大的输出特征分辨率；针对建筑物形状多样、尺度不一，以及浅层特征纹理、空间信息复杂，在浅层空间路径中，结合Res2Net设计了一种富尺度特征提取模块，通过同时增加块外、块内的感受野，提高浅层特征对分割的映射能力。
[0019]进一步的，所述富尺度特征提取模块由卷积、平均池化、Res2Netblock组成；首先输入的特征X分别进行3
×
3卷积和3
×
3平均池化完成2倍下采样，以获取足够的感受域；再对下采样后的特征分别进行1
×
1卷积、卷积核为3的Res2block、卷积核为5的Res2block；最后将不同尺度的特征级联，得到输出特征Y；顾及输入特征X的分辨率大小，并未考虑卷积核为7...

【技术保护点】

【技术特征摘要】
1.一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法，其特征在于，包括以下步骤：Step1：深层语义路径基于混合空洞卷积的ResNet50提取不同层次的建筑物语义特征；Step2：将提取的深层语义特征经空间金字塔处理，获取深层特征中的多尺度信息；Step3：浅层空间路径采用较小的下采样倍数以保持图像的分辨率，主要以Res2Net模块及富尺度特征提取模块获取准确的图像空间信息；Step4：特征融合模块，将深层特征与浅层特征自适应融合，最终获取得到有效的分割结果。2.根据权利要求1所述的一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法，其特征在于：所述Step1中深层语义特征包含了大量语义和较少位置信息，使用空间金字塔对不同区域的上下文进行聚合，对残差网络提取到的深层语义特征再进行空间金字塔处理；混合空洞卷积计算为：混合空洞卷积计算为：式中r为空洞率(Dilation rate)，W
′
(x,y)为空洞卷积核，W
″
(x,y)为混合空洞卷积核，m∈(1,2,5,1,2,5)。3.根据权利要求1所述的一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法，其特征在于：所述Step3中浅层空间路径保持较大的输出特征分辨率；针对建筑物形状多样、尺度不一，以及浅层特征纹理、空间信息复杂，在浅层空间路径中，结合Res2Net设计了一种富尺度特征提取模块，通过同时增加块外、块内的感受野，提高浅层特征对分割的映射能力。4.根据权利要求3所述的一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法，其特征在于：所述富尺度特征提取模块由卷积、平均池化、Res2Netblock组成；首先输入的特征X分别进行3
×
3卷积和3
×
3平均池化完成2倍下采样，以获取足够的感受域；再对下采样后的特征分别进行1
×
1卷积、卷积核为3的Res2bl...

【专利技术属性】
技术研发人员：黄亮，李小祥，唐伯惠，陈国坤，孙宇，吴春燕，李文国，季欣然，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：