基于注意力机制与多尺度特征的遥感图像建筑物分割方法技术

本发明专利技术公开了一种基于注意力机制与多尺度特征的遥感图像建筑物分割方法，涉及遥感影响建筑物提取技术领域，构建包括编码器、中间层、解码器的语义分割网络模型FAME‑Net；在编码阶段将通道注意力机制和空间维度注意力机制进行融合；在编码器与解码器之间的中间层增设锚点特征增强的空间金字塔池化C‑ASPP模块；在解码阶段进行多尺度特征融合并引入平均损失函数；能够提高对小型建筑物特征的提取能力，有效利用图像多尺度特征，提高分割目标精度。

【技术实现步骤摘要】
基于注意力机制与多尺度特征的遥感图像建筑物分割方法
本专利技术涉及遥感影响建筑物提取
，具体涉及一种基于注意力机制与多尺度特征的遥感图像建筑物分割方法。
技术介绍
近年来，随着城市化进程的不断加快，高分辨率遥感影像建筑物提取在城市规划、人口估算和智慧城市三维重建等方面越发重要。遥感影像受拍摄角度、阳光、云、建筑物附近道路植被等因素的影响，具有相对复杂的语义特征，因此，遥感影像建筑物的分割已成为高分辨率遥感图像分割中最具挑战性的任务之一。作为像素级的分割问题，建筑物分割的核心是特征提取，常用方法大致可分为两类：一是基于人工提取特征，二是基于深度学习自动提取特征。人工特征提取基于边缘、阈值或区域,利用几何形状、光谱特性、纹理、颜色、阴影等信息进行特征提取，分割图像，该类方法只利用地面目标的浅层特征，未涉及复杂建筑物深层的多尺度特征，提取精度较低。随着深度学习的快速发展，卷积神经网络自动提取特征优势在图像分类、目标检测和语义分割等方面表现尤为突出，正逐渐取代传统人工提取特征方法。Alshehhi等人基于卷积神经网络图像块分类方法自动学习和提取道路及建筑物特征，分割中块状区域会产生模糊锯齿状边缘，全连接层使批处理操作过程存在大量冗余计算，占用内存大。Long等人在2015年首次提出全卷积神经网络FCN(FullyConvolutionalNetworks)图像语义分割架构，在遥感图像语义分割领域取得了突破性进展，该架构用卷积层代替了卷积神经网络中的全连接层，有效减少了冗余计算，通过反卷积实现语义分割，消除了图像块分割方法中块状区域带来的锯齿状边缘，但空间信息损失严重，对图像中的细节不敏感。因此，Ronneberger等人在FCN的基础上提出了一种用于医学图像分割的U-Net架构，在FCN基础上增加跳跃连接拼接深层和浅层图像特征，解决FCN网络信息损失严重问题，在建筑物提取任务中表现出较大潜力，但U-Net仅关注如何更好恢复特征图的分辨率，忽略了深层次特征的获取。Chaurasia等人为提取深层次特征，在传统的U-Net中引入了ResNet18，直接连接编码器与解码器，构建一种具有实时性的轻量级网络，但忽略了图像的多尺度信息。Zhou等人提出了D-LinkNet模型，在LinkNet基础上加入并联空洞卷积层，执行道路提取任务，在不损失分辨率的同时增大感受野，提高了挖掘全局上下文信息的能力，但仍存在错误分割和分割连续性差问题。遥感图像语义分割实际上是二分类问题，大量研究表明，编码-解码器网络更适用于遥感图像分割，上述U-Net、LinkNet、D-LinkNet等网络在遥感图像分割领域取得了一定成果，分割精度也在逐步提高，但这些网络对小型建筑物分割效果并不理想，也未考虑建筑物集群间的边界粘连的问题。
技术实现思路
为解决现有技术中存在的各问题，本专利技术提供一种基于注意力机制与多尺度特征的遥感图像建筑物分割方法，能够提高对小型建筑物特征的提取能力，有效利用图像多尺度特征，提高分割目标精度。本专利技术为解决其技术问题所采用的技术方案是：一种基于注意力机制与多尺度特征的遥感图像建筑物分割方法，构建包括编码器、中间层、解码器的语义分割网络模型FAME-Net；在编码阶段将通道注意力机制和空间维度注意力机制进行融合；在编码器与解码器之间的中间层增设锚点特征增强的空间金字塔池化C-ASPP模块；在解码阶段进行多尺度特征融合并引入平均损失函数。进一步的，所述编码器采用不含全连接层的恒等映射残差网络获取深层次特征，在编码器中对通道注意力机制和空间维度注意力机制进行级联融合后得到的融合注意力机制添加至所述残差网络的每层残差单元后。进一步的，所述通道注意力机制为：首先用不降维方法对输入特征图U进行通道级全局平均池化，获取不同通道信息，实现挤压操作，而后取消全连接层，使用k个快速一维卷积捕获跨通道局部交互信息，通过Sigmoid激活函数后，生成通道权值，获取通道依赖关系，所述k值由通道附近参与空间维度注意力机制预测的通道数C自适应确定，最后，将通道权值与输入特征图点乘，进行权重分配，得到不同重要程度的通道特征图。进一步的，所述k值通过如下公式确定：其中的|.|odd表示最近奇数，β＝2，b＝1。进一步的，所述在中间层增设锚点特征增强的空间金字塔池化C-ASPP模块包括：在编码器和解码器之间引入空洞空间金字塔池化层ASPP，根据特征图尺寸和感受野需求，重新整定ASPP中的扩张率为1、3、6、9，仅针对最大扩张率的卷积核锚点进行特征增强。进一步的，所述ASPP扩张率通过如下公式重新整定：RF＝K+(K-1)(r-1)，其中，RF为所需的感受野，r为重新整定的ASPP扩张率，，K为空洞卷积核大小。进一步的，所述针对最大扩张率的卷积核锚点进行特征增强为：在扩张率为9的卷积核中引入拉普拉斯算子，进行锚点权重系数优化，构建锚点特征增强的空间金字塔池化C-ASPP模块。进一步的，所述锚点权重系数优化为：用拉普拉斯边缘检测算子G替换卷积核锚点及其4邻域的值，将卷积核锚点及其4邻域作为有效点一同提取特征，在拉普拉斯边缘检测算子构成的3×3卷积中，利用局部空间特征信息提取新的锚点边缘特征信息权重C，卷积过程下式所示，卷积输出结果作为锚点的特征信息；X*G＝C，其中，X为特征图的输入向量，进一步的，所述在解码阶段进行多尺度特征融合并引入平均损失函数，包括：在解码器中使用融合层策略设置一个多尺度特征融合模块，将特征图的浅层特征和深层特征进行融合，融合中将不同层次的特征图进行16、8、4、2倍的上采样还原成原有特征图尺度，利用通道维度Concat方法将不同尺度特征进行拼接，使用平均损失函数求取多尺度损失。进一步的，所述平均损失函数LFinal为：其中，为复合损失函数，其由二值交叉熵损失函数BCELoss和DICE系数损失函数DiceLoss表述，λ用于平衡两个损失函数：其中，LBCE通过下式计算：LDice通过下式计算：LBCE和LDice的计算公式中，P表示预测值，GT表示真实值，W和H分别代表特征图的宽度和高度，gtij和pij分别代表真实值和预测值的每个像素点。有益效果：在编码器中用残差网络取代编码器原有网络结构，解决遥感图像细节空间深层次特征的提取问题，保证模型不退化，同时在残差网络中融合了通道注意力机制和空间维度注意力机制，使模型专注于学习建筑物特征，有效抑制无关信息干扰，改善中小型建筑物分割精度；中间层增设空间金字塔池化层C-ASPP，重新整定空洞卷积扩张率，平衡模型对大小目标的敏感度；引入拉普拉斯算子，优化卷积核锚点权重系数，提高建筑物边缘轮廓的描述能力；在解码器中添加特征融合机制，通过设计平均损失函数，提高不同尺度的特征信息利用率。附图说明图1是本专利技术FAME-Net网络模型结构图；图2是本专利技术残差网络结构图本文档来自技高网...

【技术保护点】
1.一种基于注意力机制与多尺度特征的遥感图像建筑物分割方法，其特征在于，构建包括编码器、中间层、解码器的语义分割网络模型FAME-Net；在编码阶段将通道注意力机制和空间维度注意力机制进行融合；在编码器与解码器之间的中间层增设锚点特征增强的空间金字塔池化C-ASPP模块；在解码阶段进行多尺度特征融合并引入平均损失函数。/n

【技术特征摘要】
1.一种基于注意力机制与多尺度特征的遥感图像建筑物分割方法，其特征在于，构建包括编码器、中间层、解码器的语义分割网络模型FAME-Net；在编码阶段将通道注意力机制和空间维度注意力机制进行融合；在编码器与解码器之间的中间层增设锚点特征增强的空间金字塔池化C-ASPP模块；在解码阶段进行多尺度特征融合并引入平均损失函数。


2.根据权利要求1所述的基于注意力机制与多尺度特征的遥感图像建筑物分割方法，其特征在于，所述编码器采用不含全连接层的恒等映射残差网络获取深层次特征，在编码器中对通道注意力机制和空间维度注意力机制进行级联融合后得到的融合注意力机制添加至所述残差网络的每层残差单元后。


3.根据权利要求2所述的基于注意力机制与多尺度特征的遥感图像建筑物分割方法，其特征在于，所述通道注意力机制为：首先用不降维方法对输入特征图U进行通道级全局平均池化，获取不同通道信息，实现挤压操作，而后取消全连接层，使用k个快速一维卷积捕获跨通道局部交互信息，通过Sigmoid激活函数后，生成通道权值，获取通道依赖关系，所述k值由通道附近参与空间维度注意力机制预测的通道数C自适应确定，最后，将通道权值与输入特征图点乘，进行权重分配，得到不同重要程度的通道特征图。


4.根据权利要求3所述的基于注意力机制与多尺度特征的遥感图像建筑物分割方法，其特征在于，所述k值通过如下公式确定：



其中的|·|odd表示最近奇数，β＝2，b＝1。


5.根据权利要求1所述的基于注意力机制与多尺度特征的遥感图像建筑物分割方法，其特征在于，所述在中间层增设锚点特征增强的空间金字塔池化C-ASPP模块包括：在编码器和解码器之间引入空洞空间金字塔池化层ASPP，根据特征图尺寸和感受野需求，重新整定ASPP中的扩张率为1、3、6、9，仅针对最大扩张率的卷积核锚点进行特征增强。


6.根据权利要求5所述的基于注意力机制与多尺度特征的遥感图像建筑物分割方法，其特征在于，所述ASPP扩张率通过如下公式重新整定：
RF＝K+(K-1)...

【专利技术属性】
技术研发人员：刘艳，刘全德，魏凯，李文波，刘新彪，张永飞，
申请(专利权)人：大连大学，
类型：发明
国别省市：辽宁;21