基于通道注意力的图像语义分割方法及装置制造方法及图纸

本发明专利技术公开了一种基于通道注意力的图像语义分割方法及装置，该方法包括：对原始图像进行预处理，得到待分割的输入图；将输入图输入至图像语义分割模型的特征提取网络中，利用特征提取网络对输入图进行特征提取，得到特征图；其中，特征提取网络的各个阶段的各个瓶颈模块中插入有通道注意力模块，用于将输入特征经过水平池化和竖直池化，得到两个矩阵；从通道角度使用1维卷积并行处理两个矩阵，并进行归一化处理后取平均值，得到通道权重；将特征图输入至图像语义分割模型的解码器中，利用解码器对特征图进行处理，得到预测分割图。本发明专利技术是通过通道注意力机制改进编码器的性能，能够很方便地移植到各种分割网络中，能够有明显的性能提升。的性能提升。的性能提升。

【技术实现步骤摘要】
基于通道注意力的图像语义分割方法及装置


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于通道注意力的图像语义分割方法及装置。

技术介绍

[0002]图像语义分割是计算机视觉的基础课题之一，可以应用到很多领域中，它的目的是对图像中的每个像素点给出一个标签。目前，大多数语义分割模型都是基于全卷积网络(FCN)框架进行研究。它们可以被划分为编码器和解码器两大部分，编码器部分通常使用预训练的分类网络来提取特征，而解码器的结构各异，用于处理特征计算最终的预测结果图。现有的语义分割方向的工作往往致力于提出更新更复杂的解码器结构来取得更好的分割效果，但是对编码器的改进却被忽视了。因此，本专利技术旨在从改善编码器的角度出发，用以有效地提升语义分割的精度。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于通道注意力的图像语义分割方法及装置。
[0004]根据本专利技术的一个方面，提供了一种基于通道注意力的图像语义分割方法，包括：
[0005]对原始图像进行预处理，得到待分割的输入图；
[0006]将所述输入图输入至图像语义分割模型的特征提取网络中，利用所述特征提取网络对所述输入图进行特征提取，得到所述输入图对应的特征图；其中，所述特征提取网络的各个阶段的各个瓶颈模块中插入有通道注意力模块；针对输入至所述通道注意力模块的输入特征，所述通道注意力模块的处理过程如下：将所述输入特征经过水平池化和竖直池化，得到两个矩阵；从通道角度使用1维卷积并行处理所述两个矩阵，并进行归一化处理后取平均值，得到通道权重；
[0007]将所述特征图输入至图像语义分割模型的解码器中，利用所述解码器对所述特征图进行处理，得到预测分割图。
[0008]根据本专利技术的另一方面，提供了一种基于通道注意力的图像语义分割装置，包括：
[0009]预处理模块，用于对原始图像进行预处理，得到待分割的输入图；
[0010]编码器，用于接收所述输入图，利用所述特征提取网络对所述输入图进行特征提取，得到所述输入图对应的特征图；其中，所述特征提取网络的各个阶段的各个瓶颈模块中插入有通道注意力模块；
[0011]解码器，用于接收所述特征图，对所述特征图进行处理，得到预测分割图；
[0012]其中，所述通道注意力模块用于：
[0013]将所述输入特征经过水平池化和竖直池化，得到两个矩阵；
[0014]从通道角度使用1维卷积并行处理所述两个矩阵，并进行归一化处理后取平均值，得到通道权重。
[0015]根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
[0016]存储器用于存放至少一可执行指令，可执行指令使处理器执行上述基于通道注意力的图像语义分割方法对应的操作。
[0017]根据本专利技术的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述基于通道注意力的图像语义分割方法对应的操作。
[0018]本专利技术将通道注意力机制应用到图像语义分割任务中。与现有的方法大多关注于设计精巧的解码器模块相比，本专利技术是通过通道注意力机制改进编码器的性能，能够很方便地移植到各种分割网络中，能够有明显的性能提升。
[0019]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0020]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0021]图1示出了根据本专利技术一个实施例的基于通道注意力的图像语义分割方法的流程示意图；
[0022]图2示出了本专利技术实施例中端到端的图像语义分割模型的网络结构示意图；
[0023]图3示出了本专利技术实施例的ResNet的瓶颈结构和通道注意力模块插入位置的示意图；
[0024]图4示出了本专利技术实施例的通道注意力模块的结构示意图；
[0025]图5示出了根据本专利技术一个实施例的基于通道注意力的图像语义分割装置的结构示意图；
[0026]图6示出了根据本专利技术一个实施例的计算设备的结构示意图。
具体实施方式
[0027]下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。
[0028]图1示出了根据本专利技术一个实施例的基于通道注意力的图像语义分割方法的流程示意图。如图1所示，该方法包括以下步骤：
[0029]步骤S101，对原始图像进行预处理，得到待分割的输入图；
[0030]步骤S102，将输入图输入至图像语义分割模型的特征提取网络中，利用特征提取网络对输入图进行特征提取，得到输入图对应的特征图；其中，特征提取网络的各个阶段的各个瓶颈模块中插入有通道注意力模块；
[0031]针对输入至所述通道注意力模块的输入特征，所述通道注意力模块的处理过程如下：将所述输入特征经过水平池化和竖直池化，得到两个矩阵；从通道角度使用1维卷积并行处理所述两个矩阵，并进行归一化处理后取平均值，得到通道权重。
[0032]步骤S103，将特征图输入至图像语义分割模型的解码器中，利用解码器对特征图进行处理，得到预测分割图。
[0033]图2示出了本专利技术实施例中端到端的图像语义分割模型的网络结构示意图，如图2所示，本专利技术实施例中，图像语义分割模型的网络主体框架仍然是基于编码器
‑
解码器结构。其中，编码器主体是一个由卷积网络(CNN)构成的特征提取网络。可选地，特征提取网络采用在ImageNet上预训练的ResNet101。在一个具体的示例中，特征提取网络被划分为5个阶段(stage)，其中第0阶段由三层3
×
3卷积构成，而其他四个阶段分别由不同数量的瓶颈结构(bottleneck)组成。解码器结构源自deeplabv3+，由空洞卷积金字塔池化模块、上采样模块和一系列卷积组成，属于通用结构，在此不进行赘述。
[0034]与现有技术不同的是，本专利技术实施例从改善编码器的角度出发，提出了一个新颖的通道注意力模块，该通道注意力模块被应用在每个瓶颈模块中。图3示出了本专利技术实施例的ResNet的瓶颈结构和通道注意力模块插入位置的示意图。
[0035]针对输入至通道注意力模块的输入特征，通道注意力模块的处理过程如下：将输入特征经过水平池化和竖直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道注意力的图像语义分割方法，其特征在于，所述方法包括：对原始图像进行预处理，得到待分割的输入图；将所述输入图输入至图像语义分割模型的特征提取网络中，利用所述特征提取网络对所述输入图进行特征提取，得到所述输入图对应的特征图；其中，所述特征提取网络的各个阶段的各个瓶颈模块中插入有通道注意力模块；针对输入至所述通道注意力模块的输入特征，所述通道注意力模块的处理过程如下：将所述输入特征经过水平池化和竖直池化，得到两个矩阵；从通道角度使用1维卷积并行处理所述两个矩阵，并进行归一化处理后取平均值，得到通道权重；将所述特征图输入至图像语义分割模型的解码器中，利用所述解码器对所述特征图进行处理，得到预测分割图。2.根据权利要求1所述的图像语义分割方法，其特征在于，所述将所述输入特征经过水平池化和竖直池化，得到两个矩阵具体为利用如下公式对输入特征进行处理：平池化和竖直池化，得到两个矩阵具体为利用如下公式对输入特征进行处理：其中，输入特征为C为通道数，W为宽，H为高；k＝1,2,
…
,C；进而得到两个矩阵3.根据权利要求2所述的图像语义分割方法，其特征在于，所述从通道角度使用1维卷积并行处理所述两个矩阵，并进行归一化处理后取平均值，得到通道权重具体为利用以下公式得到通道权重：其中，σ为激活函数，为卷积窗口区域，和为卷积核参数。4.根据权利要求1所述的图像语义分割方法，其特征在于，所述对原始图像进行预处理，得到待分割的输入图进一步包括：在训练阶段，将原始图像进行随机缩放处理；采用随机旋转、高斯模糊和随机水平旋转的数据增广策略对经过随机缩放处理后的原始图像进行变换；在变换后的图像中随机裁剪预设尺寸大小的区域，作为待分割的输入图。5.根据权利要求1所述的图像语义分割方法，其特征在于，所述对原始图像进行预处理，得到待分割...

【专利技术属性】
技术研发人员：郭俊波，郭筱凤，靳国庆，马凌峰，谢洪涛，张勇东，
申请(专利权)人：北京中科研究院，
类型：发明
国别省市：