一种基于深度学习的改进型城市街景图像分割方法技术

本发明专利技术公开一种基于深度学习的改进型城市街景图像分割方法，包括：基于深度学习的改进型城市街景图像分割模型DEEPLS：使用编码解码的框架和ResNet101作为骨干网络，在ASPP模块中新增一层膨胀率为3的空洞卷积，合并之后的6层用并行的3

【技术实现步骤摘要】
一种基于深度学习的改进型城市街景图像分割方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于深度学习的改进型城市街景图像分割方法。

技术介绍

[0002]城市街景图像分割是将一幅城市街景图像按照一定的标准分割成不同区域的过程。作为计算机视觉领域的一个重要分支，已经取得了一定的进展。城市街景图像分割主要分为传统的城市街景分割方法和基于深度学习的城市街景分割方法。
[0003]传统的城市街景分割方法实现简单计算量小，基于阈值的分割方法，实质是利用城市街景图像的不同灰度阈值将前景物体和背景分离出来，但对于复杂图像，阈值分割效果不佳。基于区域的分割方法，其基本思想是将具有相似特征的像素组合起来形成区域，从而将城市街景图像分割成若干不同区域，但容易造成图像的过度分割。基于边缘检测的分割方法，由于边缘像素点的相邻像素灰度值差别较大或颜色不连续，将边缘像素点连接起来，可以形成边缘轮廓达到分割的目的，但其无法得到较好的区域结构。基于聚类的分割方法是基于事物之间的相似性作为划分标准，即将具有相似特征的像素点聚集在同一区域完成分割，但对噪声和灰度不均匀敏感。随着深度学习的不断发展，传统的语义分割效果明显不如基于深度学习的语义分割效果。
[0004]深度学习的出现为城市街景分割方法带来了新的思路，FCN将全连接层改为全卷积层，全卷积层可以取任意大小的城市街景图像作为输入，并使用上采样来解决卷积核池对图像大小的影响，但训练过程复杂且得到的结果还不够精细。U
‑
Net模型在FCN的基础上增加了跳转链接，在医学图像分割方面具有优势，但其冗余太大且分类准确度和定位精度不可兼得。SegNet是一种基于编码和解码的图像分割网络，其创新之处在于解码部分对低分辨率特征图像进行上采样操作，避免了FCN中上采样的消耗，但并未充分考虑像素与像素之间的关系。PSPNet主要使用金字塔池模块来聚合不同区域的上下文信息，提高了全局信息的提取能力，但没有利用整体的场景信息。DeepLab模型提出了空洞卷积，使得多尺度分割对象得到更好的分割效果。DeepLab V3+是在对之前的模型进行优化的基础上，包括编码和解码部分，使用空洞卷积来平衡精度和运行时间，并使用Xception模型作为骨干网来实现更快、更准确的结果。
[0005]但DeepLab V3+随着网络层数加深，特征图的分辨率也在减小，而空洞空间金字塔池化(ASPP)模块中膨胀率较大的空洞卷积并不利于分割较低分辨率的特征图，同时在其解码器部分中，直接4倍上采样与高分辨率低级特征图拼接融合，造成了特征图中重要像素信息的丢失，导致城市街景图像的预测结果不够精细。

技术实现思路

[0006]针对城市街景图像信息丢失和细节分割不准确的问题，本专利技术提出了一种基于深度学习的改进型城市街景图像分割方法，在空洞空间金字塔池化(ASPP)模块中新增一层膨
胀率为3的空洞卷积，有效提取低分辨率的特征图信息，同时将ASPP模块之后的特征提取改为双通道特征提取，扩大特征提取能力；并且将4倍上采样改为2倍上采样，输入到CBAM注意力机制中，得到的特征图再进行2倍上采样，减少直接4倍上采样带来的不连续性；除此之外，对于浅层特征提取之后，也输入到CBAM注意力机制中，再和深层特征提取的特征图拼接在一起，能获取更精细的前景细节信息，提升城市街景图像分割效果。
[0007]为了实现上述目的，本专利技术采用以下技术方案：
[0008]一种基于深度学习的改进型城市街景图像分割方法，包括：
[0009]步骤1，基于深度学习构建改进型城市街景图像分割模型DEEPLS：使用编码解码的框架和ResNet101作为骨干网络，在空洞空间金字塔池化(ASPP)模块中新增一层膨胀率为3的空洞卷积，合并之后的6层用并行的3
×
3卷积处理之后再用1
×
1卷积调整通道数，得到的特征图先2倍上采样，输入到CBAM注意力机制再2倍上采样，最后和经过CBAM注意力机制的浅层特征拼接融合得到预测图；
[0010]步骤2，基于改进型城市街景图像分割模型DEEPLS对城市街景图像进行分割。
[0011]进一步地，改进后的空洞空间金字塔池化(ASPP)模块的处理流程如下：
[0012]首先将经过骨干网络ResNet
‑
101得到通道数为2048的特征图，分别进行1
×
1卷积，空洞率分别为{3,6,12,18}的空洞卷积以及全局平均池化，得到6个通道数为256的特征图，将得到的6个特征图在通道维度上拼接融合后，获得改进后的空洞空间金字塔池化(ASPP)模块产生的特征图。
[0013]进一步地，所述步骤1还包括：空洞空间金字塔池化(ASPP)模块后加入双通道以获取城市街景图像细节信息，其中第一通道为一个3
×
3卷积，第二通道为两个3
×
3卷积。
[0014]进一步地，按照如下方式基于双通道获取图像细节信息：
[0015]将改进后的空洞空间金字塔池化(ASPP)模块中得到的6层拼接特征图作为输入，分为两个通道进行特征提取，第一通道中的3
×
3卷积将1536通道数直接调整为256，第二通道中的第一个3
×
3卷积将通道数1536调整为512，再送入第二通道中的第二个3
×
3卷积中，继续卷积调整为256，得到的两层特征图拼接后，进行1
×
1卷积。
[0016]进一步地，所述步骤1还包括：
[0017]将经过骨干网络特征提取后的变为原图1/4大小的特征图直接输入到解码器部分，变为原图1/16大小的特征图先进行空洞卷积操作再输入到解码器部分；
[0018]在解码器部分，将变为原图1/4大小的特征图先输入到CBAM注意力机制中，再传入到空间注意力机制中进行学习，经过注意力机制处理的特征图再进行1
×
1卷积；将变为原图1/16大小的特征图先进行2倍上采样，得到原图1/8大小的特征图，之后输入到CBAM注意力机制再进行2倍上采样，扩大到原图1/4大小，同时在两次上采样中间添加注意力机制。
[0019]进一步地，所述步骤2包括：
[0020]步骤2.1，将固定大小的城市街景图像输入到改进型城市街景图像分割模型DEEPLS中；
[0021]步骤2.2，ResNet101网络对该图像进行预处理，提取图像有用信息生成特征图像，再分别传输给改进后的空洞空间金字塔池化(ASPP)模块和解码器部分；
[0022]步骤2.3，进入改进后的空洞空间金字塔池化(ASPP)模块中的特征图分为6部分进行空洞卷积、全局平均池化操作提取特征，并将提取的6层特征拼接后输入双通道，分流继
续提取深层特征信息，最后经过1
×
1卷积进行多尺度融合，得到原始城市街景图像1/16大小的特征图，并输入到解码器部分；
[0023]步骤2.4，将步骤2.2中进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的改进型城市街景图像分割方法，其特征在于，包括：步骤1，基于深度学习构建改进型城市街景图像分割模型DEEPLS：使用编码解码的框架和ResNet101作为骨干网络，在空洞空间金字塔池化模块中新增一层膨胀率为3的空洞卷积，合并之后的6层用并行的3
×
3卷积处理之后再用1
×
1卷积调整通道数，得到的特征图先2倍上采样，输入到CBAM注意力机制再2倍上采样，最后和经过CBAM注意力机制的浅层特征拼接融合得到预测图；步骤2，基于改进型城市街景图像分割模型DEEPLS对城市街景图像进行分割。2.根据权利要求1所述的一种基于深度学习的改进型城市街景图像分割方法，其特征在于，改进后的空洞空间金字塔池化模块的处理流程如下：首先将经过骨干网络ResNet
‑
101得到通道数为2048的特征图，分别进行1
×
1卷积，空洞率分别为{3,6,12,18}的空洞卷积以及全局平均池化，得到6个通道数为256的特征图，将得到的6个特征图在通道维度上拼接融合后，获得改进后的空洞空间金字塔池化模块产生的特征图。3.根据权利要求1所述的一种基于深度学习的改进型城市街景图像分割方法，其特征在于，所述步骤1还包括：在空洞空间金字塔池化模块后加入双通道以获取城市街景图像细节信息，其中第一通道为一个3
×
3卷积，第二通道为两个3
×
3卷积。4.根据权利要求3所述的一种基于深度学习的改进型城市街景图像分割方法，其特征在于，按照如下方式基于双通道获取图像细节信息：将改进后的空洞空间金字塔池化模块中得到的6层拼接特征图作为输入，分为两个通道进行特征提取，第一通道中的3
×
3卷积将1536通道数直接调整为256，第二通道中的第一个3
×
3卷积将通道数1536调整为512，再送入第二通道中的第二个3
×
3卷积中，继续卷积调整为256，得到的两层特征图...

【专利技术属性】
技术研发人员：于俊洋，李绍华，张莉博，何欣，宋亚林，王龙葛，
申请(专利权)人：河南大学，
类型：发明
国别省市：