图像语义分割方法及装置制造方法及图纸

本公开提供了一种图像语义分割方法及装置。包括：将待处理图像输入至图像识别模型；图像识别模型包括：短时密集连接网络层和解码网络层，短时密集连接网络层包括：卷积模块、多个短时密集连接层和输出模块，短时密集连接层包含多个短时密集连接模块；调用卷积模块对待处理图像进行处理得到待处理图像对应的第一特征图；调用短时密集连接层对第一特征图进行处理得到第二特征图；调用输出模块对第二特征图进行处理得到第三特征图；调用解码网络层对第三特征图进行上采样并向分割类别映射，得到通道数为分割类别数的第四特征图；根据第四特征图确定待处理图像对应的语义分割结果。本公开可以减少网络结构性冗余，提高图像语义分割性能和效率。能和效率。能和效率。

【技术实现步骤摘要】
图像语义分割方法及装置


[0001]本公开的实施例涉及图像处理
，尤其涉及一种图像语义分割方法及装置。

技术介绍

[0002]语义分割是计算机视觉领域中的一个基础方向，随着近些年来深度学习方法的进度，语义分割方向也取得长足进展，在越来越多的场景取得应用，如自动驾驶、人机交互、医疗分析、增强现实等。
[0003]为了兼顾语义分割的实时性和有效性的要求，目前实时语义分割的设计的一个主流做法为：选用已有的轻量级主干网络进行编码，自主设计轻量级的解码网络，以实现提高分割效率，其中ResNet
‑
18，Xception
‑
39等是经常选用的主干网络，但是这些主干网络缺乏对于分割任务的定制化设计，其自身的结构对于分割任务来说可能会产生结构性冗余，直接用作主干网络会导致语义分割性能和效率的下降。

技术实现思路

[0004]本公开的实施例提供一种图像语义分割方法及装置，用以使得网络既能够捕捉分割任务所需要的多尺度感受野信息，又能够去除结构性冗余，使得网络高效运作，满足实时语义分割的要求。
[0005]根据本公开的实施例的第一方面，提供了一种图像语义分割方法，包括：
[0006]将待处理图像输入至图像识别模型；所述图像识别模型包括：短时密集连接网络层和解码网络层，所述短时密集连接网络层包括：卷积模块、多个串联连接的短时密集连接层和输出模块，每个短时密集连接层均包含多个短时密集连接模块；
[0007]调用所述卷积模块对所述待处理图像进行处理，得到所述待处理图像对应的第一特征图；
[0008]调用所述短时密集连接层对所述第一特征图进行处理，得到所述第一特征图对应的第二特征图；
[0009]调用所述输出模块对所述第二特征图进行处理，得到所述第二特征图对应的第三特征图；
[0010]调用所述解码网络层对所述第三特征图进行上采样，并向分割类别映射，得到通道数为分割类别数的第四特征图；
[0011]根据所述第四特征图，确定所述待处理图像对应的语义分割结果。
[0012]可选地，所述卷积模块包括：第一卷积单元和第二卷积单元，
[0013]所述调用所述卷积模块对所述待处理图像进行处理，得到所述待处理图像对应的第一特征图，包括：
[0014]调用所述第一卷积单元通过设定大小的卷积核对所述待处理图像进行两倍的下采样，得到通道数为第一通道数的中间特征图；
[0015]调用所述第二卷积单元通过设定大小的卷积核对所述中间特征图进行两倍的下采样，得到通道数为第二通道数的第一特征图；
[0016]其中，所述第二通道数为所述第一通道数的2倍。
[0017]可选地，每个短时密集连接层中的多个短时密集连接模块包括：第一短时密集连接模块和至少一个第二短时密集连接模块，
[0018]所述调用所述短时密集连接层对所述第一特征图进行处理，得到所述第一特征图对应的第二特征图，包括：
[0019]调用所述多个短时密集连接层中第一个短时密集连接层中的第一短时密集连接模块对所述第一特征图进行两倍的下采样，得到通道数为第三通道数的第一初始特征图；所述第三通道数为所述第二通道数的2倍；
[0020]调用所述第一个短时密集连接层中的至少一个第二短时密集连接模块对所述第一初始特征图进行短时密集连接处理，得到通道数为第三通道数的第一处理特征图；
[0021]调用所述多个短时密集连接层中的除所述第一个短时密集连接层外的第n个短时密集连接层，对第n
‑
1个短时密集连接层输出的特征图进行两倍的下采样和短时密集连接处理，得到第n处理特征图；
[0022]获取所述多个短时密集连接层中的最后一个短时密集连接层输出的处理特征图，并将该处理特征图作为所述第二特征图；
[0023]其中，n为大于等于2的正整数，第n处理特征图的通道数为第n
‑
1个短时密集连接层输出的第n
‑
1处理特征图的通道数的2倍。
[0024]可选地，所述输出模块包括：卷积层、平均池化层和全卷积网络层，
[0025]所述调用所述输出模块对所述第二特征图进行处理，得到所述第二特征图对应的第三特征图，包括：
[0026]调用所述卷积层对所述第二特征图进行下采样，得到采样特征图；
[0027]调用所述平均池化层对所述采样特征图进行池化处理，得到池化特征图；
[0028]调用所述全卷积网络层对所述池化特征图进行卷积处理，得到所述第三特征图。
[0029]可选地，每个短时密集连接模块中包含多个操作块，在每个所述短时密集连接模块的操作块中的第二个操作块至倒数第二个操作块的通道数成等比数列，最后一个操作块与倒数第二个操作块的通道数相同。
[0030]根据本公开的实施例的第二方面，提供了一种图像语义分割装置，包括：
[0031]待处理图像输入模块，用于将待处理图像输入至图像识别模型；所述图像识别模型包括：短时密集连接网络层和解码网络层，所述短时密集连接网络层包括：卷积模块、多个串联连接的短时密集连接层和输出模块，每个短时密集连接层均包含多个短时密集连接模块；
[0032]第一特征图获取模块，用于调用所述卷积模块对所述待处理图像进行处理，得到所述待处理图像对应的第一特征图；
[0033]第二特征图获取模块，用于调用所述短时密集连接层对所述第一特征图进行处理，得到所述第一特征图对应的第二特征图；
[0034]第三特征图获取模块，用于调用所述输出模块对所述第二特征图进行处理，得到所述第二特征图对应的第三特征图；
[0035]第四特征图获取模块，用于调用所述解码网络层对所述第三特征图进行上采样，并向分割类别映射，得到通道数为分割类别数的第四特征图；
[0036]语义分割结果确定模块，用于根据所述第四特征图，确定所述待处理图像对应的语义分割结果。
[0037]可选地，所述卷积模块包括：第一卷积单元和第二卷积单元，
[0038]所述第一特征图获取模块包括：
[0039]中间特征图获取子模块，用于调用所述第一卷积单元通过设定大小的卷积核对所述待处理图像进行两倍的下采样，得到通道数为第一通道数的中间特征图；
[0040]第一特征图获取子模块，用于调用所述第二卷积单元通过设定大小的卷积核对所述中间特征图进行两倍的下采样，得到通道数为第二通道数的第一特征图；
[0041]其中，所述第二通道数为所述第一通道数的2倍。
[0042]可选地，每个短时密集连接层中的多个短时密集连接模块包括：第一短时密集连接模块和至少一个第二短时密集连接模块，
[0043]所述第二特征图获取模块包括：
[0044]第一初始特征图获取子模块，用于调用所述多个短时密集连接层中第一个短时密集连接层中的第一短时密集连接模块对所述第一特征图进行两倍的下采样，得到通道数为第三通道数的第一初始特征图；所述第三通道数为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像语义分割方法，其特征在于，包括：将待处理图像输入至图像识别模型；所述图像识别模型包括：短时密集连接网络层和解码网络层，所述短时密集连接网络层包括：卷积模块、多个串联连接的短时密集连接层和输出模块，每个短时密集连接层均包含多个短时密集连接模块；调用所述卷积模块对所述待处理图像进行处理，得到所述待处理图像对应的第一特征图；调用所述短时密集连接层对所述第一特征图进行处理，得到所述第一特征图对应的第二特征图；调用所述输出模块对所述第二特征图进行处理，得到所述第二特征图对应的第三特征图；调用所述解码网络层对所述第三特征图进行上采样，并向分割类别映射，得到通道数为分割类别数的第四特征图；根据所述第四特征图，确定所述待处理图像对应的语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述卷积模块包括：第一卷积单元和第二卷积单元，所述调用所述卷积模块对所述待处理图像进行处理，得到所述待处理图像对应的第一特征图，包括：调用所述第一卷积单元通过设定大小的卷积核对所述待处理图像进行两倍的下采样，得到通道数为第一通道数的中间特征图；调用所述第二卷积单元通过设定大小的卷积核对所述中间特征图进行两倍的下采样，得到通道数为第二通道数的第一特征图；其中，所述第二通道数为所述第一通道数的2倍。3.根据权利要求1所述的方法，其特征在于，每个短时密集连接层中的多个短时密集连接模块包括：第一短时密集连接模块和至少一个第二短时密集连接模块，所述调用所述短时密集连接层对所述第一特征图进行处理，得到所述第一特征图对应的第二特征图，包括：调用所述多个短时密集连接层中第一个短时密集连接层中的第一短时密集连接模块对所述第一特征图进行两倍的下采样，得到通道数为第三通道数的第一初始特征图；所述第三通道数为所述第二通道数的2倍；调用所述第一个短时密集连接层中的至少一个第二短时密集连接模块对所述第一初始特征图进行短时密集连接处理，得到通道数为第三通道数的第一处理特征图；调用所述多个短时密集连接层中的除所述第一个短时密集连接层外的第n个短时密集连接层，对第n
‑
1个短时密集连接层输出的特征图进行两倍的下采样和短时密集连接处理，得到第n处理特征图；获取所述多个短时密集连接层中的最后一个短时密集连接层输出的处理特征图，并将该处理特征图作为所述第二特征图；其中，n为大于等于2的正整数，第n处理特征图的通道数为第n
‑
1个短时密集连接层输出的第n
‑
1处理特征图的通道数的2倍。4.根据权利要求1所述的方法，其特征在于，所述输出模块包括：卷积层、平均池化层和
全卷积网络层，所述调用所述输出模块对所述第二特征图进行处理，得到所述第二特征图对应的第三特征图，包括：调用所述卷积层对所述第二特征图进行下采样，得到采样特征图；调用所述平均池化层对所述采样特征图进行池化处理，得到池化特征图；调用所述全卷积网络层对所述池化特征图进行卷积处理，得到所述第三特征图。5.根据权利要求1所述的方法，其特征在于，每个短时密集连接模块中包含多个操作块，在每个所述短时密集连接模块的操作块中的第二个操作块至倒数第二个操作块的通道数成等比数列，最后一个操作块与倒数第二个操作块的通道数相同。6.一种图像语义分割装置，其特征在于，包括：待处理图像输入模块，用于将待处理图像输入至图像识别模型；所述图像识别模型包括：短时密集连接网络层和解码网络层，所述短时密集连接网络层包括：卷积模块、多个串联连接的短时密集连接层和输出模块，每个短时密集连接层均包含多个短时密集连接模块；...

【专利技术属性】
技术研发人员：范铭源，赖申其，黄君实，罗钧峰，魏晓明，张珂，苏金明，郭魏铭，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：