半监督图像语义分割方法技术

本发明专利技术公开了一种半监督图像语义分割方法

【技术实现步骤摘要】
半监督图像语义分割方法、装置、设备及存储介质


[0001]本专利技术涉及计算机视觉处理
，尤其涉及一种半监督图像语义分割方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]语义分割是计算机视觉领域的一项基础任务，其目标是为图像中的每个像素赋予语义类别标签；近年来，强监督语义分割方法取得了显著进展，如
PSPNet、Deeplabv3+
和
SegFormer
；此外，像
Cityscapes
等大规模开源分割数据集的出现也对强监督方法的发展起到了积极的推动作用；然而，像素级的分割标注耗时且工作量比较大；为了解决这个问题，提出了半监督语义分割方法，其旨在利用少量有标签图像和大量无标签图像来提高分割性能
。
[0003]在半监督语义分割领域，一致性正则化技术被广泛采用，但是半监督语义分割面临着标记图像不足和分割标注耗时较长，训练成本较大的问题
。

技术实现思路

[0004]本专利技术的主要目的在于提供一种半监督图像语义分割方法
、
装置
、
设备及存储介质，旨在解决现有技术中半监督语义分割面临着标记图像不足和分割标注耗时较长，训练成本较大的技术问题
。
[0005]第一方面，本专利技术提供一种半监督图像语义分割方法，所述半监督图像语义分割方法包括以下步骤：
[0006]将输入图像输入至骨干网络，将所述骨干网络的输出特征输入到解码器，获得解码器特征；
[0007]将所述输出特征和所述解码器特征通过额外添加的卷积分类层，获得卷积输出结果
、
解码输出结果和核心输出结果；
[0008]将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行标签监督，获得语义分割结果
。
[0009]可选地，所述将输入图像输入至骨干网络，将所述骨干网络的输出特征输入到解码器，获得解码器特征，包括：
[0010]将输入图像输入至骨干网络的各个阶段，获得各个阶段的一系列特征，将所述一系列特征作为所述骨干网络的输出特征；
[0011]将所述输出特征输入到解码器，获得解码器特征
。
[0012]可选地，所述将所述输出特征和所述解码器特征通过额外添加的卷积分类层，获得卷积输出结果
、
解码输出结果和核心输出结果，包括：
[0013]将所述骨干网络的第二到第五个输出特征通过额外添加的4个
1x1
卷积分类层得到四个额外的卷积输出结果；
[0014]将所述解码器特征通过额外添加的1个
1x1
卷积分类层得到一个额外的解码输出
结果；
[0015]将所述解码器特征通过分割网络自带的1个
1x1
卷积分类层得到核心输出结果
。
[0016]可选地，所述将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行标签监督，获得语义分割结果，包括：
[0017]获取所述卷积输出结果
、
所述解码输出结果和所述核心输出结果中的数据类型；
[0018]根据所述数据类型将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行有标签图片监督和无标签图片监督，获得语义分割结果
。
[0019]可选地，所述根据所述数据类型将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行有标签图片监督或无标签图片监督，获得语义分割结果，包括：
[0020]在所述数据类型为有标签数据时，将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行有标签图片监督，获得各阶段的标准交叉熵损失，根据所述标准交叉熵损失获得有标签语义分割结果；
[0021]在所述数据类型为无标签数据时，将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行无标签图片监督，前置反馈获得伪标签监督结果，根据所述伪标签监督结果获得无标签语义分割结果
。
[0022]可选地，所述在所述数据类型为有标签数据时，将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行有标签图片监督，获得各阶段的标准交叉熵损失，根据所述标准交叉熵损失获得有标签语义分割结果，包括：
[0023]在所述数据类型为有标签数据时，将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行有标签图片监督，通过下式获得各阶段的标准交叉熵损失：
[0024][0025]其中，
L1为标准交叉熵损失，
l
ce
为标准交叉熵计算，为所有卷积输出结果从浅到深进行排序的第
j
个排序结果，为每一个排序结果中概率最大的预测结果，
u
表示无标签；
[0026]根据所述标准交叉熵损失获得有标签语义分割结果
。
[0027]可选地，所述在所述数据类型为无标签数据时，将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行无标签图片监督，前置反馈获得伪标签监督结果，根据所述伪标签监督结果获得无标签语义分割结果，包括：
[0028]在所述数据类型为无标签数据时，将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行无标签图片监督，通过下式前置反馈获得伪标签监督结果：
[0029][0030]其中，
L
u
为伪标签监督结果，
l
ce
为标准交叉熵计算，为所有卷积输出结果从浅到深进行排序的第
j
个排序结果，为每一个排序结果中概率最大的预测结果，
u
表示无标签；
[0031]根据所述伪标签监督结果获得无标签语义分割结果
。
[0032]第二方面，为实现上述目的，本专利技术还提出一种半监督图像语义分割装置，所述半监督图像语义分割装置包括：
[0033]解码模块，用于将输入图像输入至骨干网络，将所述骨干网络的输出特征输入到解码器，获得解码器特征；
[0034]添加卷积模块，用于将所述输出特征和所述解码器特征通过额外添加的卷积分类层，获得卷积输出结果
、
解码输出结果和核心输出结果；
[0035]标签监督模块，用于将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行标签监督，获得语义分割结果
。
[0036]第三方面，为实现上述目的，本专利技术还提出一种半监督图像语义分割设备，所述半监督图像语义分割设备包括：存储器
、
处理器及存储在所述存储器上并可在所述处理器上运行的半监督图像语义分割程序，所述半监督图像语义分割程序配置为实现如上文所述的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种半监督图像语义分割方法，其特征在于，所述半监督图像语义分割方法包括：将输入图像输入至骨干网络，将所述骨干网络的输出特征输入到解码器，获得解码器特征；将所述输出特征和所述解码器特征通过额外添加的卷积分类层，获得卷积输出结果
、
解码输出结果和核心输出结果；将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行标签监督，获得语义分割结果
。2.
如权利要求1所述的半监督图像语义分割方法，其特征在于，所述将输入图像输入至骨干网络，将所述骨干网络的输出特征输入到解码器，获得解码器特征，包括：将输入图像输入至骨干网络的各个阶段，获得各个阶段的一系列特征，将所述一系列特征作为所述骨干网络的输出特征；将所述输出特征输入到解码器，获得解码器特征
。3.
如权利要求1所述的半监督图像语义分割方法，其特征在于，所述将所述输出特征和所述解码器特征通过额外添加的卷积分类层，获得卷积输出结果
、
解码输出结果和核心输出结果，包括：将所述骨干网络的第二到第五个输出特征通过额外添加的4个
1x1
卷积分类层得到四个额外的卷积输出结果；将所述解码器特征通过额外添加的1个
1x1
卷积分类层得到一个额外的解码输出结果；将所述解码器特征通过分割网络自带的1个
1x1
卷积分类层得到核心输出结果
。4.
如权利要求1所述的半监督图像语义分割方法，其特征在于，所述将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行标签监督，获得语义分割结果，包括：获取所述卷积输出结果
、
所述解码输出结果和所述核心输出结果中的数据类型；根据所述数据类型将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行有标签图片监督和无标签图片监督，获得语义分割结果
。5.
如权利要求4所述的半监督图像语义分割方法，其特征在于，所述根据所述数据类型将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行有标签图片监督或无标签图片监督，获得语义分割结果，包括：在所述数据类型为有标签数据时，将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行有标签图片监督，获得各阶段的标准交叉熵损失，根据所述标准交叉熵损失获得有标签语义分割结果；在所述数据类型为无标签数据时，将所述卷积输出结果
、
所述解码输出结果和所述核心输出结果进行无标签图片监督，前置反馈获得伪标签监督结果，根据所述伪标签监督结果获得无标签语义分割结果
。6.
如权利要求5所述的半监督图像语义分割方法，其特征在于，所述在所述数据类型为有...

【专利技术属性】
技术研发人员：许永超，肖鑫，
申请(专利权)人：武汉大学，
类型：发明
国别省市：