一种基于动态课程学习的图像语义分割方法技术

本发明专利技术公开了一种基于动态课程学习的图像语义分割方法。首先提出了一种数据生成策略来自动生成具有像素级注释的大规模合成图像。提出的动态课程学习方法在第一次迭代学习过程中利用合成图像来训练分割模型，为目标图像生成像素级伪标签。在接下来的每轮迭代学习中，使用具有像素级注释的合成图像和具有像素级伪标签的目标图像来联合优化分割模型。每轮训练结束后，提出的动态课程学习通过图像级样本选择、数据增强和CRF后处理三个主要步骤动态更新目标域的训练集和伪标签。在不使用目标数据的任何标签，即图像级标签、边界框级注释和像素级注释的情况下，提出的方法获得了比大多数现有的弱监督更好的性能。多数现有的弱监督更好的性能。多数现有的弱监督更好的性能。

【技术实现步骤摘要】
一种基于动态课程学习的图像语义分割方法


[0001]本专利技术属于计算机视觉领域，涉及模式识别、图像处理、深度学习等技术，具体涉及基于深度学习的图像分割方法。

技术介绍

[0002]图像语义分割是计算机视觉的一项任务，它分配给每个像素一个语义标签。图像语义分割广泛应用自动驾驶、影像诊断、图像编辑、智能交通、安防等领域。深度语义图像分割方法的成功很大程度上取决于大规模训练图像的可用性，然而标注大规模带有像素级标签的训练图像是一项耗时耗力且难以保证标注质量的工作。为了解决这个问题，一些方法尝试使用弱标签(例如涂鸦、边界框和图像级标签)来设计语义分割模型。其中，最广泛使用的方法是仅使用图像级分类标签，该标签可以很容易地从大量数据中获得。图像级弱监督语义分割(WSSS)的常见流程是通过使用图像级标签(例如，类激活图)训练多标签分类模型来生成伪标签，并使用生成的伪标签作为监督来训练。成功的例子包括SEAM、AdvCAM、SIPE、ReCAM、TSCD和ToCo。尽管这些方法大大降低了标注成本，但它们仍然面临以下关键挑战：1)CAM生成的初始伪标签通常侧重于识别目标对象的小区别部分，而不是整个对象；2)当伪标签用于训练全监督分割模型时，伪标签中的噪声可能会导致语义图像分割的漂移。

技术实现思路

[0003]本专利技术的目的在于能够解决强监督语义分割存在的标注耗时耗力和弱监督语义分割性能不佳的问题，提供一种基于动态课程学习的图像语义分割方法。
[0004]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0005]一种基于动态课程学习的图像语义分割方法，包括以下步骤：
[0006]步骤1：根据物体类别的语义概念从互联网上收集具有RGBA颜色的包含目标物体的图像作为前景图像，并从BG
‑
20k数据集中收集图像作为背景图像；
[0007]步骤2：对前景图像对应的alpha通道进行二值化，得到前景物体的像素级标签；
[0008]步骤3：根据步骤2生成的像素级标签从前景图像中剪切目标，随机缩放这些目标图像并将其随机粘贴到背景图像中，得到合成数据集AIBD
‑
VOC；
[0009]步骤4：在合成数据集AIBD
‑
VOC学习教师模型并最小化损失；
[0010]步骤5：使用训练好的教师模型为未标记的图像生成伪标签：
[0011]步骤6：使用图像级样本选择方法(ISS)过滤掉不可靠的伪标签，得到带有可靠像素级标签的图像数据；
[0012]步骤7：在步骤6得到的带有可靠像素级标签的未标注图像数据和AIBD
‑
VOC数据集上使用复制粘贴操作来增广数据；
[0013]步骤8：在合成数据集AIBD
‑
VOC、带有可靠像素级标签的未标注图像数据和步骤7得到的增广数据上学习一个学生模型并最大限度地减少损失；
[0014]步骤9：以学生模型作为教师模型，返回步骤5，直到训练图像的数量停止增长。
[0015]步骤10：以步骤9得到的可靠数据和合成数据集AIBD
‑
VOC作为训练数据来训练分割模型以完成图像语义分割。
[0016]进一步的，步骤1中物体类别的语义概念是在互联网上寻找与PASCAL VOC 2012的20个目标类一致的类别。
[0017]进一步的，步骤4和步骤8中的教师模型和学生模型使用的语义分割网络为DeepLabv3。
[0018]进一步的，步骤5中在使用教师模型为未标注图像生成伪标签的过程中使用条件随机场CRF来细化分割结果。
[0019]进一步的，步骤5中使用的未标注图像是PASCAL VOC 2012数据集，尽管PASCAL VOC2012数据集有像素级标签，忽略其标签将其视作为未标注的数据。
[0020]进一步的，步骤6中图像级样本选择方法(ISS)，具体步骤为：
[0021]步骤6
‑
1、利用步骤3得到的具有像素级标签的合成数据集AIBD
‑
VOC；
[0022]步骤6
‑
2、基于像素级标签从AIBD
‑
VOC数据集中将目标抠出来得到目标图像；
[0023]步骤6
‑
3、然后使用这些目标图像来训练图像分类器，其中分类器使用PMG模型；
[0024]步骤6
‑
4、使用训练好的分类器来预测目标图像，其中教师模型产生的目标图像的标签，即图像级标签与分类器预测的标签不一致的被删除。
[0025]进一步的，步骤7中复制粘贴操作的核心是粘贴的对象是从一张图像中根据像素级标签抠出mask部分对应的实例，然后随机粘贴到另一张图像上。复制粘贴的对象是精确到像素级的。
[0026]进一步的，步骤8中在学生模型训练过程中使用强数据增广SDA方法进一步增广训练数据，强数据增广SDA方法对图像进行颜色抖动、灰度、模糊和空间变换剪切处理。
[0027]进一步的，步骤4和8中损失函数使用的是交叉熵损失函数：
[0028][0029]其中，C为类别的数量，为第c
th
类在像素(i,j)处的ground truth概率，为第c
th
类像素在(i,j)处的得分，H和W分别为图像的高度和宽度。
[0030]进一步的，步骤9中直到训练图像的数量停止增长后停止迭代训练的核心思想是：每一轮的迭代学习后会产生新的训练数据，通常情况下训练数据会逐步增长，当训练数据增长到一定程度后，学生模型没有收到比教师提供的更多的监督时，模型的性能就很难继续增长，这个时候就停止迭代训练。
[0031]进一步的，步骤10中使用mIoU来验证分割模型的性能。
[0032]与现有技术相比，本专利技术具有以下有益效果：
[0033]本专利技术的基于动态课程学习的图像语义分割方法，能够仅根据目标的语义概念在不需要人工标注的情况下生成大规模的像素级标签，且在部分图像上生成的标签可以媲美人工标注的像素级分割标签。本专利技术解决了人工标注像素级语义标签的耗时耗力操作，在不使用目标数据的任何标签(即图像级标签、边界框级注释和像素级注释)的情况下，我们的模型比大多数现有的弱监督方法和半监督方法获得更好的分割性能。
附图说明
[0034]图1为提出方法的总体框架图；
[0035]图2为提出方法的分割结果；
[0036]其中“Image”表示原始图像，“Ground Truth”表示人工标注的像素级标签，“Prediction”表示提出方法得到的预测结果。
具体实施方式
[0037]下面结合具体的实施例对本专利技术做进一步的详细说明，所述是对本专利技术的解释而不是限定。
[0038]一种基于动态课程学习的图像语义分割方法，包括以下步骤：
[0039]步骤1：从互联网上收集具有RGBA颜色的包含人、鸟、猫、牛、狗、马、羊、飞机、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态课程学习的图像语义分割方法，其特征在于，包括以下步骤：步骤1：根据物体类别的语义概念从互联网上收集具有RGBA颜色的包含目标物体的图像作为前景图像，并从BG
‑
20k数据集中收集图像作为背景图像；步骤2：对前景图像对应的alpha通道进行二值化，得到前景物体的像素级标签；步骤3：根据步骤2生成的像素级标签从前景图像中剪切目标，随机缩放这些目标图像并将其随机粘贴到背景图像中，得到合成数据集AIBD
‑
VOC；步骤4：在合成数据集AIBD
‑
VOC学习教师模型并最小化损失；步骤5：使用训练好的教师模型为未标记的图像生成伪标签：步骤6：使用图像级样本选择方法(ISS)过滤掉不可靠的伪标签，得到带有可靠像素级标签的图像数据；步骤7：在步骤6得到的带有可靠像素级标签的未标注图像数据和AIBD
‑
VOC数据集上使用复制粘贴操作来增广数据；步骤8：在合成数据集AIBD
‑
VOC、带有可靠像素级标签的未标注图像数据和步骤7得到的增广数据上学习一个学生模型并最大限度地减少损失；步骤9：以学生模型作为教师模型，返回步骤5，直到训练图像的数量停止增长。步骤10：以步骤9得到的可靠数据和合成数据集AIBD
‑
VOC作为训练数据来训练分割模型以完成图像语义分割。2.根据权利要求1所述的基于动态课程学习的图像语义分割方法，其特征在于，步骤1中物体类别的语义概念是在互联网上寻找与PASCAL VOC 2012的20个目标类一致的类别。3.根据权利要求1所述的基于动态课程学习的图像语义分割方法，其特征在于，步骤4和步骤8中的教师模型和学生模型使用的语义分割网络为DeepLabv3。4.根据权利要求1所述的基于动态课程学习的图像语义分割方法，其特征在于，步骤5中在使用教师模型为未标注图像生成伪标签的过程中使用条件随机场CRF来细化分割结果。5.根据权利要求1所述的基于动态课程学习的图像语义分割方法，其特征在于，步骤5中使用的未标注图像是PASCAL VOC 2012数据集，尽管PASCAL V...

【专利技术属性】
技术研发人员：张翔，罗迒哉，钟升，张万绪，彭进业，范建平，
申请(专利权)人：西北大学，
类型：发明
国别省市：