弱监督图像语义分割方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种弱监督图像语义分割方法、系统、设备及存储介质，它们是一一对应的方案，方案中：通过训练一个孪生网络，对图像的不确定像素进行网络间的交互监督，以实现网络对不确定像素的鲁棒学习，减缓伪标签噪声的影响；同时针对边界噪声的问题，通过构造一些边界已知的样本来增强边缘区域的预测能力；综上，本发明专利技术通过结合提出的边界增强和协同训练方式，有效减缓了伪标签噪声的影响，提高了网络的语义分割性能，能够更为准确的实现图像的语义分割。语义分割。语义分割。

【技术实现步骤摘要】
弱监督图像语义分割方法、系统、设备及存储介质


[0001]本专利技术涉及图像语义分割
，尤其涉及一种弱监督图像语义分割方法、系统、设备及存储介质。

技术介绍

[0002]语义分割是计算机视觉中的一项基本任务，当前基于深度学习的方法在图像语义分割方面取得了巨大的成功。然而，这些均为全监督的方法，需要逐像素的标注，极为耗时耗力。为了减轻对像素级标签的高度依赖，许多研究人员致力于开发具有弱标签形式的弱监督语义分割模型，例如使用显著图像、涂鸦、点、边界框和图像级标注的弱标签（图像级标签）形式作为分割模型的监督。特别地，图像级标签仅表示图像中某些类别的存在，在弱监督中最容易获得，因此，图像级标签监督的语义分割（简称图像级监督的语义分割）更具挑战性以及研究价值。
[0003]图像级监督的语义分割是指仅利用图像级标签来执行像素级分类。该任务通常涉及两个训练阶段。在第一阶段，使用图像标签训练分类模型，用于生成类激活图，然后作为种子区域进一步扩展成伪标签。在第二阶段，生成的伪标签作为像素级的真实监督去训练语义分割模型。在公开号为CN114359559A的中国专利技术专利申请《基于注意力机制图像块度量学习的弱监督语义分割方法》中，基于类激活图像提取正、负样本对，为分类网络增加度量学习任务，以在训练过程中提高网络对同一个类别正图像块的响应,降低对背景和其它噪声类别图像块的响应，从而提高种子区域精度。在公开号为CN115393598A的中国专利技术专利申请《一种基于非显著区域对象挖掘的弱监督语义分割方法》中，引入了一个基于图推理的多尺度特征融合模块来帮助分类网络捕获不连续和远距离区域之间的全局关系, 然后采用潜在对象挖掘和非显著区域掩码,以提高伪标签质量。在公开号为CN115482387A的中国专利技术专利申请《基于多尺度类别原型的弱监督图像语义分割方法及系统》中，通过使用类别原型机制，从图像特征图中发掘类别的位置和语义，准确推断对象的语义信息和像素位置。提取语义信息后，采用多尺度原型融合不同粒度级别的语义信息，大大提高了弱监督前置分类任务对目标的定位能力。在公开号为基于类间相似性的弱监督语义分割方法的中国专利技术专利申请《基于类间相似性的弱监督语义分割方法》中，提出基于每个类别的特征通过聚类方法将相似类进行合并得到新类，然后对新类别的分类网络进行对抗擦除的训练，以得到更完整的类激活图。然而上述的方法都关注于弱监督语义分割的第一阶段，而忽略了第二阶段的重要性。研究发现，第一阶段中更好的伪标签质量并不能保证训练出性能更好的语义分割模型，从而导致语义分割结果的准确性不佳。

技术实现思路

[0004]本专利技术的目的是提供一种弱监督图像语义分割方法、系统、设备及存储介质，可以减缓伪标签噪声的影响，提升语义分割的效果。
[0005]本专利技术的目的是通过以下技术方案实现的：
一种弱监督图像语义分割方法，包括：获取图像数据集中每一图像的分数图，利用每一图像的分数图生成对应的离线伪标签与指示相应离线伪标签不确定度的离线掩码，将图像数据集中的单个图像、对应的离线伪标签与指示相应离线伪标签不确定度的离线掩码称为一个边界未知样本；构建协同训练的用于语义分割的孪生网络，将图像数据集中单个图像分别输入至孪生网络，将孪生网络的预测结果融合，生成融合伪标签与指示相应融合伪标签不确定度的融合掩码，并利用图像数据集中任意两个图像及相应融合伪标签与指示相应融合伪标签不确定度的融合掩码构造一个边界已知的样本；利用若干边界未知样本与构造的若干边界已知的样本形成训练集，利用所述训练集训练孪生网络；训练过程中，对于每一样本，根据掩码指示的不确定度和伪标签对孪生网络的预测结果计算协同训练损失来施加一致性，以及基于样本包含或未包含的边界信息计算边界增强损失，利用协同训练损失与边界增强损失训练孪生网络；其中，所述每一样本包括边界未知样本与边界已知的样本，掩码包括边界未知样本中的离线掩码与边界已知的样本中的掩码，伪标签包括边界未知样本中的离线伪标签与边界已知的样本中的伪标签；利用训练后的孪生网络对输入图像进行语义分割。
[0006]一种弱监督图像语义分割系统，包括：离线伪标与离线掩码生成单元，用于获取图像数据集中每一图像的分数图，利用每一图像的分数图生成对应的离线伪标签与指示相应离线伪标签不确定度的离线掩码，将图像数据集中的单个图像、对应的离线伪标签与指示相应离线伪标签不确定度的离线掩码称为一个边界未知样本；孪生网络构建与边界已知的样本构造单元，用于构建协同训练的用于语义分割的孪生网络，将图像数据集中单个图像分别输入至孪生网络，将孪生网络的预测结果混合，生成融合伪标签与指示相应融合伪标签不确定度的融合掩码，并利用图像数据集中任意两个图像及相应融合伪标签与指示相应融合伪标签不确定度的融合掩码构造一个边界已知的样本；孪生网络训练单元，用于利用若干边界未知样本与构造的若干边界已知的样本形成训练集，利用所述训练集训练孪生网络；训练过程中，对于每一样本，根据掩码指示的不确定度和伪标签对孪生网络的预测结果计算协同训练损失来施加一致性，以及基于样本包含或未包含的边界信息计算边界增强损失，利用协同训练损失与边界增强损失训练孪生网络；其中，所述每一样本包括边界未知样本与边界已知的样本，掩码包括边界未知样本中的离线掩码与边界已知的样本中的掩码，伪标签包括边界未知样本中的离线伪标签与边界已知的样本中的伪标签；语义分割单元，用于利用训练后的孪生网络对输入图像进行语义分割。
[0007]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0008]一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
[0009]由上述本专利技术提供的技术方案可以看出，通过训练一个孪生网络，对图像的不确
定像素进行网络间的交互监督，以实现网络对不确定像素的鲁棒学习，减缓伪标签噪声的影响；同时针对边界噪声的问题，通过构造一些边界已知的样本来增强边缘区域的预测能力；综上，本专利技术通过结合提出的边界增强和协同训练方式，有效减缓了伪标签噪声的影响，提高了网络的语义分割性能，能够更为准确的实现图像的语义分割。
附图说明
[0010]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0011]图1为本专利技术实施例提供的一种弱监督图像语义分割方法的流程图；图2为本专利技术实施例提供的伪标签质量与语义分割模型性能不一致示意图；图3为本专利技术实施例提供的边界增强协同训练的整体框架示意图；图4为本专利技术实施例提供的边界构造策略示意图；图5为本专利技术实施例提供的一种弱监督图像语义分割系统的示意图；图6为本专利技术实施例提供的一种处理设备的示意图。
具体实施方式
[0012]下面结合本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱监督图像语义分割方法，其特征在于，包括：获取图像数据集中每一图像的分数图，利用每一图像的分数图生成对应的离线伪标签与指示相应离线伪标签不确定度的离线掩码，将图像数据集中的单个图像、对应的离线伪标签与指示相应离线伪标签不确定度的离线掩码称为一个边界未知样本；构建协同训练的用于语义分割的孪生网络，将图像数据集中单个图像分别输入至孪生网络，将孪生网络的预测结果融合，生成融合伪标签与指示相应融合伪标签不确定度的融合掩码，并利用图像数据集中任意两个图像及相应融合伪标签与指示相应融合伪标签不确定度的融合掩码构造一个边界已知的样本；利用若干边界未知样本与构造的若干边界已知的样本形成训练集，利用所述训练集训练孪生网络；训练过程中，对于每一样本，根据相应掩码指示的不确定度和相应伪标签对孪生网络的预测结果计算协同训练损失来施加一致性，以及基于样本包含或未包含的边界信息计算边界增强损失，利用协同训练损失与边界增强损失训练孪生网络；其中，所述每一样本包括边界未知样本与边界已知的样本，掩码包括边界未知样本中的离线掩码与边界已知的样本中的掩码，伪标签包括边界未知样本中的离线伪标签与边界已知的样本中的伪标签；利用训练后的孪生网络对输入图像进行语义分割。2.根据权利要求1所述的一种弱监督图像语义分割方法，其特征在于，所述获取图像数据集中每一图像的分数图，利用每一图像的分数图生成对应的离线伪标签与指示相应离线伪标签不确定度的离线掩码包括：获取包含图像级标签的图像数据集，并利用图像数据集训练分类网络；利用训练后的分类网络生成图像数据集中每一图像样本的种子区域，再通过语义分割方法得到每一图像样本的分数图，分数图表示预测的相应图像样本中每个像素的在每一类别上的分数；对分数图进行argmax操作，生成每一图像样本对应的离线伪标签，其中，argmax表示取最大值对应的元素；同时，根据每一图像样本的分数图生成指示相应离线伪标签不确定度的离线掩码。3.根据权利要求1或2所述的一种弱监督图像语义分割方法，其特征在于，生成指示相应离线伪标签不确定度的离线掩码的方式包括：计算每一图像样本的分数图中每个像素最高分数和第二高分数的差值，将差值最大的一部分像素记为第一置信度像素，将剩余部分像素记为第二置信度像素，生成指示相应离线伪标签不确定度的离线掩码；其中，第一置信度高于第二置信度，第一置信度像素的掩码值为1，第二置信度像素的掩码值为0。4.根据权利要求1所述的一种弱监督图像语义分割方法，其特征在于，所述将图像数据集中单个图像分别输入至孪生网络，将孪生网络的预测结果融合，生成融合伪标签与指示相应融合伪标签不确定度的融合掩码包括：将单个图像分别输入至孪生网络，获得孪生网络的预测结果，记为和；将孪生网络的预测结果和融合，获得融合预测结果；对融合预测结果执行argmax操作生成融合伪标签，对于融合伪标签中每个像素，
如果类别对应融合预测结果中的概率大于设定的阈值，则记为第一置信度像素，否则记为第二置信度像素，生成指示相应融合伪标签不确定度的融合掩码；其中，argmax表示取最大值对应的元素，第一置信度高于第二置信度，第一置信度像素的掩码值为1，第二置信度像素的掩码值为0。5.根据权利要求1所述的一种弱监督图像语义分割方法，其特征在于，所述利用图像数据集中任意两个图像及相应融合伪标签与指示相应融合伪标签不确定度的融合掩码构造一个边界已知的样本包括：将任意两个图像及相应融合伪标签与指示相应融合伪标签不确定度的融合掩码记为和；其中，与表示任意两个图像，与为图像对应的融合伪标签与指示相应融合伪标签不确定度的融合掩码，与为图像对应的融合伪标签与指示相应融合伪标签不确定度的融合掩码；随机选择融合伪标签中一半的类别获得类别掩码，并过滤第二置信度像素，获得第一置信度像素的类别掩码：；其中，表示逐元素乘操作，类别掩码中所选择类别对应像素的掩码值为1，剩余像素的掩码值为0；然后，构造混合图像、混合伪标签、混合掩码与边界图，形成一个边界已知的样本：；；；其中，表示混合图像，表示边界已知的样本中的伪标签，即混合伪标签，表示边界已知的样本中的掩码，即混合掩码；表示边界图，通过第一置信度像素的类别掩码得到。6.根据权利要求...

【专利技术属性】
技术研发人员：王子磊，容圣海，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：