【技术实现步骤摘要】
本专利技术涉及弱监督语义分割和度量学习的，尤其是指一种基于高质量局部区域的图像弱监督语义分割方法。
技术介绍
1、语义分割任务作为重要的计算机视觉任务之一，在现实世界中有着非常广泛的应用，如自动驾驶中的道路场景分割、遥感中的地图区域分割、医疗中的病理图像分割、机器人视觉、视频软件中的人物抠图功能、电商软件中的虚拟试衣功能等等，但语义分割任务训练所需的像素级别分割标签获取难度大，阻碍了语义分割任务在许多现实场景中的应用。弱监督语义分割作为一种弱监督训练任务，只使用图像级别的类别标签就可以训练语义分割模型，极大地降低了将语义分割应用到现实场景的代价，更简单地就能让机器“看”到世界、理解世界。
2、但由于图像级别标签与像素级别标签在监督粒度上存在差距，导致弱监督语义分割训练出的模型通常只能关注到目标对象最具判别性的区域而缺乏对目标对象的完整覆盖。为了解决上述基于图像级标签训练语义分割模型引发的问题，现有的方法在模型训练过程中引入局部区域来辅助模型学习，强调对目标对象的完整覆盖，有效地提高了模型对完整的目标对象区域的关注，也证明了局部区域对提升弱监督语义分割任务效果的有效性和重要性。但现有方法生成的局部区域缺乏多样性、局部区域质量无法保证、局部区域标签不准确、对局部区域中的信息使用不充分，从而无法充分挖掘局部区域以更好地提升弱监督语义分割的性能。
技术实现思路
1、本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于高质量局部区域的图像弱监督语义分割方法，能够生成多样性
2、为实现上述目的，本专利技术所提供的技术方案为：基于高质量局部区域的图像弱监督语义分割方法，包括以下步骤：
3、1)生成局部区域候选集：给定训练数据集，在训练数据集中每一张图像的尺寸范围内随机生成矩形局部区域的位置、大小数据，产生局部区域候选集；
4、2)对局部区域进行评估及筛选以获取高质量局部区域：使用分类器网络计算局部区域的类别激活图，基于类别激活图计算局部区域的伪分割标签和每个标签类别的类别置信度，使用伪分割标签计算每个类别在局部区域的占比，将占比最大的类别作为局部区域类别，并将对应的占比作为该局部区域的前景占比评估值，将对应的类别置信度作为该局部区域的置信度评估值，根据前景占比评估值以及置信度评估值选择出高质量局部区域；
5、3)使用高质量局部区域：使用对比学习中的三元组损失约束局部区域的类别概率；三元组损失的正负样本对选择标准为：当确定一个锚点样本后，从同一训练批次的局部区域中，选择前景类别相同、背景差异大的作为正样本，同时选择前景类别不同、背景相似的作为负样本；使用三元组损失约束锚点和正样本的类别概率相近，同时约束锚点和负样本的类别概率不相似。
6、进一步，在步骤1)中，给定训练数据集d，对于训练数据集d中的每一张图像i，随机生成j个落在图像尺寸范围内的矩形局部区域，这些局部区域具有随机位置以及长宽，但应当满足：当图像左上端点放置在二维坐标轴原点，且在x轴和y轴上的长度和宽度分别为h、w时，任一个局部区域j，j＝0,1,2,...,j，其长度应满足hj<h，宽度满足wj＜w，坐标需满足：
7、
8、式中，xlt、ylt、xrb、yrb分别表示局部区域左上端点的横坐标、左上端点的纵坐标、右下端点的横坐标、右下端点的纵坐标；
9、随后初步根据大小、长宽比例进行筛选，即给定最小尺寸要求s以及最大长宽比r，筛选掉尺寸小于s以及长宽比小于1/r或大于r的局部区域，构成局部区域候选集。
10、进一步，所述步骤2)包括以下步骤：
11、2.1)使用分类器网络计算局部区域的类别激活图；
12、2.2)基于类别激活图计算局部区域中每个类别的前景占比和每个类别的类别置信度，具体如下：
13、首先，基于类别激活图计算局部区域的伪分割标签，简称为伪标签，每个像素位置的伪标签计算公式如下；
14、
15、式中，表示像素pt的伪标签；k表示第k个类别，取值范围为1到k，一共有k个类别；表示第k个类别的类别激活图中像素pt所在位置的类别激活值；表示遍历所有类别，选择x值最大的类别作为伪标签
16、得到伪标签后能够计算局部区域中每一个前景类别的占比，此处前景类别指的是给定数据集d中所有关注的类别，与前景类别相对的是背景类别；类别k的前景占比计算公式如下：
17、
18、式中，fgratiok表示类别k的前景占比，其范围为[0,1]；tk表示局部区域中伪标签为类别k的像素个数；t为局部区域中像素总个数；
19、每个类别的类别置信度基于类别激活图算出，计算公式如下：
20、
21、式中，confidk表示第k个类别的类别置信度；表示遍历并累加t取值从0到t的所有情况；
22、2.3)确定局部区域类别以及局部区域评估值：将前景占比最大的类别作为局部区域的类别，将该类别对应的占比作为该局部区域的前景占比评估值，同时将该类别的类别置信度作为该局部区域的置信度评估值；
23、2.4)进行局部区域选择时，能够基于前景占比评估值进行选择、基于置信度评估值进行选择或基于前景占比和置信度评估值的综合结果进行选择，从而获取高质量局部区域；设置选择数量p，基于前景占比评估值进行选择时，将局部区域按照前景占比评估值即fgratiok进行排序，选择中间的p个局部区域；基于置信度评估值进行选择时，将局部区域按照置信度评估值即confidk进行排序，选择中间的p个局部区域；基于前景占比和置信度评估值的综合结果进行选择时，首先使用如下公式得到综合评估值：
24、overallk＝λ*fgratiok+(1-λ)*confidk
25、式中，overallk为综合评估值；λ是权衡系数，范围为[0,1]，决定了使用前景占比评估值和置信度评估值的比例；
26、得到综合评估值后，将局部区域按照综合评估值即overallk进行排序，选择中间的p个局部区域；
27、将局部区域按照评估值进行排序后，获取中间的p个局部区域的方法为：对于一个训练批次中所有jbatch个局部区域，中间p个局部区域为目标，两边各个局部区域为非目标，因此，对排序后的所有局部区域，获取第个到第个局部区域；其中，jbatch≥p；为向下取整符号。
28、进一步，所述步骤3)包括以下步骤：
29、3.1)计算局部区域的背景特征表示：
30、
31、式中，fbg为背景特征表示；tbg为局部区域中背景像素个数；表示遍历并累加t取值从0到tbg的所有情况；表本文档来自技高网...
【技术保护点】
1.基于高质量局部区域的图像弱监督语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于高质量局部区域的图像弱监督语义分割方法，其特征在于，在步骤1)中，给定训练数据集D，对于训练数据集D中的每一张图像i，随机生成J个落在图像尺寸范围内的矩形局部区域，这些局部区域具有随机位置以及长宽，但应当满足：当图像左上端点放置在二维坐标轴原点，且在x轴和y轴上的长度和宽度分别为h、w时，任一个局部区域j，j＝0,1,2,...,J，其长度应满足hj＜h，宽度满足wj＜w，坐标需满足：
3.根据权利要求2所述的基于高质量局部区域的图像弱监督语义分割方法，其特征在于，所述步骤2)包括以下步骤：
4.根据权利要求3所述的基于高质量局部区域的图像弱监督语义分割方法，其特征在于，所述步骤3)包括以下步骤：
5.根据权利要求4所述的基于高质量局部区域的图像弱监督语义分割方法，其特征在于，所述分类器网络为使用给定训练数据集D训练出的任意神经网络分类器或者预训练好的神经网络分类器。
【技术特征摘要】
1.基于高质量局部区域的图像弱监督语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于高质量局部区域的图像弱监督语义分割方法，其特征在于，在步骤1)中，给定训练数据集d，对于训练数据集d中的每一张图像i，随机生成j个落在图像尺寸范围内的矩形局部区域，这些局部区域具有随机位置以及长宽，但应当满足：当图像左上端点放置在二维坐标轴原点，且在x轴和y轴上的长度和宽度分别为h、w时，任一个局部区域j，j＝0,1,2,...,j，其长度应满足h...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。