一种两阶段的零样本图像语义分割方法技术

本发明专利技术公开了一种两阶段的零样本图像语义分割方法，分为类别无关前背景图像分割模块与零样本目标分类模块两部分。类别无关前背景图像分割采用基于Mask

【技术实现步骤摘要】
一种两阶段的零样本图像语义分割方法


[0001]本专利技术涉及深度学习图像分割领域，尤其是涉及一种两阶段的零样本图像语义分割(Zero Shot Semantic Segmentation,ZSSS)方法。

技术介绍

[0002]随着计算机视觉和图像技术的发展，深度学习以其高性能的优势广泛应用在了图像分类，图像检测，图像分割等各个领域，并迅速达到了各个领域的领先水平。图像语义分割作为基本的计算机视觉问题(图像分类，物体识别检测，语义分割)，广泛应用于自动驾驶，医学成像和工业检测等领域。而当前的全监督语义分割方法严重依赖于密集型像素级别的语义标签。而获取像素级别的语义标签需要昂贵的人力与时间成本，特别在医学图像等专业领域标注门槛高带来的标注成本更是不可预估。为降低标注成本，弱标签(如图像级别标签、目标框级别标签)、个别标签(如小样本学习)算法引起了广泛的关注与研究。而对于更加具有应用意义同时更具挑战性的零样本分割问题目前还没有得到广泛的关注与研究。
[0003]当前零样本目标分割方法均基于一阶段的Deeplab系列预测像素级别的类别语义信息。而此类方法存在两个主要的问题：1)未利用目标的整体信息，故物品的不同的部分会预测成不同的类别。2)像素级别的预测造成预测掩码存在较多噪点，即背景上可能会预测出较多不规则的噪点区域。

技术实现思路

[0004]为解决现有技术的不足，实现提升零样本目标分割方法的性能的目的，本专利技术采用如下的技术方案：
[0005]一种两阶段的零样本图像语义分割方法，包括如下步骤：
[0006]S1，基于Mask
‑
RCNN的两阶段类别无关的前背景图像分割，基于Mask
‑
RCNN的两阶段图像分割框架，将第二阶段的分类分支改为仅区分前背景两类，图像经过RPN后，送入第二阶段进行前背景的分类、检测框的微调以及前景的分割，图像经过Mask
‑
RCNN后得到类别无关的物体的前景检测框以及前景掩码，因分类分支不区分目标类别，可保证方法在已知类上训练后测试时也能得到未知类的检测框和前景掩码；
[0007]S2，基于CADA
‑
VAE进行零样本目标分类，采用变分自编码器的方法首先分别进行视觉特征域与语义特征域的自动编解码，将视觉特征与语义特征转换到共同的隐变量特征空间，保证视觉特征与语义特征都能达到较高的重构精度，得到表征能力较强的隐变量特征，随后为保证视觉特征域与语义特征域的跨域对齐，通过加入跨域编解码监督，减小视觉特征域与语义特征域的域距离，使未知类可以高精度得通过语义特征与视觉特征联系起来，然后基于未知类语义特征转换的隐变量特征训练分类器，给定编码器E，解码器D，则交叉对齐的损失为：
[0008][0009]其中，x表示输入的视觉特征或者语义特征，i、j表示不同的域。
[0010]进一步的，所述步骤S1中的Mask
‑
RCNN的图像分割分支加入边缘自监督和内外边缘判别器模块，辅助图像前景分割。
[0011]进一步的，所述边缘自监督模块具体表现为平等性变换，即对输入图像进行仿射变换送入前背景分类网络得到图像分割结果，与对原输入图像的图像分割结果进行相同仿射变换得到的结果相同，该模块可有效消除分割结果的噪点并保证分割结果的一致性，前背景分类网络F
θ
，仿射变换矩阵A，的权重矩阵w，则边缘自监督损失定义如下：
[0012][0013]其中，x表示输入的待分割图片，w
′
表示的权重矩阵。
[0014]进一步的，所述内外边缘判别器模块分为内边缘判别器和外边缘判别器两部分，内边缘判别器用于判断物体边缘是否在物体内部，外边缘判别器用于判断分割边缘是否包含图像背景，在训练过程中，对标注掩码进行膨胀得到模拟的外边缘，对标注掩码进行腐蚀得到模拟的内边缘，采用内外边缘判别器判断是否是内边缘或外边缘，采用生成和判别对抗训练的方式辅助生成器生成更高精度的边缘，辅助图像前景分割，得到更高的分割精度。
[0015]进一步的，所述判别器采用多层感知机。
[0016]进一步的，所述步骤S2中采用DeepInversion反向生成视觉特征辅助零样本目标分类，DeepInversion利用训练好的模型反向生成视觉特征图，作为视觉特征加入CADA
‑
VAE零样本目标分类方法中，使未知类的语义特征与视觉特征对齐，减少未知类视觉特征与语义特征的域距离，从而提高分类精度。
[0017]进一步的，所述DeepInversion加入教师网络和学生网络，即采用知识蒸馏，得到的特征的KL散度损失的监督，以增加生成图像的多样性。
[0018]进一步的，加入已训练好模型中各BN层的移动平均值和移动平均方差的监督，加入生成图像，即开源模型反向生成视觉特征图的二范数和方差的监督，增加生成图像的真实性，l表示网络各层，u
l
，分别表示均值和方差，则BN层的正则为：
[0019][0020]其中，E表示期望，X表示数据分布，x表示合成前的图像，表示合成的图像。
[0021]进一步的，第一阶段同时会得到物体的外接矩形框，外接矩形框的内容经过网络层后得到所述视觉特征。
[0022]进一步的，所述语义特征就是语义词向量或者属性向量，语义词向量通过BERT等NLP模型训练得到，属性向量通过已有的数据集得到。
[0023]本专利技术的优势和有益效果在于：
[0024]本专利技术方法在全监督语义分割方法中，完全避免了样本标注耗费的昂贵的人力与时间成本，本专利技术的方法能快速应用到各领域，尤其是促进专业领域的相关方法能够得到较快的提升。
附图说明
[0025]图1是本专利技术的框架结构图。
具体实施方式
[0026]以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。
[0027]本专利技术在很大程度上避免和抑制了当前方法的问题，最终带来零样本目标分割方法的性能提升，促进零样本目标分割方法领域的研究进展，加快在科研和工程界的应用。采用全新的两阶段分割算法实现已知类(可获得语义标签的)的语义分割到未知类(不可获得语义标签的类别)的语义分割的知识迁移。Mask
‑
RCNN分为两个阶段，第一个阶段扫描图像并生成提议(proposals，即有可能包含一个目标的区域)，第二阶段分类提议并生成检测框和掩码。
[0028]一种两阶段的零样本图像语义分割方法，包括以下步骤：
[0029]1)基于Mask
‑
RCNN的两阶段类别无关的前背景图像分割
[0030]基于Mask
‑
RCNN的两阶段图像分割框架，将第二阶段的分类分支改为仅区分前背景两类，图像经过RPN(RegionProposal Network，区域生成网络)后，送入第二阶段进行前背景的分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种两阶段的零样本图像语义分割方法，其特征在于包括如下步骤：S1，基于Mask
‑
RCNN的两阶段类别无关的前背景图像分割，基于Mask
‑
RCNN的两阶段图像分割框架，将第二阶段的分类分支改为仅区分前背景两类，图像经过RPN后，送入第二阶段进行前背景的分类、检测框的微调以及前景的分割，图像经过Mask
‑
RCNN后得到类别无关的物体的前景检测框以及前景掩码；S2，基于CADA
‑
VAE进行零样本目标分类，首先分别进行视觉特征域与语义特征域的自动编解码，将视觉特征与语义特征转换到共同的隐变量特征空间，随后通过加入跨域编解码监督，减小视觉特征域与语义特征域的域距离，然后基于未知类语义特征转换的隐变量特征训练分类器，给定编码器E，解码器D，则交叉对齐的损失为：其中，x表示输入的视觉特征或者语义特征，i、j表示不同的域。2.如权利要求1所述的一种两阶段的零样本图像语义分割方法，其特征在于所述步骤S1中的Mask
‑
RCNN的图像分割分支加入边缘自监督和内外边缘判别器模块。3.如权利要求2所述的一种两阶段的零样本图像语义分割方法，其特征在于所述边缘自监督模块具体表现为平等性变换，即对输入图像进行仿射变换送入前背景分类网络得到图像分割结果，与对原输入图像的图像分割结果进行相同仿射变换得到的结果相同，前背景分类网络F
θ
，仿射变换矩阵A，的权重矩阵w，则边缘自监督损失定义如下：其中，x表示输入的待分割图片，w
′
表示的权重矩阵。4.如权利要求2所述的一种两阶段的零样本图像语义分割方法，其特征在于所述内外边缘判别器模块分为内边缘判别器和外边缘判别器...

【专利技术属性】
技术研发人员：刘亚洁，
申请(专利权)人：之江实验室，
类型：发明
国别省市：