基于语义分割的图像像素级伪标签确定方法及系统技术方案

本发明专利技术涉及一种基于语义分割的图像像素级伪标签确定方法及系统，该方法包括：获取第一图像并对其进行特征提取，得到第一特征图；根据第一特征图得到第二特征图和多个第三特征图；进而得到多个第一像素关系测量矩阵以及第二像素关系测量矩阵；根据第二特征图和第二像素关系测量矩阵得到第四特征图；进而得到张量矩阵以及张量矩阵与图像输出概率的函数关系；根据函数关系对应的损失函数训练分类网络；根据训练后的分类网络和第四特征图得到目标位置图和背景目标图；根据第一图像、目标位置图和背景目标图对语义分割网络模型进行训练；将待测图像输入训练后的语义分割网络模型得到图像像素级伪标签。本发明专利技术能够得到分割网络的像素级伪标签。络的像素级伪标签。络的像素级伪标签。

【技术实现步骤摘要】
基于语义分割的图像像素级伪标签确定方法及系统


[0001]本专利技术涉及图像语义分割领域，特别是涉及一种基于语义分割的图像像素级伪标签确定方法及系统。

技术介绍

[0002]由于语义分割标签需要对图像的每一个像素进行标注，这导致了大量的耗时和费力。训练数据集的生成已经成为语义分割研究的瓶颈。因此，如何以廉价、高效的方式获得给定图像的像素级标注，是未来语义分割的一个很有前途的方向。

技术实现思路

[0003]本专利技术的目的是提供一种基于语义分割的图像像素级伪标签确定方法及系统，能够通过分类网络的图像及标签得到分割网络的像素级伪标签。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种基于语义分割的图像像素级伪标签确定方法，包括：
[0006]获取初始图像并对所述初始图像进行预处理，得到第一图像；
[0007]利用特征提取器对所述第一图像进行特征提取，得到第一特征图；
[0008]将所述第一特征图输入空洞卷积像素关系模型，得到第二特征图和多个第三特征图；
[0009]对所述第二特征图和每一个第三特征图分别进行矩阵乘积运算，对应得到多个第一像素关系测量矩阵；
[0010]对所述多个第一像素关系测量矩阵进行平均融合得到第二像素关系测量矩阵；
[0011]对所述第二特征图和第二像素关系测量矩阵进行矩阵乘积运算，得到第四特征图；
[0012]将所述第四特征图输入全局平均池化层，得到张量矩阵；
[0013]将所述张量矩阵输入softmax分类层进行分类，得到所述张量矩阵与图像输出概率的函数关系；
[0014]根据所述函数关系对应的损失函数训练分类网络，得到训练后的分类网络；
[0015]根据所述训练后的分类网络和第四特征图得到目标位置图和背景目标图；
[0016]获取语义分割网络模型；
[0017]根据所述第一图像、目标位置图和背景目标图对所述语义分割网络模型进行训练，得到训练后的语义分割网络模型；
[0018]将待测图像输入所述训练后的语义分割网络模型得到图像像素级伪标签。
[0019]可选的，对初始图像以[321,481]范围随机缩放，然后将图片裁剪到尺寸为321*321，得到第一图像。
[0020]可选的，所述特征提取器为去除VGG
‑
16模型结构中最后两个池层的改进型VGG
‑
16网络模型。
[0021]可选的，所述张量矩阵与图像输出概率的函数关系为其中，表示对于类n,F
C
的权重参数，P
n
表示类n的图像输出概率，F
C
表示张量矩阵。
[0022]可选的，所述语义分割网络模型为DeepLab
‑
ASPP网络模型。
[0023]可选的，所述初始图像采用PASCAL VOC 2012数据集。
[0024]可选的，在将所述第一特征图输入空洞卷积像素关系模型，得到第二特征图和多个第三特征图步骤之后，对所述第二特征图和每一个第三特征图分别进行矩阵乘积运算，对应得到多个第一像素关系测量矩阵步骤之前，还包括：
[0025]对所述第二特征图和多个第三特征图进行尺寸重塑。
[0026]可选的，所述第一特征图是通过改进型VGG
‑
16网络模型的conv5_3层获得。
[0027]可选的，所述第一特征图尺寸为C*H*W，其中C为通道数量，W,H分别为特征图尺寸。
[0028]一种基于语义分割的图像像素级伪标签确定系统，包括：
[0029]预处理模块，用于获取初始图像并对所述初始图像进行预处理，得到第一图像；
[0030]特征提取模块，用于利用特征提取器对所述第一图像进行特征提取，得到第一特征图；
[0031]第一输入模块，用于将所述第一特征图输入空洞卷积像素关系模型，得到第二特征图和多个第三特征图；
[0032]第一矩阵乘积运算模块，用于对所述第二特征图和每一个第三特征图分别进行矩阵乘积运算，对应得到多个第一像素关系测量矩阵；
[0033]矩阵融合模块，用于对所述多个第一像素关系测量矩阵进行平均融合得到第二像素关系测量矩阵；
[0034]第二矩阵乘积运算模块，用于对所述第二特征图和第二像素关系测量矩阵进行矩阵乘积运算，得到第四特征图；
[0035]第二输入模块，用于将所述第四特征图输入全局平均池化层，得到张量矩阵；
[0036]分类模块，用于将所述张量矩阵输入softmax分类层进行分类，得到所述张量矩阵与图像输出概率的函数关系；
[0037]第一网络训练模块，用于根据所述函数关系对应的损失函数训练分类网络，得到训练后的分类网络；
[0038]目标位置图和背景目标图确定模块，用于根据所述训练后的分类网络和第四特征图得到目标位置图和背景目标图；
[0039]模型获取模块，用于获取语义分割网络模型；
[0040]第二网络训练模块，用于根据所述第一图像、目标位置图和背景目标图对所述语义分割网络模型进行训练，得到训练后的语义分割网络模型；
[0041]伪标签确定模块，用于将待测图像输入所述训练后的语义分割网络模型得到图像像素级伪标签。
[0042]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0043]本专利技术通过设计深度神经分类网络为分割网络提供高质伪标签训练分割网络，从而进行图像语义分割。提出空洞卷积像素关系网络，在分类网络中结合空洞卷积于与注意
力机制产生空洞卷积特征图与一般卷积特征图之间的像素关系模型，促进分类网产生的类激励图可以高亮更完整的目标区域，从而产生更高质量的分割网络伪标签，提高分割网络的分割能力。
附图说明
[0044]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0045]图1为本专利技术语义分割的图像像素级伪标签确定方法流程图；
[0046]图2为本专利技术空洞卷积像素关系网络结构图；
[0047]图3为本专利技术空洞卷积像素关系模型图；
[0048]图4为本专利技术语义分割的图像像素级伪标签确定系统模块图。
具体实施方式
[0049]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0050]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割的图像像素级伪标签确定方法，其特征在于，包括：获取初始图像并对所述初始图像进行预处理，得到第一图像；利用特征提取器对所述第一图像进行特征提取，得到第一特征图；将所述第一特征图输入空洞卷积像素关系模型，得到第二特征图和多个第三特征图；对所述第二特征图和每一个第三特征图分别进行矩阵乘积运算，对应得到多个第一像素关系测量矩阵；对所述多个第一像素关系测量矩阵进行平均融合得到第二像素关系测量矩阵；对所述第二特征图和第二像素关系测量矩阵进行矩阵乘积运算，得到第四特征图；将所述第四特征图输入全局平均池化层，得到张量矩阵；将所述张量矩阵输入softmax分类层进行分类，得到所述张量矩阵与图像输出概率的函数关系；根据所述函数关系对应的损失函数训练分类网络，得到训练后的分类网络；根据所述训练后的分类网络和第四特征图得到目标位置图和背景目标图；获取语义分割网络模型；根据所述第一图像、目标位置图和背景目标图对所述语义分割网络模型进行训练，得到训练后的语义分割网络模型；将待测图像输入所述训练后的语义分割网络模型得到图像像素级伪标签。2.根据权利要求1所述的基于语义分割的图像像素级伪标签确定方法，其特征在于，对初始图像以[321,481]范围随机缩放，然后将图片裁剪到尺寸为321*321，得到第一图像。3.根据权利要求1所述的基于语义分割的图像像素级伪标签确定方法，其特征在于，所述特征提取器为去除VGG
‑
16模型结构中最后两个池化层的改进型VGG
‑
16网络模型。4.根据权利要求1所述的基于语义分割的图像像素级伪标签确定方法，其特征在于，所述张量矩阵与图像输出概率的函数关系为其中，表示对于类n,F
C
的权重参数，P
n
表示类n的图像输出概率，F
C
表示张量矩阵。5.根据权利要求1所述的基于语义分割的图像像素级伪标签确定方法，其特征在于，所述语义分割网络模型为DeepLab
‑
ASPP网络模型。6.根据权利要求1所述的基于语义分割的图像像素级伪标签确定方法，其特征在于，所述初始图像采用PASCAL VOC 201...

【专利技术属性】
技术研发人员：于哲舟，张哲，王碧琳，李志远，王兰亭，赵凤志，
申请(专利权)人：吉林大学，
类型：发明
国别省市：