基于少量样本划线标注的弱监督神经网络的图像分割方法技术

本发明专利技术涉及一种基于少量样本划线标注的弱监督神经网络的图像分割方法，所提出的弱监督神经网络包括相互连接的主分支和辅助分支两个子网络，主分支网络用以提取输入图像的图像特征，输出图像分割结果，辅助分支网络用以对提取的图像特征依次进行特征嵌入和距离度量，生成伪标注图，所述伪标注图用以监督主分支网络的图像分割结果，优化网络参数，以获取更准确的分割结果。本发明专利技术可以对少量图像样本采用划线标注方式，对部分像素进行标注，在此基础上利用所提出的弱监督神经网络实现小样本场景下复杂纹理图像的准确分割。本场景下复杂纹理图像的准确分割。本场景下复杂纹理图像的准确分割。

【技术实现步骤摘要】
基于少量样本划线标注的弱监督神经网络的图像分割方法


[0001]本专利技术涉及图像处理
，针对具有复杂纹理的数字图像，提出了一种基于少量样本划线标注的弱监督神经网络的图像分割方法。本专利技术有助于降低深度学习训练图像样本的标注难度，提升分割精度，减少研究试验成本，促进以图像样本为研究对象的相关学科发展。

技术介绍

[0002]图像分割是图像处理领域中最重要任务之一，已经在许多领域中得到了广泛的应用，例如医学图像处理、遥感图像分析、会议背景替换、自动驾驶等。图像分割方法可以分为传统图像分割方法、基于机器学习的图像分割方法以及基于深度学习的图像分割方法。
[0003]传统图像分割方法主要分为基于区域分割和基于边缘分割两种类型，在面对复杂纹理图像时往往难以取得良好的分割结果；基于机器学习的图像分割方法通常需要为每个像素提取其对应的特征，然后再对像素点逐个分类，其分割效果依赖于所使用的特征和机器学习分类器的性能，具有较大的计算和存储消耗，分割效果也经常不太理想；基于深度学习的图像分割方法使用多层神经网络对图像进行分割，好的分割模型能够对指定类型的图像进行非常准确的分割。但是，在绝大多数情况下，基于深度学习的图像分割方法需要大数量图像样本和非常完备的图像标注数据进行图像处理模型的训练，消耗了大量的人力，物力和时间成本。这些已有的深度学习方法在小样本环境下以及缺乏足够的标注数据的情况下，往往失去准确的图像分割能力。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于少量样本划线标注的弱监督神经网络的图像分割方法，该专利技术能够实现小样本场景下对复杂纹理图像的准确分割。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于少量样本划线标注的弱监督神经网络的图像分割方法，包括：
[0007]1)获取训练图像，并对训练图像进行划线标注；
[0008]2)对标注后的训练图像进行数据增强；
[0009]3)将增强后的图像输入到预先构建好的弱监督图像分割网络中，所述弱监督图像分割网络包括相互连接的主分支网络和辅助分支网络；
[0010]4)通过主分支网络基于划线标注的少量像素提取输入图像的图像特征，输出图像分割结果；
[0011]5)通过辅助分支网络对主分支网络提取的图像特征依次进行特征嵌入和距离度量，生成训练图像的伪标注图，该伪标注图用以监督主分支网络的图像分割结果，优化弱监督图像分割网络的参数；
[0012]6)通过损失函数迭代优化弱监督图像分割网络的参数；
[0013]7)使用优化完毕的弱监督图像分割网络中的主分支网络对图像进行分割。
[0014]进一步地，构建的弱监督图像分割网络描述如下：
[0015]主分支网络为Unet++网络，包括5个编码器模块和10个解码器模块，通过Unet++网络的多层特征组合提取图像特征，Unet++网络的输出为图像分割结果；
[0016]辅助分支网络包括特征嵌入，特征余弦距离的计算，以及伪标注图生成的三个部分。
[0017]进一步地，所述主分支网络提取图像特征的过程具体为：
[0018]通过双线性插值对Unet++网络深监督的四个输出特征图和由输入到输出第一个编码器模块的输出特征图进行上采样，使得五个输出特征图的尺寸与输入图像的尺寸相同，将五个输出特征图按通道进行拼接，进而完成对输入图像的特征提取，公式如下：
[0019][0020]式中，fea为提取的训练图像特征，R(
·
)为双线性插值上采样操作，为按通道拼接操作，f0为由输入到输出第一个编码器模块的输出特征图，f1,f2,f3,f4分别为Unet++网络深监督的四个输出特征图。
[0021]进一步地，图像特征的描述，具体如下：在训练阶段，用划线方法对训练用的图像数据的部分像素进行标注；将输入图像集分成多个小批量数据集，对于每个小批量数据集提取的图像特征，根据对应像素点是否被划线标注分为已标注像素对应的特征cf
l
与未标注像素对应的特征cf
u
，已标注像素对应的特征cf
l
与未标注像素对应的特征cf
u
满足如下关系：
[0022]fea＝cfl
l
∪cfu
u
[0023]将已标注像素对应的特征cf
l
保存为mf
l
，在每个小批量数据集的图像训练过程中，当前小批量数据集的cf
l
和cf
u
与上一个小批量数据集的mf
l
均输入至辅助分支网络中进行特征嵌入。
[0024]进一步地，所述辅助分支网络对提取的图像特征进行特征嵌入：
[0025]在辅助分支网络中，通过卷积核大小为n的卷积层对当前小批量数据集的cf
l
和cf
u
与上一个小批量数据集的mf
l
进行特征嵌入，使得所述图像特征均嵌入至维度大小相同的特征空间中。
[0026]进一步地，所述辅助分支网络对特征嵌入后的图像特征进行距离度量的过程，具体为：
[0027]对当前小批量数据集的cf
l
和cf
u
进行距离度量，得到未标注像素点与各个类别的划线标注像素点特征之间的平均余弦距离，选取平均余弦距离最小的类别作为未标注像素点在伪标注图中的类别，进而生成对应的伪标注图。
[0028]进一步地，在主分支网络中，采用交叉熵损失函数比较图像分割网络的分割结果与辅助分支网络中生成的伪标注图之间的差距，基于交叉熵损失函数，构建弱监督图像分割网络的损失函数和辅助分支网络的损失函数。
[0029]进一步地，通过获取伪标注图在分类前softmax函数的输出值得到每个类别的预测概率，预测概率值为每个类别的置信度，所述伪标注图中每个像素点的类别是全部类别中预测概率最大值所在的类别；
[0030]在伪标注图中，仅高置信度的像素被用于计算交叉熵损失，而低置信度的像素不
对损失值产生影响，置信度阈值计算公式如下：
[0031][0032]式中，T
real
表示用于区分高置信度像素与低置信度像素的置信度阈值，T
high
表示伪标注图所有像素中的最高置信度，T
low
表示伪标注图所有像素中的最低置信度。
[0033]进一步地，确定整个弱监督图像分割网络分割结果的损失函数的过程如下：
[0034]计算划线标注与图像分割网络的分割结果图像的交叉熵损失，用L
rea
表示，其中未被划线标注像素的分割结果预测类别不影响损失值，计算伪标注图与图像分割网络的分割结果图像的交叉熵损失，用L
pse
表示，
[0035]基于L
rea
和L
pse
，定义复合监督损失函本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于少量样本划线标注的弱监督神经网络的图像分割方法，其特征在于，包括：1)获取训练图像，并对训练图像进行划线标注；2)对标注后的训练图像进行数据增强；3)将增强后的图像输入到预先构建好的弱监督图像分割网络中，所述弱监督图像分割网络包括相互连接的主分支网络和辅助分支网络；4)通过主分支网络基于划线标注的像素提取输入图像的图像特征，输出图像分割结果；5)通过辅助分支网络对主分支网络提取的图像特征依次进行特征嵌入和距离度量，生成训练图像的伪标注图，该伪标注图用以监督主分支网络的图像分割结果，优化弱监督图像分割网络的参数；6)通过损失函数迭代优化弱监督图像分割网络的参数；7)使用优化完毕的弱监督图像分割网络中的主分支网络对图像进行分割。2.根据权利要求1所述的一种基于少量样本划线标注的弱监督神经网络的图像分割方法，其特征在于，构建的弱监督图像分割网络描述如下：所述主分支网络为Unet++网络，包括5个编码器模块和10个解码器模块，通过Unet++网络的多层特征组合提取图像特征，Unet++网络的输出为图像分割结果；所述辅助分支网络包括特征嵌入，特征余弦距离的计算，以及伪标注图生成的三个部分。3.根据权利要求2所述的一种基于少量样本划线标注的弱监督神经网络的图像分割方法，其特征在于，所述主分支网络提取图像特征的过程具体为：通过双线性插值对Unet++网络深监督的四个输出特征图和由输入到输出第一个编码器模块的输出特征图进行上采样，使得五个输出特征图的尺寸与输入图像的尺寸相同，将五个输出特征图按通道进行拼接，进而完成对输入图像的特征提取，公式如下：式中，fea为提取的训练图像特征，R(
·
)为双线性插值上采样操作，为按通道拼接操作，f0为由输入到输出第一个编码器模块的输出特征图，f1，f2，f3，f4分别为Unet++网络深监督的四个输出特征图。4.根据权利要求1所述的一种基于少量样本划线标注的弱监督神经网络的图像分割方法，其特征在于，图像特征的描述，具体如下：在训练阶段，用划线方法对训练用的图像数据的部分像素进行标注；将输入图像集分成多个小批量数据集，对于每个小批量数据集提取的图像特征，根据对应像素点是否被划线标注分为已标注像素对应的特征cf
l
与未标注像素对应的特征cf
u
，已标注像素对应的特征cf
l
与未标注像素对应的特征cf
u
满足如下关系：fea＝cf
l
∪cf
u
将已标注像素对应的特征cf
l
保存为mf
l
，在每个小批量数据集的图像训练过程中，当前小批量数据集的cf
l
和cf
u
与上一个小批量数据集的mf
l
均输入至辅助分支网络中进行特征嵌入。5.根据权利要求4所述的一种基于少量样本划线标注的弱监督神经网络的图像分割方法，其特征在于，所述辅助分支网络对提取的图像特征进行特征嵌入：
在辅助分支网络中，通过卷积核大小为n的卷积层对当前小批量数据集的cf
l
和cf
u
与上一个小批量数据集的mf
l
进行特征嵌入，使得所述图像特征均嵌入至维度大小相同的特征空间中。6.根据权利要求4所述的一种基于少量样本划线标注的弱监督神经网络的图像分割方法，其特征在于，所述辅助分支网络对特征嵌入后的图像特征进行距...

【专利技术属性】
技术研发人员：韩越兴，李睿祺，钱权，王冰，
申请(专利权)人：上海大学，
类型：发明
国别省市：