基于超像素主动学习和半监督学习策略的图像瑕疵分割方法技术

本发明专利技术涉及工业机器视觉领域，公开了基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，包括以下步骤：S1.得到图像数据集；S2.将图像数据集进行超像素处理，将每张图像的像素聚类成像素组；S3.通过主动学习策略选取有标注有价值的像素组，并由专家标注有标注价值的像素组对应的图像；S4.构建双分支半监督语义分割模型，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练；S5.将待预测的图像输入至训练好的双分支半监督语义分割模型，得到待预测的图像的瑕疵分割结果。本发明专利技术解决了现有技术难以获得一个完整标注的大数据集进行全监督学习的问题，且具有样本需求量小，精度高的特点。精度高的特点。精度高的特点。

【技术实现步骤摘要】
基于超像素主动学习和半监督学习策略的图像瑕疵分割方法


[0001]本专利技术涉及工业机器视觉领域，尤其涉及一种基于超像素主动学习和半监督学习策略的图像瑕疵分割方法。

技术介绍

[0002]近年来，传统机器学习方法在物件外观瑕疵分割应用中取得了一定进展，例如，利用小波方法提出了识别变形材料外观瑕疵的检测方法；利用频域滤波器技术处理纹理瑕疵图像以削弱背景纹理的影响实现瑕疵特征的提取。尽管传统机器学习方法在各类器件表面瑕疵检测中取得了一定的效果，但远不能满足工业自动化生产对于瑕疵检测精度、速度和泛化能力的需求。随着深度学习在图像领域快速发展，基于深度学习的物件外观瑕疵分割方法在一定程度上取得了可观的效果。然而，现有的深度学习方法大多采用了全监督学习的策略，即所有的训练数据都进行了完整的标注。全监督学习的方法虽然能够实现很好的效果，但这种方法对数据及数据的标注具有极大的依赖性。数据量越大，数据的标注越精细，全监督学习就能取得越好的效果，反之，数据量越小，标注越粗糙，全监督学习的效果也会随之骤降。
[0003]然而，实际应用中，往往存在标记成本较为昂贵且标记难以大量获取的问题。尤其是在工业机器视觉领域，数据的获取和标注都会为实际生产增加大量的成本，制作一个完整标注的大数据集所带来的成本往往是无法接受的。在工业机器视觉领域中，未经标注的数据相对易于获取。在这种情况下，半监督学习更适用于实际生产的应用。半监督学习方法介于全监督学习和无监督学习之间。与全监督学习方法不同的是，半监督学习方法只需要少量标注好的样本和大量未经标注的样本，即可达到全监督学习的效果。然而，现有半监督学习方法大多没有考虑应该选取哪些样本进行少量标注的问题，导致训练样本的质量不稳定，难以在工业机器视觉领域获得较好的效果。
[0004]主动学习策略的核心思想是假设不同样本对于特定任务的重要程度不同，所以带来的表现提升也不全相同。通过选取样本中较为重要的样本进行少量标注，达到全监督学习的效果。在这一过程中，主动学习的本质是对样本的重要性进行评估。与半监督学习相似的是，主动学习策略可以使当前模型以较少的标注样本数得到较好的表现。因此，将主动学习策略和半监督学习的优势相结合并应用在工业视觉领域具有十分重要的意义。
[0005]本
中现有一种基于正样本学习的半监督工业制品瑕疵检测方法及系统，通过正样本图像训练图像修复网络和瑕疵分割预测网络；采用含待测瑕疵的图像输入图像修复网络得到恢复后的正品图像，计算两者差值的绝对值后将三幅图像拼接得到检测张量，通过分割预测网络根据检测张量生成分割掩模二值图像，得到瑕疵区域。
[0006]然而现有技术存在难以获得一个完整标注的大数据集进行全监督学习的问题，因此如何专利技术基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，是本
亟需解决的问题。

技术实现思路

[0007]本专利技术为了解决现有技术难以获得一个完整标注的大数据集进行全监督学习的问题，提供了基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其具有样本需求量小，精度高的特点。
[0008]为实现上述本专利技术目的，采用的技术方案如下：
[0009]基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，包括以下步骤：
[0010]S1.采集若干个含有瑕疵的图像并制作成图像数据集；
[0011]S2.将图像数据集进行超像素处理，将每张图像的像素聚类成像素组；
[0012]S3.通过主动学习策略选取有标注价值的像素组，并由专家标注有标注价值的像素组对应的图像，得到标注好的图像集；
[0013]S4.构建双分支半监督语义分割模型，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练；
[0014]S5.将待预测的图像输入至训练好的双分支半监督语义分割模型，得到待预测的图像的瑕疵分割结果。
[0015]优选的，所述的主动学习策略，具体为：
[0016]A1.随机选取图像数据集中一部分图像进行标注，并将标注的图像组成种子图像集
[0017]A2.通过种子图像集分别训练一个全监督语义分割模型和一个成本预测模型；
[0018]A3.将图像数据集中未标注的图像依次输入至训练好的全监督语义分割模型和成本预测模型，并输出每张图像的瑕疵分割结果和成本预测结果图；
[0019]A4.将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图；
[0020]A5.选取每张融合信息图中信息量高于预设阈值的像素组，标记在原图上并交由专家进行标注，将标注后的图像加入至种子图像集；
[0021]A6.重复步骤A2～A5，直到用尽专家标注预算，并将此时的种子图像集作为标注好的图像集。
[0022]进一步的，将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图，具体步骤为：
[0023]B1.通过价值估算公式得到图像数据集中图像的像素点的信息熵：
[0024][0025]其中，(x,y)为像素点、I
i
为图像数据集中的图像、Seg(I
i
)为瑕疵分割结果，P
def(x,y)
(Seg(I
i
))为像素点(x,y)属于瑕疵的概率、H
(x,y)
为像素点(x,y)的信息熵；
[0026]B2.组合图像数据集中图像中的每一个像素点，得到标注价值分布图
[0027][0028]其中，V
i
为标注价值分布图；
[0029]B3.将对应的标注价值分布图与成本预测结果图进行融合，得到融合信息图。
[0030]更进一步的，将对应的标注价值分布图与成本预测结果图进行融合，具体为：
[0031][0032]其中，F
i
为融合信息图、C
i
为成本预测结果图。
[0033]更进一步的，所述的双分支半监督语义分割模型的第一分支为一个用于训练标注好的图像集的全监督卷积神经网络，第二分支为一个用于训练未标注的图像集的自监督卷积神经网络；第一分支和第二分支共用一个编码器和解码器。
[0034]更进一步的，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练，具体为：将标注好的图像输入全监督卷积神经网络进行全监督训练，同时将未标注的图像输入自监督卷积神经网络进行自监督训练；训练时全监督卷积神经网络的损失函数和自监督卷积神经网络的损失函数合并为总损失函数。
[0035]更进一步的，将待预测的图像输入至训练好的双分支半监督语义分割模型，得到瑕疵分割结果，具体步骤为：
[0036]K1.关闭双分支半监督语义分割模型的自监督卷积神经网络的输入渠道；
[0037]K2.将待预测的图像输入全监督卷积神经网络的编码器，得到底层特征图和融合特征图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：包括以下步骤：S1.采集若干个含有瑕疵的图像并制作成图像数据集；S2.将图像数据集进行超像素处理，将每张图像的像素聚类成像素组；S3.通过主动学习策略选取有标注价值的像素组，并由专家标注有标注价值的像素组对应的图像，得到标注好的图像集；S4.构建双分支半监督语义分割模型，将标注好的图像集和未标注的图像集分别输入至双分支半监督语义分割模型进行训练；S5.将待预测的图像输入至训练好的双分支半监督语义分割模型，得到待预测的图像的瑕疵分割结果。2.根据权利要求1所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：所述的主动学习策略，具体为：A1.随机选取图像数据集中一部分图像进行标注，并将标注的图像组成种子图像集A2.通过种子图像集分别训练一个全监督语义分割模型和一个成本预测模型；A3.将图像数据集中未标注的图像依次输入至训练好的全监督语义分割模型和成本预测模型，并输出每张图像的瑕疵分割结果和成本预测结果图；A4.将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图；A5.选取每张融合信息图中信息量高于预设阈值的像素组，标记在原图上并交由专家进行标注，将标注后的图像加入至种子图像集；A6.重复步骤A2～A5，直到用尽专家标注预算，并将此时的种子图像集作为标注好的图像集。3.根据权利要求2所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：将瑕疵分割结果通过价值估算得到图像数据集中图像的标注价值分布图，并与对应的成本预测结果图融合，得到融合信息图，具体步骤为：B1.通过价值估算公式得到图像数据集中图像的像素点的信息熵：其中，(x,y)为像素点、I
i
为图像数据集中的图像、Seg(I
i
)为瑕疵分割结果，P
def(x,y)
(Seg(I
i
))为像素点(x,y)属于瑕疵的概率、H
(x,y)
为像素点(x,t)的信息熵；B2.组合图像数据集中图像中的每一个像素点，得到标注价值分布图其中，V
i
为标注价值分布图；B3.将对应的标注价值分布图与成本预测结果图进行融合，得到融合信息图。4.根据权利要求3所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：将对应的标注价值分布图与成本预测结果图进行融合，具体为：
其中，F
i
为融合信息图、C
i
为成本预测结果图。5.根据权利要求1所述的基于超像素主动学习和半监督学习策略的图像瑕疵分割方法，其特征在于：所述...

【专利技术属性】
技术研发人员：程良伦，胡文韬，吴文昊，黄国恒，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：