一种基于半监督学习的瑕疵检测方法技术

本发明专利技术公开一种基于半监督学习的瑕疵检测方法，包括无监督学习、有监督学习和瑕疵检测，无监督学习阶段将无瑕疵图像生成虚假带瑕疵图像再修复回无瑕疵图像，将带瑕疵图像修复为虚假无瑕疵图像再转换回带瑕疵图像，然后判断真实性，计算对抗损失并优化更新辨别器参数；有监督学习阶段加入高斯噪声并通过瑕疵修复器将虚假带瑕疵图像转换为无瑕疵图像，通过新的辨别器输入两张图像组成的数据对，然后判断真实性，计算对抗损失并优化更新辨别器；瑕疵检测给定随机带瑕疵图像，将带瑕疵图像转换为虚假无瑕疵图像，逐像素比对以获得标记瑕疵位置与形状的二值图像。本发明专利技术降低瑕疵图像合成复杂性和检测未见过瑕疵复杂性，对未见过的瑕疵有很好的适应性。瑕疵有很好的适应性。瑕疵有很好的适应性。

【技术实现步骤摘要】
一种基于半监督学习的瑕疵检测方法


[0001]本专利技术属于自动化工业
，特别涉及一种基于半监督学习的瑕疵检测方法。

技术介绍

[0002]在工业领域中，生产线产品的瑕疵检测是保证产品质量的重要一环。在传统工业生产过程中，这一繁杂的任务往往依靠人工筛查来完成。由于筛查的结果包含着工人们不一致的主观判断，且筛查的效率也很大程度上决定于工人们身体状态的好坏，耗时耗人力的同时产品质量也难以把控。近年来随着深度学习在工业领域的广泛应用，工业生产逐渐趋于自动化和智能化。许多基于深度学习技术的自动瑕疵检测方法被运用于实际生产，辅助甚至取代传统人工筛查，提高了瑕疵检测效率。
[0003]在工业瑕疵检测中，要使得数据集包含足够多样的瑕疵样本，光靠生产线取样是远远不够且低效的。所以需要采取一些图像样本扩充方法，常见的图像增强通用性强且容易使用，然而存在以下缺点：首先是样本扩充数量有限，其数量受限于图像增强的方法数；其次图像增强无法在图像内容的层面上为图像带来多样性，数据集变化的可能性依旧被限制在已有数据集内容的范围之内。为了突破这一缺点，可以通过生成式对抗网络来合成样本，使得扩充的样本内容更具有随机性和多样性。
[0004]生成式对抗网络是Ian Goodfellow在2014年提出的新式网络模型。与卷积网络的其他常见应用如图像分类、目标检测、语义分割等相比，GAN 最大的特点能够通过拟合数据的分布来生成数据集中没有的数据，常见的应用有人脸生成、超分辨率生成、图像修复等等。从某种程度上，GAN是使用强化学习来解决生成建模问题的一种方式，两者的思想有许多共同之处。例如，GAN和强化学习中的“演员
‑
评论家”算法有着异曲同工之妙，演员就好比GAN中的生成器，评论家就像GAN中的判别器，在演员(生成器) 和评论家(判别器)之间维持一种博弈达到纳什均衡。
[0005]随着GAN技术愈趋于热门，瑕疵检测领域也逐渐引入了GAN技术。常见的用处是瑕疵生成，即通过GAN技术扩充样本解决样本量少且获取成本高的问题。也可以通过GAN技术将图像中的瑕疵放大从而提高瑕疵检测效果。普遍的做法是先通过GAN生成小瑕疵块然后贴合到原图中(孙东平.基于DCGAN样本生成的小样本视觉外观瑕疵检测[D].吉林大学,2019.)，这种做法存在以下缺点：设计流程繁琐、难以设计周全、图像贴合边缘明显突兀并整体呈现出不真实感。为了避免这个缺点，可以通过利用CycleGAN 网络架构直接进行整体瑕疵样本的生成，其生成的样本更真实且省去了人工设计合成的繁杂。在《基于GAN的缺陷图像简单生成及其用于改进缺陷识别》(Niu S,Li B,Wang X,et al.Defect image sample generationwith GAN for improving defect recognition[J].IEEE Transactions onAutomation Science and Engineering,2020,17(3):1611
‑
1622.)中，便采取了这样的方法进行瑕疵生成，并且同时利用CycleGAN的循环回路特性进行瑕疵的修复，进而对比修复前后图像来提取瑕疵区域。然而这种方法依旧存在不足：该方法的瑕疵修复器所使用的一
致性损失(Loss R2)和对抗损失(Loss R1)分别处于前向和反向两个不同的训练阶段中，在同一训练阶段缺少对两种损失的有效结合，使得模型在训练修复过程缺少针对性，而修复效果直接影响了瑕疵提取的效果。本专利技术针对这一问题进一步改进，在修复阶段添加Pix2pix式的判别器加以监督，将一致性损失和对抗损失集中于一个训练阶段，进一步提升瑕疵修复效果，最终提升整体瑕疵检测效果。

技术实现思路

[0006]本专利技术的目的在于提供一种基于半监督学习的瑕疵检测方法，降低瑕疵图像合成复杂性和检测未见过瑕疵复杂性，能够得到比朴素CycleGAN更好的、与监督式UNET相当的效果。另外，该方法拟合了无瑕疵图像中的内容分布，对未见过的瑕疵有很好的适应性。
[0007]为达成上述目的，本专利技术的解决方案为：一种基于半监督学习的瑕疵检测方法，包括以下步骤：
[0008]S1：建立训练CycleGAN模型，包括步骤：
[0009]a.使用训练辨别器从无瑕疵图像数据集X与带瑕疵图像数据集Y中分别随机选取一张随机无瑕疵图像x和一张随机带瑕疵图像y；
[0010]b.使用瑕疵生成器DG将随机无瑕疵图像x转化为虚假带瑕疵图像 DG(x)，同样地，使用瑕疵修复器DI将随机带瑕疵图像y转化为虚假无瑕疵图像DI(y)；
[0011]c.通过无瑕疵图像辨别器D
x
计算随机无瑕疵图像x的无瑕疵真实率 D
x
(x)以及转化为虚假无瑕疵图像DI(y)的真实率D
x
(DI(y))，获得对抗损失 LossF1并优化更新无瑕疵图像辨别器D
X
参数；
[0012]通过带瑕疵图像辨别器D
Y
计算随机带瑕疵图像y的带瑕疵真实率 D
Y
(y)以及转化为虚假带瑕疵图像DG(x)的真实率D
Y
(DG(x))，获得对抗损失LossB1并优化更新带瑕疵图像辨别器D
Y
参数；
[0013]d.使用训练生成器输入随机无瑕疵图像x、随机带瑕疵图像y；使用瑕疵生成器DG将随机无瑕疵图像x转化为虚假带瑕疵图像DG(x)，同样地，使用瑕疵修复器DI将随机带瑕疵图像y转化为虚假无瑕疵图像DI(y)；通过无瑕疵图像辨别器D
x
计算随机无瑕疵图像x的无瑕疵真实率D
x
(x)以及转化为虚假无瑕疵图像DI(y)的真实率D
x
(DI(y))；通过带瑕疵图像辨别器D
Y
计算随机带瑕疵图像y的带瑕疵真实率D
Y
(y)以及转化为虚假带瑕疵图像 DG(x)的真实率D
Y
(DG(x))；输入由瑕疵修复器DI修复随机带瑕疵图像y而得到的虚假无瑕疵图像DI(y)，输出重构的带瑕疵图像DG(DI(y))；输入由瑕疵生成器DG处理随机无瑕疵图像x而得到的虚假带瑕疵图像DG(x)，输出重构的无瑕疵图像DI(DG(x))；
[0014]e.计算重构的无瑕疵图像DI(DG(x))与随机无瑕疵图像x之间的差异，得到一致性损失LossF2，同样地，计算重构的带瑕疵图像DG(DI(y))与随机带瑕疵图像y之间的差异，得到一致性损失LossB2，以及再次计算对抗损失LossF1、LossB1并优化更新瑕疵生成器DG参数和瑕疵修复器DI参数；
[0015]f.若达到训练停止条件则进入步骤S2；若没有达到训练停止条件则重复步骤a～步骤e；
[0016]S2：建立训练Pix2Pix模型，包括步骤：
[0017]g.使用训练辨别器从无瑕疵图像数据集x中随机选取一张随机无瑕疵图像x；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督学习的瑕疵检测方法，其特征在于，包括以下步骤：S1：建立训练CycleGAN模型，包括步骤：a.使用训练辨别器从无瑕疵图像数据集X与带瑕疵图像数据集Y中分别随机选取一张随机无瑕疵图像x和一张随机带瑕疵图像y；b.使用瑕疵生成器DG将随机无瑕疵图像x转化为虚假带瑕疵图像DG(x)，同样地，使用瑕疵修复器DI将随机带瑕疵图像y转化为虚假无瑕疵图像DI(y)；c.通过无瑕疵图像辨别器D
X
计算随机无瑕疵图像x的无瑕疵真实率D
X
(x)以及转化为虚假无瑕疵图像DI(y)的真实率D
X
(DI(y))，获得对抗损失LossF1并优化更新无瑕疵图像辨别器D
X
参数；通过带瑕疵图像辨别器D
Y
计算随机带瑕疵图像y的带瑕疵真实率D
Y
(y)以及转化为虚假带瑕疵图像DG(x)的真实率D
Y
(DG(x))，获得对抗损失LossB1并优化更新带瑕疵图像辨别器D
Y
参数；d.使用训练生成器输入随机无瑕疵图像x、随机带瑕疵图像y；使用瑕疵生成器DG将随机无瑕疵图像x转化为虚假带瑕疵图像DG(x)，同样地，使用瑕疵修复器DI将随机带瑕疵图像y转化为虚假无瑕疵图像DI(y)；通过无瑕疵图像辨别器D
X
计算随机无瑕疵图像x的无瑕疵真实率D
X
(x)以及转化为虚假无瑕疵图像DI(y)的真实率D
X
(DI(y))；通过带瑕疵图像辨别器D
Y
计算随机带瑕疵图像y的带瑕疵真实率D
Y
(y)以及转化为虚假带瑕疵图像DG(x)的真实率D
Y
(DG(x))；输入由瑕疵修复器DI修复随机带瑕疵图像y而得到的虚假无瑕疵图像DI(y)，输出重构的带瑕疵图像DG(DI(y))；输入由瑕疵生成器DG处理随机无瑕疵图像x而得到的虚假带瑕疵图像DG(x)，输出重构的无瑕疵图像DI(DG(x))；e.计算重构的无瑕疵图像DI(DG(x))与随机无瑕疵图像x之间的差异，得到一致性损失LossF2，同样地，计算重构的带瑕疵图像DG(DI(y))与随机带瑕疵图像y之间的差异，得到一致性损失LossB2，以及再次计算对抗损失LossF1、LossB1并优化更新瑕疵生成器DG参数和瑕疵修复器DI参数；f.若达到训练停止条件则进入步骤S2；若没有达到训练停止条件则重复步骤a～步骤e；S2：建立训练Pix2Pix模型，包括步骤：g.使用训练辨别器从无瑕疵图像数据集X中随机选取一张随机无瑕疵图像x；h.使用瑕疵生成器DG将随机无瑕疵图像x转化为虚假带瑕疵图像DG(x)：i.随机选取一个高斯噪声z并通过瑕疵修复器DI将虚假带瑕疵图像DG(x)转换为无瑕疵图像DI(DG(x)，z)；j.通过有监督阶段辨别器D
z
，输入由随机无瑕疵图像x和虚假带瑕疵图像DG(x)组成的数据对(x，DG(x))，输出数据对(x，DG(x))为真实数据且两图像匹配的概率D
z
(DG(x)，x)；输入由转换的无瑕疵图像DI(DG(x)，z)和虚假带瑕疵图像DG(x)组成的数据对(DI(DG(x)，z)，DG(x))，输出数据对(DI(DG(x)，z)，DG(x))为真实数据且两图像匹配的概率D
z
(DG(x)，DI(DG(x)，z))，获得对抗损失LossF3并优化更新有监督阶段辨别器D
z
参数；k.使用训练生成器输入随机无瑕疵图像x；使用瑕疵生成器DG将x转化为虚假带瑕疵图像DG(x)；随机选取一个高斯...

【专利技术属性】
技术研发人员：赖永炫，曹辉彬，陈宇，
申请(专利权)人：厦门微图软件科技有限公司，
类型：发明
国别省市：