一种基于图像级标注的工业图像异常区域像素级分割方法技术

本发明专利技术属于机器视觉与机器学习领域，并具体公开了一种基于图像级标注的工业图像异常区域像素级分割方法，包括如下步骤：S1获取工业图像数据集，并进行图像级标注；S2构建正常图像模板生成网络，其包括正常图像模板生成器、异常图像模板生成器、正常图像鉴别器、异常图像鉴别器；S3根据优化目标，通过工业图像数据集对正常图像模板生成网络进行训练，得到正常图像模板生成模型；S4将待测工业图像输入正常图像模板生成模型中，得到对应的正常图像模板，进而将其与待测工业图像进行对比，实现对工业图像异常区域的分割。本方法能基于图像级标注数据获取精确的像素级图像分割结果，且相对于其他弱监督分割方法具有更好的实时性与泛化性。

【技术实现步骤摘要】
一种基于图像级标注的工业图像异常区域像素级分割方法
本专利技术属于机器视觉与机器学习领域，更具体地，涉及一种基于图像级标注的工业图像异常区域像素级分割方法。
技术介绍
机器视觉成为推动工业自动化与智能化的主要动力和必要手段之一。传统的基于数字图像处理的机器视觉技术存在开发难度大，方法不通用，准确率低等问题。随着机器学习的快速发展，尤其是深度学习的快速发展，其在机器视觉领域取得显著成果。但是作为数据驱动的方法，深度学习需要大量精确标注的工业图像。但是由于工业图像数据量大，标注专业性强，标注精度要求高，使得工业图像标注成本过高，尤其是像素级标注。而相对于像素级标注，工业图像级标注相对简单。所以，可以设计弱监督分割方法基于图像级标注获取像素级分割结果，可以避免工业图像像素级标注，减少人工标注成本。目前现有的弱监督图像分割的主要思路是使用图像级标注预训练图像分类模型，获取分类模型的特征图与权值并将两者加权相加获取的加权激活图，并以此作为分割图。该方法的主要问题如下：1.精度低：该方法只能获取异常区域的大致位置，不能获取异常区域的准确轮廓，精度较低。2.速度慢：该方法不仅需要正向传播，还需要反向获取特征图与权值并进行计算，计算量大，速度慢，实时性差，难以应用于工业现场。因此，现有的弱监督分割方法难以满足工业现场的需求，研究设计一种新的工业图像弱监督分割方法成为本领域中亟待解决的问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于图像级标注的工业图像异常区域像素级分割方法，其目的在于，针对像素级标签标记困难的问题，在训练过程中使用图像级标注数据训练正常模板生成器，并对模型进行评价与选择，可以基于图像级标注数据获取精确的像素级图像分割结果，相对于其他弱监督分割方法具有更好的实时性与泛化性。为实现上述目的，本专利技术提出了一种基于图像级标注的工业图像异常区域像素级分割方法，包括如下步骤：S1获取工业图像数据集，并对其进行图像级标注，标注类别为正常图像和异常图像；S2构建正常图像模板生成网络，其包括正常图像模板生成器Gp、异常图像模板生成器Fng、正常图像鉴别器Dp、异常图像鉴别器Dng，其中，所述正常图像模板生成器Gp用于生成异常图像对应的正常图像模板，所述异常图像模板生成器Fng用于生成正常图像对应的异常图像模板，所述正常图像鉴别器Dp用于鉴别正常图像是真实图像还是生成图像，所述异常图像鉴别器Dng用于鉴别异常图像是真实图像还是生成图像；S3根据预构建的优化目标，通过工业图像数据集对正常图像模板生成网络进行训练，得到正常图像模板生成模型；S4将待测工业图像输入正常图像模板生成模型中，得到其对应的正常图像模板，进而将待测工业图像与正常图像模板进行对比，实现对该工业图像异常区域的分割。作为进一步优选的，所述优化目标包括对抗生成损失、缺陷循环一致损失和身份鉴别损失。作为进一步优选的，对正常图像模板生成网络进行训练时，包括如下步骤：(1)训练正常图像模板生成器Gp：固定异常图像模板生成器Fng、正常图像鉴别器Dp的参数，将异常图像ng输入至Gp，利用反向传播更新Gp参数，并将其生成的正常图像数据Gp(ng)输入至Fng中，使得其输出的异常图像F(Gp(ng))与真实异常图像ng不断接近；(2)训练异常图像模板生成器Fng：固定正常图像模板生成器Gp、异常图像鉴别器Dng的参数，将正常图像p输入至Fng，利用反向传播更新Fng参数，并将其生成的异常图像数据Fng(p)输入至Gp中，使得其输出的正常图像G(Fng(p))与真实正常图像p不断接近；(3)训练正常图像鉴别器Dp：固定正常图像模板生成器Gp的参数，将Gp生成的正常图像数据Gp(ng)与真实正常图像p输入Dp中，利用反向传播更新Dp参数；(4)训练异常图像鉴别器Dng：固定异常图像模板生成器Fng的参数，将Fng生成的异常图像数据Fng(p)与真实异常图像ng输入到Dng中，利用反向传播更新Dng参数；(5)不断重复上述(1)～(4)，同时采样正常图像模板生成器Gp生成的正常图像模板输入到预训练好的图像分类模型中，当该图像分类模型输出为正常图像的概率达到预设阈值时，完成对正常图像模板生成网络的训练，得到正常图像模板生成模型。作为进一步优选的，在训练过程中，对异常图像模板鉴别器Dp添加异常区域注意力机制模块，具体包括如下步骤：(1)获取残差图Res：Res＝fupsample(fnormalization(ng-Gp(ng)))其中，fupsample为上采样函数，fnormalization为归一化函数；(2)根据残差图Res获取注意力标签Tatt，使Tatt中异常区域的标签大于正常部分的标签，进而使异常图像模板鉴别器Dp更加关注异常区域的恢复：Tatt＝Tnorm+λRes其中，Tnorm为将真实正常图像p输入正常图像鉴别器Dp输出的全为1的原始标签，λ为超参数调节注意力比重。作为进一步优选的，超参数调节注意力比重λ取0.3～0.7。作为进一步优选的，采用工业图像数据集中的正常图像和异常图像数据对VGG分类模型网络进行训练得到图像分类模型。作为进一步优选的，所述S4中，将待测工业图像输入正常图像模板生成模型中得到其对应的正常图像模板后，将待测工业图像与正常图像模板进行图像相减获取异常区域显著图，然后使用阈值分割与图像二值化获取图像异常区域分割图，实现对该工业图像异常区域的分割。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：1.本专利技术针对工业图像的特点：工业图像在非异常区域特征一致以及工业图像的语义层次较低，提供了一种基于生成对抗网络的弱监督方法，其可以基于图像级标注，快速地获取准确的像素级标注结果，相对于其他弱监督分割方法具有更好的实时性与泛化性，显著减少标注所需的人工与时间成本。2.本专利技术对的图像异常区域检测速度更快，实时性更好，更适合在工业现场进行部署。3.本专利技术可以获取和监督学习可比较的异常区域分割准确率，并且在可以在少量的异常数据集中获取比监督学习更好的异常区域分割结果。4.本专利技术具有很好的泛化性和可迁移性，不同工业图像数据，无需制定不同工业图像方案，只需要对新的工业图像的数据集进行微调训练即可。附图说明图1为本专利技术实施例基于图像级标注的工业图像异常区域像素级分割方法流程图；图2为本专利技术实施例构建的正常图像模板生成网络的结构示意图；图3为本专利技术实施例构建的异常区域注意力机制模块示意图；图4a～图4d分别为本专利技术实施例构建的DAGM2007数据集的部分工业异常数据缺陷示意图；图5a～图5c分别为本专利技术实施例其中一张测试图像的原图、缺陷放大图和标签图，图5d～图5h分别为该测试图像采用H’s、F’s、Q’s、W’s方法和本专利技术分割方法本文档来自技高网...

【技术保护点】
1.一种基于图像级标注的工业图像异常区域像素级分割方法，其特征在于，包括如下步骤：/nS1获取工业图像数据集，并对其进行图像级标注，标注类别为正常图像和异常图像；/nS2构建正常图像模板生成网络，其包括正常图像模板生成器G

【技术特征摘要】
1.一种基于图像级标注的工业图像异常区域像素级分割方法，其特征在于，包括如下步骤：
S1获取工业图像数据集，并对其进行图像级标注，标注类别为正常图像和异常图像；
S2构建正常图像模板生成网络，其包括正常图像模板生成器Gp、异常图像模板生成器Fng、正常图像鉴别器Dp、异常图像鉴别器Dng，其中，所述正常图像模板生成器Gp用于生成异常图像对应的正常图像模板，所述异常图像模板生成器Fng用于生成正常图像对应的异常图像模板，所述正常图像鉴别器Gp用于鉴别正常图像是真实图像还是生成图像，所述异常图像鉴别器Dng用于鉴别异常图像是真实图像还是生成图像；
S3根据预构建的优化目标，通过工业图像数据集对正常图像模板生成网络进行训练，得到正常图像模板生成模型；
S4将待测工业图像输入正常图像模板生成模型中，得到其对应的正常图像模板，进而将待测工业图像与正常图像模板进行对比，实现对该工业图像异常区域的分割。


2.如权利要求1所述的基于图像级标注的工业图像异常区域像素级分割方法，其特征在于，所述优化目标包括对抗生成损失、缺陷循环一致损失和身份鉴别损失。


3.如权利要求1所述的基于图像级标注的工业图像异常区域像素级分割方法，其特征在于，对正常图像模板生成网络进行训练时，包括如下步骤：
(1)训练正常图像模板生成器Gp：
固定异常图像模板生成器Fng、正常图像鉴别器Gp的参数，将异常图像ng输入至Gp，利用反向传播更新Gp参数，并将其生成的正常图像数据Gp(ng)输入至Fng中，使得其输出的异常图像F(Gp(ng))与真实异常图像ng不断接近；
(2)训练异常图像模板生成器Fng：
固定正常图像模板生成器Gp、异常图像鉴别器Dng的参数，将正常图像p输入至Fng，利用反向传播更新Fng参数，并将其生成的异常图像数据Fng(p)输入至Gp中，使得其输出的正常图像G(Fng(p))与真实正常图像p不断接近；
(3)训练正常图像鉴别器Dp：
固定正常图像模板生成器Gp的参数，将Gp生成的正常图像数据Gp(ng)与真实正常图像p输入...

【专利技术属性】
技术研发人员：李斌，牛拴龙，唐立新，邱园红，牛通之，李威风，李言洲，彭亚茹，闫福强，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42