一种基于异常特征分解与纹理背景转换的缺陷检测方法技术

本发明专利技术属于图像处理领域，并公开了一种基于异常特征分解与纹理背景转换的缺陷检测方法。该方法包括随机剪接模块、域特征交叉模块、对抗分割模块及隐空间约束模块，随机剪接模块用于人工异常样本的随机生成；域特征交叉模块分解背景特征和缺陷特征，隐式转换背景特征完成特征分离；隐空间约束模块将正常域与异常域背景特征进一步约束在公共空间中；像素级对抗分割模块通过像素级对抗学习机制，进一步提升纹理重构精度，还能直接分割出缺陷位置。进行检测时，一方面将输入图像与重构的纹理背景图像作差间接确定缺陷区域，另一方面在缺陷图中直接分割缺陷。如此，本发明专利技术对不同纹理表面上的不同大小、不同对比度的缺陷有较高的检测精度。度。度。

【技术实现步骤摘要】
一种基于异常特征分解与纹理背景转换的缺陷检测方法


[0001]本专利技术属于图像处理领域，更具体地，涉及一种基于异常特征分解与纹理背景转换的缺陷检测方法。

技术介绍

[0002]在工业制造领域，原材料的品质种类各异，生产制造过程复杂，在产品的表面经常会产生表面缺陷，例如钢材、木材、纺织物、瓷砖与新型显示器件如TFT
‑
LCD、OLED等。由于各类产品的表面往往呈现出纹理特征，表面缺陷指的是与周边纹理结构和模式不同的局部区域，或者具有不规则亮度变化的局部区域。这些纹理表面缺陷会直接降低产品品质，影响用户体验。为提高生产质量，在制造过程中应严格控制所有类型的表面缺陷，故纹理表面缺陷检测是整个制造业的基础和关键。
[0003]在各类工业产品制造过程中，纹理表面缺陷具有以下特点：不同类型、大尺度变化、低对比度、不规则亮度变化、形状多变，同时，不良品相对于良品的数量是极少的，导致可用的异常样本数量较少，这给视觉检测带来了极大的困难。因此，纹理表面缺陷检测方法仍然是工业产品质量控制中的挑战性任务。
[0004]目前，已有很多方法被提出来解决纹理表面缺陷的检测难题，但这些研究成果只能适应于某一类或几类纹理(如只能检测显示器件，无法适用于木材表面)，只能检测固定类型的纹理缺陷(如只能检测高对比度缺陷，无法检测低面积缺陷)，难以解决所有情况。因此，需要提出一种基于无监督深度学习的纹理表面缺陷检测方法，能适用于各类纹理，对不同类型的纹理表面缺陷都有较好的鲁棒性。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于异常特征分解与纹理背景转换的缺陷检测方法，其目的在于利用深度学习的强大的数据建模能力进行工业产品表面缺陷检测，由此解决纹理表面缺陷检测方法中的不同类型、大尺度变化、极低对比度、不规则亮度变化、形状多变和缺乏样本等原因引起的检测精度不高的问题。可极大提升检测精度。
[0006]为实现上述目的，第一方面，本专利技术提供了一种基于异常特征分解与纹理背景转换的缺陷检测模型的构建方法，包括：
[0007]S1、搭建缺陷检测模型；所述缺陷检测模型包括：级联且共享网络参数的第一域特征交叉模块和第二域特征交叉模块；
[0008]所述第一域特征交叉模块，用于提取输入的正常样本的第一正常域背景特征以及提取输入的异常样本的第一异常域背景特征和第一异常域缺陷特征；再基于所述第一异常域背景特征生成第一伪正常样本以及基于所述第一正常域背景特征和第一异常域缺陷特征生成第一伪异常样本；
[0009]所述第二域特征交叉模块，用于提取所述第一伪正常样本的第二正常域背景特征
以及提取第一伪异常样本的第二异常域背景特征和第二异常域缺陷特征；再基于所述第二异常域背景特征生成第二伪正常样本以及基于所述第二正常域背景特征和第二异常域缺陷特征生成第二伪异常样本；
[0010]S2、以最小化第一伪正常样本与输入的异常样本之间的残差、与第一伪异常样本与输入的正常样本之间的残差之间的差异，以及最小化第二伪正常样本与输入的正常样本之间的残差、与第二伪异常样本与输入的异常样本之间的残差之间的差异为目标，训练所述缺陷检测模型。
[0011]进一步地，所述第一域特征交叉模块包括：
[0012]第一正常域背景编码器，用于将输入的正常样本编码为第一正常域背景特征；第一异常域背景编码器，用于将输入的异常样本编码为第一异常域背景特征；第一异常域缺陷编码器，用于将输入的异常样本编码为第一异常域缺陷特征；第一正常域生成器，基于所述第一异常域背景特征生成第一伪正常样本；第一异常域生成器，基于所述第一正常域背景特征和第一异常域缺陷特征生成第一伪异常样本；
[0013]所述第二域特征交叉模块包括：
[0014]第二正常域背景编码器，用于将第一伪正常样本编码为第二正常域背景特征；第二异常域背景编码器，用于将第一伪异常样本编码为第二异常域背景特征；第二异常域缺陷编码器，用于将第一伪异常样本编码为第二异常域缺陷特征；第二正常域生成器，基于所述第二异常域背景特征生成第二伪正常样本；第二异常域生成器，基于所述第二正常域背景特征和第二异常域缺陷特征生成第二伪异常样本。
[0015]进一步地，损失函数还包括：最小化输入的正常样本与正常重构图像之间的差异、与最小化输入的异常样本与异常重构图像之间的差异之和；其中，所述正常重构图像为所述第一正常域背景特征经过所述第一正常域生成器重构的图像，所述异常重构图像为所述第一异常域背景特征和第一异常域缺陷特征经过所述第一异常域生成器重构的图像。
[0016]进一步地，所述缺陷检测模型还包括隐空间约束模块，用于约束所述第一正常域背景特征和第一异常域背景特征共享同一隐空间，使判别器无法区分所述第一正常域背景特征和第一异常域背景特征。
[0017]进一步地，所述缺陷检测模型还包括随机剪接模块，用于生成异常样本，具体为：在一张正常样本中截取掩膜对应的区域，作为模拟的缺陷；再将其与另一张正常样本拼接，从而得到异常样本。
[0018]进一步地，所述缺陷检测模型还包括对抗分割模块，用于对输入的纹理图像进行分割，得到缺陷分割结果；
[0019]所述方法还包括：以所述输入的异常样本为正样本，所述第一伪正常样本和第一伪异常样本为负样本，进行对抗训练。
[0020]第二方面，本专利技术提供了一种基于异常特征分解与纹理背景转换的缺陷检测方法，包括：
[0021]将待测纹理图像输入到采用第一方面所述的基于异常特征分解与纹理背景转换的缺陷检测模型的构建方法所构建的缺陷检测模型中，得到所述第一伪正常样本，将所述待测纹理图像与第一伪正常样本的残差图像作为最终检测结果。
[0022]第三方面，本专利技术提供了一种基于异常特征分解与纹理背景转换的缺陷检测方
法，包括：
[0023]将待测纹理图像输入到采用第一方面所述的基于异常特征分解与纹理背景转换的缺陷检测模型的构建方法所构建的缺陷检测模型中，得到所述第一域特征交叉模块输出的第一伪正常样本以及所述对抗分割模块输出的缺陷分割结果，将所述待测纹理图像与第一伪正常样本的残差、与所述缺陷分割结果进行融合，得到最终检测结果。
[0024]第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如第一方面所述的基于异常特征分解与纹理背景转换的缺陷检测模型的构建方法和/或，如第二方面或第三方面所述的基于异常特征分解与纹理背景转换的缺陷检测方法。
[0025]总体而言，通过本专利技术所构思的以上算法与现有算法相比，能够取得下列有益效果：
[0026]1、本专利技术通过采用域特征交叉模块来对图像进行两次分解转换，隐式实现特征分解与转换，一定程度上增大缺陷与纹理背景的差异，可提高缺陷检出率。
[0027]2、本专利技术通过采用隐空间约束模块来约束正常域和异常域隐空间背景特征分布于公共空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异常特征分解与纹理背景转换的缺陷检测模型的构建方法，其特征在于，包括：S1、搭建缺陷检测模型；所述缺陷检测模型包括：级联且共享网络参数的第一域特征交叉模块和第二域特征交叉模块；所述第一域特征交叉模块，用于提取输入的正常样本的第一正常域背景特征以及提取输入的异常样本的第一异常域背景特征和第一异常域缺陷特征；再基于所述第一异常域背景特征生成第一伪正常样本以及基于所述第一正常域背景特征和第一异常域缺陷特征生成第一伪异常样本；所述第二域特征交叉模块，用于提取所述第一伪正常样本的第二正常域背景特征以及提取第一伪异常样本的第二异常域背景特征和第二异常域缺陷特征；再基于所述第二异常域背景特征生成第二伪正常样本以及基于所述第二正常域背景特征和第二异常域缺陷特征生成第二伪异常样本；S2、以最小化第一伪正常样本与输入的异常样本之间的残差、与第一伪异常样本与输入的正常样本之间的残差之间的差异，以及最小化第二伪正常样本与输入的正常样本之间的残差、与第二伪异常样本与输入的异常样本之间的残差之间的差异为目标，训练所述缺陷检测模型。2.根据权利要求1所述的基于异常特征分解与纹理背景转换的缺陷检测模型的构建方法，其特征在于，所述第一域特征交叉模块包括：第一正常域背景编码器，用于将输入的正常样本编码为第一正常域背景特征；第一异常域背景编码器，用于将输入的异常样本编码为第一异常域背景特征；第一异常域缺陷编码器，用于将输入的异常样本编码为第一异常域缺陷特征；第一正常域生成器，基于所述第一异常域背景特征生成第一伪正常样本；第一异常域生成器，基于所述第一正常域背景特征和第一异常域缺陷特征生成第一伪异常样本；所述第二域特征交叉模块包括：第二正常域背景编码器，用于将第一伪正常样本编码为第二正常域背景特征；第二异常域背景编码器，用于将第一伪异常样本编码为第二异常域背景特征；第二异常域缺陷编码器，用于将第一伪异常样本编码为第二异常域缺陷特征；第二正常域生成器，基于所述第二异常域背景特征生成第二伪正常样本；第二异常域生成器，基于所述第二正常域背景特征和第二异常域缺陷特征生成第二伪异常样本。3.根据权利要求2所述的基于异常特征分解与纹理背景转换的缺陷检测模型的构建方法，其特征在于，损失函数还包括：最小化输入的正常样本与正常重构图像之间的差异、与最小化输入的异常样本与异常重构图像之间的差异之...

【专利技术属性】
技术研发人员：杨华，尹周平，常靖昀，何源，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：