本申请涉及产品表面缺陷检测技术领域，特别涉及一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法及装置，其中，方法包括：使用工业相机采集花边布匹生产或质检流水线上的连续无缺陷样本图片，采集到的图片数据用作训练数据集；对所采集到数据集进行仿真缺陷添加以及图像增强；使用仿真缺陷图像训练卷积神经网络；在线采集花边布匹生产或质检流水线上的布匹样本图，使用训练好的卷积神经网络模型进行检测，对输出进行后处理，得到缺陷所在区域的检测结果。从而避免了卷积神经网络依赖大量有标注缺陷图样进行训练的缺点，具有很好的鲁棒性。由此，解决了工业生产环境下缺陷样本数目不足，收集周期长等问题。收集周期长等问题。收集周期长等问题。
【技术实现步骤摘要】
基于图像仿真增强的花边布匹表面缺陷检测方法及装置
[0001]本申请涉及数据驱动的产品表面缺陷检测
，特别涉及一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法及装置。
技术介绍
[0002]对工业产品的表面缺陷进行检测，是企业生产质量控制中的重要一环。现在企业的便面缺陷检测往往依赖人工进行，这会带来经营管理成本提高、检测质量不稳定、缺检漏检现象出现、工人视觉损伤等问题。
[0003]相关技术中，使用传统计算机视觉技术进行表面缺陷检测的方法主要有基于结构的方法、基于频域的方法、基于统计的方法、基于模型的方法等，这些传统方法往往具有依赖超参数设定、难以适应不同纹理、对于复杂纹理织物检测性能差等缺点。花边织物纹理复杂，纹理重复周期长，传统方法难以取得良好的检测效果。
[0004]近年来，CNN(Convolutional Neural Network，卷积神经网络)在解决图像相关问题上展示出了明显的优势。相较于传统方法检测，利用卷积神经网络进行有监督学习，减小了算法对于超参数的依赖，并且对于不同的花边纹理织物，通过网络参数自动学习，有着很好的适应能力。但是在实际应用上，有监督学习需要大量具有良好标注的缺陷图样数据。而在实际生产的过程中，收集并标注缺陷样本是一个漫长的过程，这极大地限制了卷积神经网络方法在实际生产中的应用，亟待解决。
技术实现思路
[0005]本申请提供一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法及装置，以解决工业生产环境下缺陷样本数目不足，收集周期长等问题。
[0006]本申请第一方面实施例提供一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法，包括以下步骤：采集无缺陷的花边布匹图像构建布匹样本数据集；对布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集；通过缺陷图像训练数据集进行卷积神经网络训练，得到进行花边布匹表面缺陷检测的缺陷检测网络模型；在线采集花边布匹图像，通过缺陷检测网络模型对在线花边布匹图像进行检测，得到在线花边布匹图像的缺陷检测结果。
[0007]可选地，在本申请的一个实施例中，所述布匹样本数据集为生产或质检流水线上的无缺陷花边布匹图像，且所述布匹样本数据集不包含标注信息。
[0008]可选地，在本申请的一个实施例中，所述对所述布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集，进一步包括：通过透射变换从无缺陷花边布匹图像大图中选出变形过的无缺陷花边布匹图像小图，对于所述小图进行HSV空间增强处理、高斯噪声添加处理、高斯滤波处理，得到用于训练的无缺陷花边布匹图像；对于所述无缺陷花边布匹图像添加人工仿真缺陷，得到有缺陷的所述缺陷图像训练数据集。
[0009]可选地，在本申请的一个实施例中，所述缺陷检测网络模型包括基于卷积神经网络的图像重构网络、图像分割网络和图像配准网络，在所述缺陷检测网络模型中，将所述图像配准网络与所述图像重构网络、所述图像分割网络进行相结合，利用图像的纹理信息进行缺陷检测；其中，所述图像分割网络使用所述卷积神经网络提取图像特征，并使用上采样逐层恢复图像分辨率，使用长连接维持图像细节信息，以及使用BCE损失函数用作训练过程的参数更新；所述图像重构网络使用像素误差或者纹理损失作为损失函数；所述图像配准网络使用卷积神经网络提取图像块与参考图像的图像特征，并计算特征图相关系数，通过卷积神经网络解码得到配准关系。
[0010]可选地，在本申请的一个实施例中，所述缺陷检测网络模型使用所述图像重构网络恢复无缺陷样本图，利用恢复无缺陷样本图与输入图像之间的残差，通过预设阈值得到缺陷可能出现的区域；利用所述图像分割网络得到像素点可能位于缺陷区域的概率，通过预设阈值分割出缺陷区域；使用图像配准网络得到待测图像在参考图像中的相对位置，利用所述相对位置信息进行缺陷检测。
[0011]本申请第二方面实施例提供一种基于图像仿真增强的无监督花边布匹表面缺陷检测装置，包括：数据获取模块，用于采集无缺陷的花边布匹图像构建布匹样本数据集；数据增强模块，用于对所述布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集；网络训练模块，用于通过所述缺陷图像训练数据集进行卷积神经网络训练，得到进行花边布匹表面缺陷检测的缺陷检测网络模型；缺陷检测模块，用于在线采集花边布匹图像，通过所述缺陷检测网络模型对所述在线花边布匹图像进行检测，得到所述在线花边布匹图像的缺陷检测结果。
[0012]可选地，在本申请的一个实施例中，所述布匹样本数据集为生产或质检流水线上的无缺陷花边布匹图像，且所述布匹样本数据集不包含标注信息。
[0013]可选地，在本申请的一个实施例中，所述数据增强模块，具体用于，通过透射变换从无缺陷花边布匹图像大图中选出变形过的无缺陷花边布匹图像小图，对于所述小图进行HSV空间增强处理、高斯噪声添加处理、高斯滤波处理，得到用于训练的无缺陷花边布匹图像；对于所述无缺陷花边布匹图像添加人工仿真缺陷，得到有缺陷的所述缺陷图像训练数据集。
[0014]可选地，在本申请的一个实施例中，所述缺陷检测网络模型包括基于卷积神经网络的图像重构网络、图像分割网络和图像配准网络，在所述缺陷检测网络模型中，将所述图像配准网络与所述图像重构网络、所述图像分割网络进行相结合，利用图像的纹理信息进行缺陷检测；其中，所述图像分割网络使用所述卷积神经网络提取图像特征，并使用上采样逐层恢复图像分辨率，使用长连接维持图像细节信息，以及使用BCE损失函数用作训练过程的参数更新；所述图像重构网络使用像素误差或者纹理损失作为损失函数；所述图像配准网络使用卷积神经网络提取图像块与参考图像的图像特征，并计算特征图相关系数，通过卷积神经网络解码得到配准关系。
[0015]可选地，在本申请的一个实施例中，所述缺陷检测网络模型使用所述图像重构网络恢复无缺陷样本图，利用恢复无缺陷样本图与输入图像之间的残差，通过预设阈值得到缺陷可能出现的区域；利用所述图像分割网络得到像素点可能位于缺陷区域的概率，通过预设阈值分割出缺陷区域；使用图像配准网络得到待测图像在参考图像中的相对位置，利
用所述相对位置信息进行缺陷检测。
[0016]由此，本申请至少具有如下有益效果：
[0017]通过使用工业相机采集花边布匹生产或质检流水线上的连续无缺陷样本图片，在这个过程中应当保证花边布匹没有出现表面缺陷，采集到的图片数据用作训练数据集；对于采集到的无缺陷样本数据集进行仿真缺陷添加以及图像增强，其中仿真缺陷添加包括仿真破洞、油污、错花等缺陷，图像增强手段包括透射变换、HSV空间变换、高斯噪声与高斯滤波等手段；使用仿真缺陷图像训练卷积神经网络，卷积神经网络采用分割模型；在线采集花边布匹生产或质检流水线上的布匹样本图，使用训练好的卷积神经网络模型进行检测，对输出进行后处理，得到缺陷所在区域的检测结果。该方法能够有效避免工业生产环境下缺陷样本数目不足，收集周期长的问题，并且能够适应不同拍摄角度、本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像仿真增强的无监督花边布匹表面缺陷检测方法，其特征在于，包括以下步骤：采集无缺陷的花边布匹图像构建布匹样本数据集；对所述布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集；通过所述缺陷图像训练数据集进行卷积神经网络训练，得到进行花边布匹表面缺陷检测的缺陷检测网络模型；在线采集花边布匹图像，通过所述缺陷检测网络模型对所述在线花边布匹图像进行检测，得到所述在线花边布匹图像的缺陷检测结果。2.根据权利要求1所述的方法，其特征在于，所述布匹样本数据集为生产或质检流水线上的无缺陷花边布匹图像，且所述布匹样本数据集不包含标注信息。3.根据权利要求1所述的方法，其特征在于，所述对所述布匹样本数据集中的花边布匹图像进行缺陷增加以及仿真图像增强得到缺陷图像训练数据集，进一步包括：通过透射变换从无缺陷花边布匹图像大图中选出变形过的无缺陷花边布匹图像小图，对于所述小图进行HSV空间增强处理、高斯噪声添加处理、高斯滤波处理，得到用于训练的无缺陷花边布匹图像；对于所述无缺陷花边布匹图像添加人工仿真缺陷，得到有缺陷的所述缺陷图像训练数据集。4.根据权利要求1所述的方法，其特征在于，所述缺陷检测网络模型包括基于卷积神经网络的图像重构网络、图像分割网络和图像配准网络，在所述缺陷检测网络模型中，将所述图像配准网络与所述图像重构网络、所述图像分割网络进行相结合，利用图像的纹理信息进行缺陷检测；其中，所述图像分割网络使用所述卷积神经网络提取图像特征，并使用上采样逐层恢复图像分辨率，使用长连接维持图像细节信息，以及使用BCE损失函数用作训练过程的参数更新；所述图像重构网络使用像素误差或者纹理损失作为损失函数；所述图像配准网络使用卷积神经网络提取图像块与参考图像的图像特征，并计算特征图相关系数，通过卷积神经网络解码得到配准关系。5.根据权利要求4所述的方法，其特征在于，所述缺陷检测网络模型使用所述图像重构网络恢复无缺陷样本图，利用恢复无缺陷样本图与输入图像之间的残差，通过预设阈值得到缺陷可能出现的区域；利用所述图像分割网络得到像素点可能位于缺陷区域的概率，通过预设阈值分割出缺陷区域；使用图像配准网络得到待测图像在参考图像中的相对位置，利用所述相对位置信息进行缺陷检测。6.一种...
【专利技术属性】
技术研发人员：黄必清，牛衍昌，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。