一种交互式工业冷启动缺陷检测系统和方法技术方案

一种交互式工业冷启动缺陷检测系统和方法，该系统包括冷启动模块、交互式标注模块和热更新模块；冷启动模块通过良品模型对产线数据进行快速筛选，找出其中的异常数据送入交互式标注模块，实现冷启动；交互式标注模块获取冷启动结果以供人工标注，随后将有标注的数据送入热更新模块；热更新模块包含基于深度学习的目标检测算法构成的有监督模型，用于检测产线缺陷数据；通过冷启动模块、交互式标注模块和热更新模块，能够快速部署冷启动，完成产线缺陷数据的收集、标注和热更新迭代，实现在复杂的工业现场能够仅依靠大量的良品数据，搭建起冷启动的缺陷检测系统，快速地完成缺陷检测。测。测。

【技术实现步骤摘要】
一种交互式工业冷启动缺陷检测系统和方法


[0001]本专利技术涉及工业产品表面缺陷检测，特别是涉及一种交互式工业冷启动缺陷检测系统和方法。

技术介绍

[0002]工业产品的表面缺陷检测是保证产品质量最重要的环节之一。当前，大多数企业主要依靠人工目检，这种检测方式极大的损害了工人的身体健康，并且难以保证检测准确率和检测标准，进而影响着企业的生产水平。近年来，随着人工智能深度学习技术的快速发展，基于深度学习的目标检测和实例分割技术广泛应用于各个领域，如人脸识别等，也有越来越多的学者专家将其引入到工业生产中，但通常受到很多限制，原因是目前能达到较高准确率的算法非常依赖于大规模的已标注的数据集，而在工业零部件的生产中，出现不良品概率低且缺陷种类变化随机，这导致项目初期常常需要数月收集数据以及标注，非常影响项目冷启动部署。此外，随着缺陷数据量的增加，标注的效率会影响到模型的热更新迭代工作。
[0003]显然，目前的工业质检有以下几个弊端：1.工业数据难以收集，模型部署周期长，需要人工参与环节较多，难以快速冷启动；2.热更新阶段，标注人员难以全神贯注完成大量标注工作，常常忽视关键缺陷，标注效率低、模型迭代周期长。
[0004]现有基于深度学习的工业冷启动主要通过扩充缺陷数据集达到快速冷启动。已申请专利的有CN113850790A通过构建不同领域的缺陷数据扩充前期缺陷数据，但不同领域的数据分布不同，可能导致模型性能不佳。CN111127454A通过深度学习生成缺陷扩充缺陷数据集。CN114463316A通过构建正样本学习法快速实现项目冷启动，并随着数据的增加，逐步应用少样本和全监督方法，但数据的回流主要由人工处理，模型难以快速地热更新。
[0005]目前常用的2D图像标注工具主要以LabelMe为代表，通过点和线对图像进行标注，并导出json格式的标注文件。它的优点是部署简单，缺点是仅展示原图，缺少预处理，需要标注员仔细寻找缺陷区域，不同的标注人员标注难以统一。
[0006]基于快速扩充数据集达到冷启动的方法存在以下缺点：一是通过生成的工业缺陷通常很模糊，且难以生成指定的缺陷类型，同时生成模型也需要足量的数据来支撑，这是图像生成在工业难以应用的主要原因；二是不同方式扩充的数据难以拟合真实的缺陷分布，存在着过多的人为干预，无法快速利用到产线的实际缺陷数据。
[0007]基于正常样本的冷启动方法同样存在一些缺点：一是随着数据增多，在热更新阶段，仍需要大量时间进行缺陷标注，有监督模型无法及时迭代；二是良品模型的检测能力的限制，基于正常样本的异常检测算法存在漏报误报较严重的问题，仍需要大量的人工进行数据清洗；
[0008]总之，现有的基于深度学习的缺陷检测系统，面对复杂多变的工业生产环境，在完整的冷启动和热更新以及其间的数据回流存在着问题。
[0009]需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本申请的背景的理解，
因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0010]本专利技术克服上述
技术介绍
的缺陷，提供基于深度学习的交互式冷启动缺陷检测系统和方法，实现以下两个目的：一是依赖正常数据构建良品的特征模型，快速筛选大量的缺陷数据，缩短数据采集时间，达到项目的冷启动。二是通过良品模型给出缺陷区域的辅助定位，提高产线数据的分析和标注效率，缩短依赖于数据的热更新模型迭代周期。
[0011]为实现上述目的，本专利技术采用以下技术方案：
[0012]一种交互式工业冷启动缺陷检测系统，包括冷启动模块、交互式标注模块和热更新模块；
[0013]所述冷启动模块包括基于异常检测算法，使用不含缺陷的正常数据构建的良品模型，所述良品模型对产线数据进行快速筛选，找出其中的异常数据送入所述交互式标注模块，实现冷启动过程；
[0014]所述交互式标注模块获取冷启动的异常检测算法结果，显示由良品模型给出的可视化检测结果以便人工标注，随后将有标注的数据送入所述热更新模块；
[0015]所述热更新模块包含基于目标检测的有监督模型，，通过基于深度学习的目标检测算法检测产线缺陷数据；其中，所述有监督模型通过有标注的缺陷数据训练；
[0016]所述有监督模型和所述良品模型将检测结果输入到交互式标注模块，通过所述交互式标注模块将标注的缺陷检出和良品未检出数据分别放入可检出缺陷库和良品库中，将标注的缺陷未检出和良品检出数据分别放入不可检出缺陷库和非缺陷误报库中，以用于迭代更新所述良品模型和所述有监督模型。
[0017]进一步地：
[0018]通过调整所述良品模型的阈值以使所述良品模型未检出的都是正常数据。
[0019]所述冷启动模块基于深度学习的异常检测算法，包括重构网络和分割网络；在训练阶段，使用的样本均为正常数据，通过U
‑
Net结构的神经网络能够完成端到端的重构降噪，使得网络能够重构为正常的数据；在测试阶段，良品的重构是其本身，含缺陷样本也会重构为良品，通过比较测试图片和其重构图片的差异，作为缺陷检测的判据；其中，通过分割网络来捕捉输入图和重构图之间的差异。
[0020]所述训练阶段通过相似度损失函数来引导重构网络的梯度变化，以使重构后的样本和输入样本的差异最小化。
[0021]所述相似度损失函数采用SSIM结构相似度损失函数和L2正则相似度损失函数；SSIM结构相似度损失函数如下：
[0022][0023][0024]其中，I和I
r
分别为原始的输入和重构后的图，SSIM(I,I
r
)表示它们以坐标(i,j)为中心的SSIM结构相似度，μ为平均值，δ为方差，c为系数；
[0025]L2正则相似度损失函数和整个网络的损失为：
[0026][0027]L
rec
(I,I
r
)＝μL
SSIM
(I,I
r
)+L2(I,I
r
)
[0028]其中i,j为像素位置，μ为平衡两者的超参数。
[0029]所述分割网络采用平衡类别不平衡的Focal Loss作为损失函数，Focal Loss为：
[0030]Loss
Focal
＝
‑
(1
‑
p
t
)
γ
log(p
t
)
[0031][0032]其中，p
t
反映了预测值和真实值的接近程度，γ>0为可调节因子，用来平衡正负样本。
[0033]所述冷启动模块输出一张二值化后的分割图，显示可能出现异常区域的位置。
[0034]所述交互式标注模块显示检测原图和包含疑似缺陷区域的结果图，所述结果图为示出缺陷区域热力图。
[0035]所述热更新模块采用Faster R
‑
CNN目标检测算法。
[0036]一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互式工业冷启动缺陷检测系统，其特征在于，包括冷启动模块、交互式标注模块和热更新模块；所述冷启动模块包括基于异常检测算法，使用不含缺陷的正常数据构建的良品模型，所述良品模型对产线数据进行快速筛选，找出其中的异常数据送入所述交互式标注模块，实现冷启动过程；所述交互式标注模块获取冷启动的异常检测算法结果，显示由良品模型给出的可视化检测结果以便人工标注，随后将有标注的数据送入所述热更新模块；所述热更新模块包含基于目标检测的有监督模型，通过基于深度学习的目标检测算法检测产线缺陷数据；其中，所述有监督模型通过有标注的缺陷数据训练；所述有监督模型和所述良品模型将检测结果输入到交互式标注模块，通过所述交互式标注模块将标注的缺陷检出和良品未检出数据分别放入可检出缺陷库和良品库中，将标注的缺陷未检出和良品检出数据分别放入不可检出缺陷库和非缺陷误报库中，以用于迭代更新所述良品模型和所述有监督模型。2.如权利要求1所述的交互式工业冷启动缺陷检测系统，其特征在于，通过调整所述良品模型的阈值以使所述良品模型未检出的都是正常数据。3.如权利要求1或2所述的交互式工业冷启动缺陷检测系统，其特征在于，所述冷启动模块基于深度学习的异常检测算法，包括重构网络和分割网络；在训练阶段，使用的样本均为正常数据，通过U
‑
Net结构的神经网络能够完成端到端的重构降噪，使得网络能够重构为正常的数据；在测试阶段，良品的重构是其本身，含缺陷样本也会重构为良品，通过比较测试图片和其重构图片的差异，作为缺陷检测的判据；其中，通过分割网络来捕捉输入图和重构图之间的差异。4.如权利要求3所述的交互式工业冷启动缺陷检测系统，其特征在于，所述训练阶段通过相似度损失函数来引导重构网络的梯度变化，以使重构后的样本和输入样本的差异最小化。5.如权利要求4所述的交互式工业冷启动缺陷检测系统，其特征在于，所述相似度损失函数采用SSIM结构相似度损失函数和L2正则相似...

【专利技术属性】
技术研发人员：钱翔，王浩，李星辉，王晓浩，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：