一种基于深度迁移学习的汽车钣金件表面缺陷检测方法技术

本发明专利技术公开一种基于深度迁移学习的汽车钣金件表面缺陷检测方法，包括以下步骤：1、图像获取；2、图像前处理，特征提取；3、第一阶网络训练；4、第一阶网络输出，性能分析；5、调整样本，第二阶网络训练；6、输入待检测图像；7、网络决策；8、重构切片图像，定位缺陷；9、检测结果输出。本发明专利技术中通过上述步骤，基于图像处理、机器视觉、深度学习，有效的对汽车钣金表面缺陷进行检测。行检测。行检测。

【技术实现步骤摘要】
一种基于深度迁移学习的汽车钣金件表面缺陷检测方法


[0001]本专利技术缺陷检测领域，具体涉及一种基于深度迁移学习的汽车钣金表面缺陷检测方法。

技术介绍

[0002]随着信息技术的发展，基于模式识别算法的视觉检测系统越来越多地取代人工目检被应用在各类工业生产活动当中。汽车行业是一个国家高端制造业的标杆，其对产品质量和稳定性的要求较高，车身钣金件当中任何一个微小的缺陷，例如划痕、擦伤、凹凸伤、裂缝等，都可能会对最终的产品质量产生巨大的影响。因此，对车身钣金件表面的缺陷进行自动识别检测，是汽车生产制造过程当中最重要的工序之一。
[0003]传统的机器视觉检测方法，主要有基于底层像素信息的检测技术和基于机器学习算法的检测技术。基于底层像素信息的检测技术主要针对缺陷区域与周围区域在像素灰度值层面存在的差异，识别边缘、形状、面积、HOG(Histogram of Oriented Gradient，方向梯度直方图)等特征。但是，生产环境当中客观因素的改变很容易导致像素灰度值发生巨大变化，因此这类方法只适用于小范围的检测。基于机器学习算法的检测技术主要利用SVM (Support Vector Machine，支持向量机)、RBF(Radical Basis Function，径向基函数)、MLP(Multilayer Perceptron，多层感知器)等算法，但是这类方法难以捕获图像全局、高阶语义特征，因此只适用于场景较为简单的检测任务，且效率有限。
[0004]近年来，随着深度学习的快速发展，研究人员开始致力于利用卷积神经网络 (Convolutional Neural Network，CNN)解决缺陷检测问题。但是现阶段基于卷积网络的缺陷检测方法主要存在以下几点问题：第一，现有算法所面向的对象，通常是反映独立场景的独立图像，而无论是采用AlexNet的滑窗检测策略，还是采用Faster R
‑
CNN的目标检测策略，网络一旦出现误判和漏判，都会直接影响检测结果。即在一次计算当中，单阶网络对于单幅图像的容错率较低。第二，现有算法对输入图像进行预处理的方式，主要为随机裁剪、翻转、镜像、对比度和直方图调整等，不能自适应地权衡检测主体与背景区域之间的关系，导致网络有时会占用过多资源学习不相关内容，影响检测效率。第三，现有算法的滤波去噪方式，会同时作用于检测主体和噪声，这会导致检测主体的部分细节信息被滤除，而这些信息会影响网络是否能够习得有效特征。此外，汽车行业对钣金件表面缺陷的检测准确率要求，较一般行业更高，现有算法很难达到。同时，深度学习属于大数据驱动技术，而工业场景下所能提供的数据样本较少，利用小样本直接进行网络训练，则极易造成过拟合。

技术实现思路

[0005]本专利技术的目的在于提供一种基于深度迁移学习的汽车钣金表面缺陷检测方法，能够有效的解决
技术介绍
所提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于深度迁移学习的汽车钣金表面缺陷检测方法，包括如下步骤：
[0007]S1：利用红外热像仪对钣金件进行断层扫描，对于一件产品，一次扫描可获得数百张切片图像，经验丰富的检测人员根据切片图像中有无存在缺陷，对采集图像进行标注，构建整体数据集，一处可辨缺陷通常会存在于五张以上的切片中，因此即使后序有一张图像被误判，本专利技术的数据采集方式也会使得误判对于整体检测结果的影响较低。
[0008]S2：根据检测主体，自适应地对图像进行ROI(Region of Interest，感兴趣区域) 选取，分割，滤波，得到滤波图像。将滤波图像与ROI图像进行融合，得到既滤除了高频噪声又保留了钣金件主体细节内容的样本图像。调整样本图像的尺寸以及样本规模，制作第一阶网络所需的数据集。
[0009]S3：构建第一阶网络模型，包含两个子网络，利用第一阶训练集和第一阶验证集对第一阶模型进行训练和验证。
[0010]S4：保存第一阶网络的训练模型，并利用第一阶测试集对各子网络进行性能分析。
[0011]S5：将第一阶两个子网络测试输出的全部FN(False Negative，假负例)样本标注为第二阶正样本，将第一阶两个网络测试输出的全部FP(False Positive，假正例)样本标注为第二阶负样本，重新对其进行镜像、随机翻转等操作，扩充样本量，使正负样本量相等，均为10,000张图像，并构建第二阶训练集。利用第二阶训练集和前述的第二阶验证集对第二阶网络进行训练和验证。
[0012]S6：在实际工业检测过程中，所输入数据为红外热像仪直接采集的、未经处理的钣金件切片图像。算法首先对其进行ROI区域选取、裁剪、分割、滤波，之后将其尺寸调整为 512
×
512，并将其按顺序送入网络进行计算。
[0013]S7：网络对输入样本进行计算，输出判别值，设置判别阈值，若判别值大于等于0.5，则将切片标记为正，反之，则将切片标记为负。
[0014]S8：对红外热像仪直接采集的、未经处理的钣金件切片按顺序进行重构，得到能反映钣金件真实样貌的二维重构图像，并将缺陷位置在重构图像上标出。
[0015]S9：输出标记有缺陷位置且能反映钣金件真实样貌的图像，即完成最终的缺陷检测。
[0016]进一步的，在步骤S1中，将FLIR
‑
A615工业相机安装在图像采集模组上，进行图像采集；调整相机焦距以及各参数，使其能够清晰地捕获图像表面信息，采集图像分辨率为 640
×
480，同时在步骤S1中，将采集到的切片图像以bmp格式按顺序进行命名，专业检测人员根据切图像中有无缺陷，对图像进行标注，存在缺陷的图像标注为正样本，不存在缺陷的图像标注为负样本。将正负样本保存入不同的文件夹中。
[0017]进一步的，在步骤S2中，利用密度质心算法计算输入图像的全局灰度值，求得一锚点。以图像长度为长，以该锚点对应上下各100像素为宽，对输入图像进行640
×
200的裁剪，得到裁剪图像。因钣金件主体在红外成像中反应的像素值高，而背景区域反应的像素值低，所以该步骤可以得到针对钣金件表面的ROI区域，而裁除了图像中与计算不相关的区域，从而提升了后序效率。质心计算公式为：
[0018][0019]其中，x0为图像坐标系中锚点对应横坐标，y0为锚点对应纵坐标，f
ij
为像素在(x
i
，y
j
)处的灰度值，
[0020]在步骤S2中，对获取的ROI区域进行阈值分割，图像中灰度值低于75的像素点设置为0，其余像素点灰度值保持不变，以进一步降低背景区域对后序计算的影响，得到分割图像，
[0021]在步骤S2中，对得到的分割图像进行核尺寸为49的高斯滤波，以滤除图像中的高频噪声和不相关细节，得到滤波图像。
[0022]在步骤S2中，将滤波图像与ROI图像进行融合，得到融合图像，融合图像既保留了原始输入图像中检测主体的细节内容，又滤除了不相关的背景本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度迁移学习的汽车钣金表面缺陷检测方法，其特征在于：包括如下步骤：S1：利用红外热像仪对钣金件进行断层扫描，对于一件产品，一次扫描可获得数百张切片图像，经验丰富的检测人员根据切片图像中有无存在缺陷，对采集图像进行标注，构建整体数据集，一处可辨缺陷通常会存在于五张以上的切片中，因此即使后序有一张图像被误判，本发明的数据采集方式也会使得误判对于整体检测结果的影响较低；S2：根据检测主体，自适应地对图像进行ROI(Region of Interest，感兴趣区域)选取，分割，滤波，得到滤波图像，将滤波图像与ROI图像进行融合，得到既滤除了高频噪声又保留了钣金件主体细节内容的样本图像，调整样本图像的尺寸以及样本规模，制作第一阶网络所需的数据集；S3：构建第一阶网络模型，包含两个子网络，利用第一阶训练集和第一阶验证集对第一阶模型进行训练和验证；S4：保存第一阶网络的训练模型，并利用第一阶测试集对各子网络进行性能分析；S5：将第一阶两个子网络测试输出的全部FN(False Neg...

【专利技术属性】
技术研发人员：陈乾宇博，邵杭，刘伯威，陈镇龙，张一丁，
申请(专利权)人：威海北硕检测技术有限公司，
类型：发明
国别省市：