一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法技术

本发明专利技术涉及一种基于全卷积神经网络(Fully convolutional networks，FCNs)的镀锌冲压件的瑕疵检测与分类方法，该方法包括：采集包含各种瑕疵种类的样本；根据图像灰度级标准差初步二分类，区分出合格工件与瑕疵工件；对初步筛选出的样本预处理提高对比度，提取感兴趣区域后作为改进的全卷积神经网络的输入进行训练；计算输出工件图片的像素值，设置阈值判断工件瑕疵种类并分类。本发明专利技术结合图像处理与全卷积神经网络进行瑕疵检测与分类，不仅避免了复杂的预处理与特征提取，还能较好地检测镀锌冲压件的瑕疵并进行分类。

【技术实现步骤摘要】
一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法
本专利技术涉及一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法，该方法结合图像处理与全卷积神经网络，属于图像处理与深度学习
，能够检测镀锌冲压件的表面瑕疵并进行分类。
技术介绍
冲压件是一种重要的配件，广泛应用在各种工业领域，尤其是在汽车生产领域，因为它的广泛应用而越来越受关注。生产过程中，若残次品不能及时被检测出来并剔除掉，将会严重影响后续的装配环节，导致产品总体质量水平的下降，因此它的质量监控有助于优化整个生产链，从而提高成品率和产品质量。表面缺陷作为冲压件缺陷的主要缺陷组成，冲压件生产过程中出现的问题大部分会第一时间以表面缺陷形式呈现。针对瑕疵的类型，有的瑕疵件是可以返修重加工成为合格品，例如烧伤、锈蚀等，另一些瑕疵件则直接定义为废品，例如划痕、冲压伤等；通过对瑕疵种类的分析，可以预测是生产工艺中哪个环节产生的问题，并且有针对性地采取改进措施，改进操作方法和加工工艺，以达到提高劳动生产效率和经济效益的目的。但是冲压件在工业生产线上数量巨大，而且有些缺陷不明显、尺寸小，如果依靠传统的人工视觉检测会因冗长乏味的工作引起人眼疲劳，受主观影响较大，容易造成误判。所以提出缺陷的自动化检测与分类，对克服人工视觉检测的缺点、提高检测效率具有重要意义。图像处理与分类器的机器视觉技术是缺陷检测方面的主流方法，主要包括图像预处理、分割、特征选择和分类。瑕疵检测在纺织领域中应用较早，传统方法中，多是针对瑕疵人为地描述特征，然后进行分类。MahyariA.G.利用高通滤波和直方图变换，对大型钢板表面横竖划痕缺陷图像进行增强，然后提取多重分形的几何和灰度特征，提交给神经网络进行分类识别。JongPilYun等在钢丝杆表面瑕疵检测上，通过采用双阈值二值化、形态学处理、边缘检测等方法提取到瑕疵特征，然后利用支持向量机实现了分类，对因氧化而导致的钢丝杆表面裂纹和脱磷可以有效识别。本专利技术以汽车制造领域应用的小型镀锌冲压件为研究对象，在冲压件的生产过程中，材料本身的瑕疵、切割及冲压不当、磨具的老化、表面处理时产生的氧化烧伤、镀锌时产生的锈蚀，都是使产品产生瑕疵的因素，瑕疵的类型主要包括划痕压痕、锈蚀烧伤。首先，镀锌冲压件上有镀锌纹，为传统方法中利用阈值及边缘信息对瑕疵进行分割造成困难；其次，冲压件上划痕和烧伤的形状、大小及亮度信息的不确定因素很大，所以很难对其特征进行描述。通过上述的机器视觉的应用，缺陷检测已经取得了很大的进展。但是对于镀锌冲压件的瑕疵检测，由于图像处理过程复杂、特征难以提取和图像质量不稳定.仅利用机器视觉的方法难以满足工程要求。
技术实现思路
本专利技术的目的是克服现有技术的上述不足，提出一种无需复杂预处理，不会被镀锌模式影响且实时性非常好的基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法，为此，本专利技术采用如下的技术方案：1.采集各类瑕疵样本；2.计算图像灰度级标准差，初步二分类，区分出合格工件与瑕疵工件；3.对初步筛选出的样本预处理提高对比度，并提取出感兴趣区域；4.将处理后的图像输入改进的全卷积神经网络，该网络通过融合低层特征和高层特征得到具有更多细节的分割结果；5.采用小批量随机梯度下降法训练网络，并引入动量项加速收敛、减少振荡；6.对经全卷积神经网络输出的图片设置阈值判断工件瑕疵的种类；与现有技术相比，本专利技术的有益效果是：1.操作简单。图像直接作为网络的输入，避免了传统算法复杂的预处理和特征提取。2.实时性好。在测试集中根据标准差初步二分类，区分正常图片与缺陷图片，瑕疵工件和极少量合格工件接下来被输入到全卷积神经网络中，为后面的分割、分类减少工作量，提高整个系统的实时性。3.精度高。将网络低层特征和网络高层特征连接，产生更为准确的输出4.速度快。采用小批量梯度下降法训练网络，并引入动量优化算法，加速收敛，减少振荡，在保证高分类精度的同时还具有更好的适应性和稳定性。附图说明图1为本专利技术的流程图；图2(a)为合格工件提取感兴趣区域后的图片；图2(b)为烧伤瑕疵工件提取感兴趣区域后的图片；图2(c)为划痕瑕疵工件提取感兴趣区域后的图片；图2(d)为划痕+烧伤瑕疵工件提取感兴趣区域后的图片；图3为改进的全卷积神经网络结构图；图4为实验设备平台；图5为网络迭代过程中的损失-精度曲线的仿真结果；图6(a1)-(a3)分别为合格工件的原图、带有标注的图和检测结果图；图6(b1)-(b3)为划痕瑕疵工件的原图、带有标注的图和检测结果图；图6(c1)-(c3)为烧伤瑕疵工件的原图、带有标注的图和检测结果图；图6(d1)-(d3)为划痕+烧伤瑕疵工件的原图、带有标注的图和检测结果图；图6(e1)-(e3)为检测错误的原图、带有标注的图和结果图；具体实施方式本专利技术的流程如图1所示，首先，采集包含各种瑕疵种类的样本，计算样本灰度级标准差，根据标准差初步二分类，将瑕疵工件与合格工件区分出来；然后，对初步筛选出的样本简单预处理提高对比度，使特征更加明显，并提取感兴趣区域；将处理后样本作为全卷积神经网络的输入进行训练；最后对输出的样本设置阈值判断瑕疵种类。下面结合附图，对本专利技术技术方案的具体实施过程加以说明。1.采集瑕疵样本；采集包含各种瑕疵种类的样本图像。2.根据标准差初步二分类通过对大量实验样本的灰度级进行计算统计，缺陷图像的灰度级比正常图像灰度级大，因此可以简单地通过灰度级的标准差区分正常图像与缺陷图像。标准差δ定义如下：其中，f(x，y)是图像的灰度值，是图像的平均灰度值，M×N是图像尺寸。通过观察，正常图片灰度级标准差为10-12，缺陷图片灰度级标准差大于13。基于这一标准，在测试集中尽可能地将正常图片与缺陷图片正确区分出来。瑕疵工件和极少量合格工件接下来会被输入到全卷积神经网络中，为后面的分割、分类减少工作量，提高整个系统的实时性。3.预处理对筛选出的样本直方图均衡化，提高瑕疵与背景的对比度，使特征更明显。将图像进行二值化处理，以凸显出感兴趣的目标的轮廓，针对实验数据，选取阈值25进行二值化处理。然后从二值图像中检索轮廓，返回检测到的轮廓的个数。遍历轮廓中的每个点。从而提取图像的ROI区域，最后将图像归一化到227*227大小提取感兴趣区域。提取感兴趣区域后样本图像尺寸较小，作为全卷积神经网络的输入便于进行训练。处理后的图片如图2所示。4.全卷积神经网络训练模型全卷积神经网络是卷积神经网络的一种扩展形式，卷积神经网络基于平移不变性，基本结构(卷积、池化和激活函数)在本地输入区域操作，而且只依赖于相对空间坐标。在特定层的位置(i，j)为数据向量输入xij，向下一层输出yij。k是卷积核尺寸，s代表步长，fks是层的类型：卷积层或平均池化，空间最大池化，或对应元素的非线性激活函数等其他类型的层。卷积核尺寸和步长大小服从转换规则。全卷积神经网络可以对任何大小的输入操作，并产生相应空间维度的输出。基于全卷积神经网络结构，本专利技术将一种新型的全卷积神经网络用于冲压件瑕疵的分割和识别上，网络结构如图3所示。实验发现，直接使用网络输出会发现网络的输出结果非常粗糙，不能完整的分割出瑕疵，这是由于经过多次最大池化操作造成精度下降。如本文所使用的网络结构中，最后一层步长为3本文档来自技高网...

【技术保护点】
基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法，所述方法包括下列步骤：(1)采集各类瑕疵样本；(2)计算图像灰度级标准差，初步二分类，区分出合格工件与瑕疵工件；(3)对初步筛选出的样本预处理提高对比度，并提取出感兴趣区域；(4)将处理后的图像输入改进的全卷积神经网络，该网络通过融合低层特征和高层特征得到具有更多细节的分割结果；(5)采用小批量随机梯度下降法训练网络，并引入动量项加速收敛、减少振荡；(6)对经全卷积神经网络输出的图片设置阈值判断工件瑕疵的种类。

【技术特征摘要】
1.基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法，所述方法包括下列步骤：(1)采集各类瑕疵样本；(2)计算图像灰度级标准差，初步二分类，区分出合格工件与瑕疵工件；(3)对初步筛选出的样本预处理提高对比度，并提取出感兴趣区域；(4)将处理后的图像输入改进的全卷积神经网络，该网络通过融合低层特征和高层特征得到具有更多细节的分割结果；(5)采用小批量随机梯度下降法训练网络，并引入动量项加速收敛、减少振荡；(6)对经全卷积神经网络输出的图片设置阈值判断工件瑕疵的种类。2.根据权利要求1所述的基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法，其特征在于，步骤(2)中，计算实验样本灰度级标准差，标准差小于13的样本判断为正常工件，大于13的样本包含瑕疵工件与极少数合格工件。3.根据权利要求1所述的基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法，其特征在于，步骤(3)中，将图像进行二值化处理，以凸显出感兴趣的目标的轮廓，针对实验数据，选取阈值25进行二值化处理；然后从二值图像中检索轮廓，...

【专利技术属性】
技术研发人员：耿磊，肖志涛，王曼迪，冷彦奕，吴骏，张芳，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12