一种基于深度学习的铝压铸件表面缺陷检测方法技术

本发明专利技术公开是关于一种基于深度学习的铝压铸件表面缺陷检测方法，涉及数字图像处理技术领域。包括：通过光度立体法，将多张不同角度照明的图片合成一张格式的图片，使缺料、划伤等缺陷更加明显；应用深度学习方法，训练出目标检测模型，检测图像中的缺陷。本发明专利技术采用普通FA镜头和定制的环形光源来完成光度法的打光。环形光源平均分成四部分，使用控制程序依次控制每部分光源的开光，每次只亮一部分，且同时采集图像。采集完图像后，使用光度立体法将四张图像合成一张tiff格式图像。从合成的图像可以看到，划伤等缺陷被明显地呈现出来。划伤等缺陷被明显地呈现出来。划伤等缺陷被明显地呈现出来。

【技术实现步骤摘要】
一种基于深度学习的铝压铸件表面缺陷检测方法


[0001]本专利技术公开涉及数字图像处理
，尤其涉及一种基于深度学习的铝压铸件表面缺陷检测方法。

技术介绍

[0002]铝压铸件在汽车变速箱的生产中有着重要的应用，汽车行业的快速发展带动了铝压铸件的大批量生产，铝压铸件作为变速箱的关键零部件，其表面质量直接影响零件的装配和使用性能。铸造过程中由于受生产设备、铸造工艺、人工技术和外部环境等因素的影响，铝压铸件表面不可避免地产生气孔、裂纹、划痕等缺陷，影响成品的外观、密封性、抗磨性等性能，甚至影响变速箱的正常使用。
[0003]目前，针对铝压铸件的表面缺陷的检测仍以人工目视为主。在长期的单一重复性工作中，工人容易产生疲劳，导致不合格的产品流入到应用市场中。不同的工人操作的手法力度宽严也不尽相同，对于极限件合格性的判断会产生主观不一致。铝压铸件表面形状复杂、缺陷类型多样，并且在生产过程中出现的水渍、油污、加工纹理等易被误识别为缺陷，对检测结果造成干扰。Femandez.C开发了连铸铝合金铸件在线表面检测视觉系统，采用面阵CCD进行图像采集，利用相似性算法和纹理算法实现了多种表面缺陷检测和分类识别。Robles.L采用改进的模糊模式识别算法进行铸件表面的缺陷分类和识别，对裂纹和孔洞等缺陷具有良好的分类效果。Timothys.Newan等人研究设计了一套用于铸件表面自动视觉检测系统，适合测量大量存在表面缺陷的金属铸件。但是针对气孔、裂纹、划痕等缺陷，因产品状态不一致，未能准确识别。随着近年来深度学习在工业检测领域的应用越来越广泛，效果越来越好，本专利技术提出了一种基于深度学习的铝压铸件表面缺陷检测算法。
[0004]鉴于上述分析，现有技术存在的问题是：
[0005](1)以人工目视为主的铝压铸件的表面缺陷的检测过程中，工人容易产生疲劳，导致不合格的产品流入到应用市场中。
[0006](2)不同的工人操作的手法力度宽严也不尽相同，对于极限件合格性的判断会产生主观不一致。
[0007](3)铝压铸件表面形状复杂、缺陷类型多样，并且在生产过程中出现的水渍、油污、加工纹理等易被误识别为缺陷，对检测结果造成干扰。
[0008]解决上述技术问题的难度在于：
[0009]针对铝压铸件表面缺陷检测的研究成果较少.由于铝压铸件形状复杂，最常见的气孔缺陷尺寸细微，难以准确分割出缺陷区域，并且在生产过程中出现的水渍、油污等易被误识为缺陷，对传统方式的检测结果造成干扰。
[0010]铝压铸件存在各种形态，为降低企业生成成本，增加算法的有效检出能力，需要算法具有一定的通用性，通过对缺陷进行标注训练识别，需要适应不同型号的产品。
[0011]解决上述技术问题的意义在于：
[0012]考虑到传统人工检测方式以及传统视觉的检测方式，采用本文提出的检测方法可
以适应不同表面形态、不同类型的缺陷，降低因水渍、油污对算法的影响，提高了检测的效率。
[0013]同一套算法模型适用不同类型的铝压铸件产品缺陷的检测，实现了一次标注训练，适应所有类似的缺陷检测，降低了企业的运营成本，提高后期设备的研发效率。

技术实现思路

[0014]为克服相关技术中存在的问题，本专利技术公开实施例提供了一种基于深度学习的铝压铸件表面缺陷检测方法。所述技术方案如下：
[0015]该基于深度学习的铝压铸件表面缺陷检测方法包括：
[0016]步骤一、通过光度立体法，将多张不同角度照明的图片合成一张格式的图片，使缺料、划伤等缺陷更加明显；
[0017]步骤二、应用深度学习方法，训练出目标检测模型，检测图像中的缺陷。
[0018]作为本专利技术的优选实施例，在步骤一中，图像合成后，采用了YOLO-v3目标检测算法，将合成的图像加载进预先设置好的网络框架中进行训练。
[0019]作为本专利技术的优选实施例，在步骤一中，保持相机镜头模组于被摄物体之间的相对位置不变，变化光源的照明角度，拍摄多张图片；
[0020]利用光度立体法，将多张图片合成一张tiff格式的图，从合成图可看出，合成后，缺陷比合成之前更明显。
[0021]作为本专利技术的优选实施例，变化光源的照明角度为至少三个不同的角度。
[0022]作为本专利技术的优选实施例，光度立体法采用图像中各点的亮度方程，即辐照方程，其数学描述如下：
[0023]I(x，y)＝k
d
(x，y)S
·
N(x，y)
ꢀꢀꢀ
(1)
[0024]其中I是表面点的亮度，S为光源向量，N为表面法向量，k
d
为表面反射系数；
[0025]给定三幅光度立体图像I1、I2、I3，根据亮度方程(1)可以得到三个关于物体表面梯度的方程：
[0026][0027]这里I
i
(x，y)表示图像在(x，y)点的亮度，R
i
(p(x，y)，q(x，y))表示不同光源下的反射方程；
[0028]设三个光源方向为图像的向量形式为I＝(I1，I2，I3)
T
，将式(2)写成矩阵的形式：
[0029][0030]其中，
[0031]如果三个光源方向向量不共面，那么矩阵满秩，即它是可逆的，这时通过解式(3)可得物体表面法向量N：
[0032][0033]作为本专利技术的优选实施例，在步骤二中，将tiff格式图片的灰度值由0-1映射到0-255，得到png格式图片；
[0034]将采集的所有图片分类，按7∶3的比例分为训练集和测试集两部分，对训练集进行人工标注，标签按缺陷类型分类；
[0035]标注完成后，将标注好的图片导入到YOLOv3目标检测算法中进行训练，训练完成后，得到训练模型；
[0036]将模型载入预测程序，传入图像后开始进行目标检测。
[0037]作为本专利技术的优选实施例，在YOLOv3目标检测算法的处理过程中，使用加权K-means算法对目标样本进行聚类。
[0038]作为本专利技术的优选实施例，加权K-means算法分配聚类中心并设置每一个样本的权重参数，再进行聚类计算；调整YOLOv3的网络结构，增加残差单元和一个大尺度的特征图层输出。
[0039]作为本专利技术的优选实施例，加权K-means算法的实现步骤为：
[0040](1)设置3个feature map的中心点，每1个中心点对应3个聚类中心；
[0041](2)求出每一个样本与中心点之间的距离，距离计算公式如式(5)所示：
[0042][0043]其中，box
i
(1)、box
i
(2)为第i个样本的横、纵坐标，C
l
(1)、C
l
(2)为第l个中心点的横、纵坐标；
[0044](3)求权重矩阵，即每个样本对应每个聚类中心的权重，属于同一个中心点的聚类中心共用相同的权重；权重为样本到聚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的铝压铸件表面缺陷检测方法，其特征在于，该基于深度学习的铝压铸件表面缺陷检测方法包括：步骤一、通过光度立体法，将多张不同角度照明的图片合成一张格式的图片，使缺料、划伤缺陷更加明显；步骤二、应用深度学习方法，训练出目标检测模型，检测图像中的缺陷。2.根据权利要求1所述的基于深度学习的铝压铸件表面缺陷检测方法，其特征在于，在步骤一中，图像合成后，采用YOLO-v3目标检测算法，将合成的图像加载进预先设置好的网络框架中进行训练。3.根据权利要求1所述的基于深度学习的铝压铸件表面缺陷检测方法，其特征在于，在步骤一中，保持相机镜头模组于被摄物体之间的相对位置不变，变化光源的照明角度，拍摄多张图片；利用光度立体法，将多张图片合成一张tiff格式的图。4.根据权利要求3所述的基于深度学习的铝压铸件表面缺陷检测方法，其特征在于，变化光源为至少三个不同的照明角度。5.根据权利要求3所述的基于深度学习的铝压铸件表面缺陷检测方法，其特征在于，光度立体法采用图像中各点的亮度方程，即辐照方程，其数学描述如下：I(x，y)＝k
d
(x，y)S
·
N(x，y)
ꢀꢀꢀꢀꢀ
(1)其中I是表面点的亮度，S为光源向量，N为表面法向量，k
d
为表面反射系数；给定三幅光度立体图像I1、I2、I3,根据亮度方程(1)可以得到三个关于物体表面梯度的方程：其中I
i
(x，y)表示图像在(x，y)点的亮度，R
i
(p(x，y)，q(x，y))表示不同光源下的反射方程；设三个光源方向为图像的向量形式为I＝(I1，I2，I3)
T
，将式(2)写成矩阵的形式：其中，如果三个光源方向向量不共面，那么矩阵满秩，即它是可逆的，这时通过解式(3)可得物体表面法向量N:
6.根据权利要求1所述的基于深度学习的铝压铸件表面缺陷检测方法，其特征在于，在步骤二中，将tiff格式图片的灰度值由0-1映射到0-255，得到png格...

【专利技术属性】
技术研发人员：曹彬，胡江洪，袁帅鹏，
申请(专利权)人：菲特天津检测技术有限公司，
类型：发明
国别省市：