一种基于卷积神经网络对螺柱焊焊接质量的检测方法技术

本发明专利技术公开了一种基于卷积神经网络对螺柱焊焊接质量的检测方法，包括：采集系统采集螺柱焊相关的源样本，并对源样本进行分类；对源样本进行预处理；将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练，获得最终模型；保存所述最终模型，并输入经过预处理的样本进行在线检测，预测所述焊接样本的分类类型。通过采集训练样本，训练基于预训练的卷积神经网络的焊接质量分类器，使其能快速准确地识别不同种类的焊接缺陷类型，能有效解决当前螺柱焊质量在线检测准确率低的问题。问题。问题。

【技术实现步骤摘要】
一种基于卷积神经网络对螺柱焊焊接质量的检测方法


[0001]本专利技术属于机器视觉领域，具体为工业图像检测识别领域，特别涉及一种基于双目摄像头采集焊接区域图像并利用卷积神经网络进行焊接质量检测的方法。

技术介绍

[0002]螺柱焊是一种将金属螺柱或其他类似的金属紧固件焊接到金属板材上的焊接方法，具有无孔连接的特点，不仅是保证了工件的密封性，而且生产效率相较传统加工方式也有大幅提高。螺柱焊在汽车、家电、仪器仪表、医疗器械等行业均有广泛的应用，螺柱焊接的质量对产品的质量具有重要的影响。
[0003]目前在工业生产过程中主要的螺柱焊质量检测方法是破坏性实验，如弯曲测试、拉伸等。该方法主要应用在生产前的验证性检验和生产过程中的抽样检验，经过破坏性试验后螺柱无法继续使用。因此，无法对焊接过程中的每个螺柱进行质量检查。人工目检虽然可以对每个焊接螺柱进行检查，但是这种方式的检测精度很大程度上依赖于检测工人的技术以及经验，会产生很多不稳定因素，并且增加了工人的工作量，从而使得工作效率低下。
[0004]基于单目视觉的图像采集容易受到螺柱本身遮挡焊缝的影响，不能采集到完整的焊缝区域。传统的图像检测识别方法，如图像分割等，容易受到不同图像复杂背景的影响，稳定性不强，检测识别精度低。
[0005]针对上述问题，本专利技术提供了一种基于卷积神经网络对螺柱焊接质量检测的方法，通过两个摄像头采集图像并进行图像拼合以采集到完整的焊缝区域，训练基于卷积神经网络的焊接质量分类器，使其能快速准确的对焊接螺柱进行质量判别。
>
技术实现思路

[0006]本专利技术提供了一种基于卷积神经网络对螺柱焊焊接质量的检测方法，用以解决当前螺柱焊焊接质量检测效率低，精度差的问题。
[0007]为了达到上述目的，本专利技术提供的技术方案是一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其包括以下步骤：
[0008]1.利用采集系统采集螺柱焊相关的源样本，并对源样本进行分类；
[0009]2.对原样本进行预处理；
[0010]3.将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练，获得最终模型；
[0011]4.保存所述最终模型，并输入经过预处理的样本进行在线检测，预测所述焊接样本的分类类型。
[0012]在一种可能实现的方式中，所述利用采集系统采集螺柱焊相关的源样本，并对源样本进行分类的步骤包括：
[0013]所述的采集系统由两个相机，LED灯组成。两个相机位于已完成焊接的螺柱的上方，两个相机在空间内关于螺柱的中轴平面对称。两个相机间的距离可随螺柱直径的尺寸
调整。采集的源样本为两个相机触发采集的图像。将所述的源样本按比例进行分类，获得训练样本、验证样本、测试样本。
[0014]在一种可能实现的方式中，对源样本进行预处理的步骤包括：
[0015]将源样本中由不同相机采集的同一个螺柱的图像进行图像拼合；
[0016]利用目标检测算法检测拼合后的图像中的焊接区域；
[0017]对图像进行剪裁，剪裁边界为焊接区域目标识别的外接矩形框。
[0018]其中，所述的预处理后的源样本为裁剪后的图像。
[0019]在一种可能实现的方式中，将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练处理，获得最终模型的具体步骤包括：
[0020]将预训练模型的卷积层参数保存在共享的卷积层中；
[0021]将采集的经预处理的源样本放入到预训练模型共享的卷积层中来提取图像特征，并将所述图像特征输入到全连接层中进行特征分类，并基于输出层输出特征分类结果，实现对预训练模型的训练，并获得第一训练模型；
[0022]其中，所述的预训练模型为在不同规格的螺柱样本中训练得到的网络模型；
[0023]将验证样本输入到验证反馈模型进行验证和反馈，并将反馈结果输入到所述第一训练模型中作为调整参数进行训练，获得第二训练模型；
[0024]基于测试样本对第二训练模型进行检验；
[0025]其中，所述第二训练模型即为所述最终模型。
[0026]在一种可能实现的方式中，保存所述最终模型，输入焊接样本进行在线检测，预测所述焊接样本的分类之前，包括：
[0027]将测试样本对第二训练模型进行检验，判断第二训练模型的可信度；
[0028]当所述可信度大于或等于预设度时，将第二训练模型进行保存，并对输入的焊接样本进行在线检测，预测所述焊接样本的分类。
[0029]在一种可能实现的方式中，输入焊接样本进行在线检测，预测所述焊接样本的分类类型之后，还包括：
[0030]预测所述焊接样本的焊接区域的焊接缺陷类型；基于预设数据集的查准率和查全率的测量指标，测量所述焊接缺陷类型的缺陷信息，并基于所述缺陷信息进行初次缺陷评估；
[0031]同时，还对所述焊接样本进行再次缺陷评估；
[0032]当两次缺陷评估结果一致时，进行第一缺陷报警；
[0033]否则，基于初次缺陷评估结果，确定所述焊接样本的第一焊接信息；
[0034]同时，基于再次缺陷评估结果，确定所述焊接样本的第二焊接信息；
[0035]基于所述第一焊接信息和第二焊接信息，对所述焊接样本进行焊接图像修复，当修复完成后，进而第二缺陷报警。
[0036]本专利技术的有益效果是：
[0037]1.采集系统避免了螺柱本体对焊缝的遮挡问题，能够采集到完整的焊缝息；
[0038]2.基于目标检测对图像进行裁剪可以有效避免非焊接区域背景的干扰；
[0039]3.基于卷积神经网络系统的预训练方式使得针对特定规格的螺柱焊接质量检测
效率更高，可以准确的分类不同种类的焊接缺陷类型。
附图说明
[0040]图1是本专利技术一种基于卷积神经网络对螺柱焊焊接质量的检测方法的流程图。
[0041]图2是图像采集系统示意图。
[0042]图3是焊接质量在线检测流程图。
具体实施方式
[0043]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0044]本专利技术提供了一种基于卷积神经网络对螺柱焊焊接质量的检测方法，如图1所示，包括：
[0045]1.利用采集系统采集螺柱焊相关的源样本，并对源样本进行分类；
[0046]2.对源样本进行预处理；
[0047]3.将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练，获得最终模型；
[0048]4.保存所述最终模型，并输入经过预处理的样本进行在线检测，预测所述焊接样本的分类类型。
[0049]优选的，所述的对源样本进行分类包括：获得的训练样本：验证样本：测试样本＝8：1：1或6：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其特征在于，包括：利用采集系统采集螺柱焊相关的源样本，并对源样本进行分类；所述源样本为由采集系统采集的已完成焊接的螺柱的表面图像；对源样本进行预处理；将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练，获得最终模型；保存所述最终模型，并输入经过预处理的样本进行在线检测，预测所述焊接样本的分类类型。2.如权利要求1所述的一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其特征在于，所述采集系统由安装于相机架上的两个相机和LED灯组成，其中两个相机的间距可随螺柱的直径尺寸进行调节。3.如权利要求1所述的一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其特征在于，所述采集源样本，对源样本进行分类的步骤包括：将所述源样本按比例进行随机分类，获得训练样本、验证样本、检测样本；其中，所述比例包括：获...

【专利技术属性】
技术研发人员：刘嘉，陈成伟，巩一霈，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：