基于深度学习的直线焊缝中心线提取方法技术

本发明专利技术公开了一种基于深度学习的直线焊缝中心线提取方法。该方法具体包括一下几个步骤：步骤1：获取直线焊缝图像；步骤2：构建焊缝检测的深度卷积神经网络。基于Pytorch深度学习框架搭建全卷积神经网络模型，采用VGGNet作为特征提取网络，采用反卷积层对最后一个卷积层的featuremap进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测。步骤3：基于直线焊缝数据集，对网络进行训练；步骤4：利用训练好的网络模型对焊缝区域进行检测；步骤5：对步骤4检测到的焊缝区域进行图像骨骼化处理，以此提取焊缝的中心线。以此提取焊缝的中心线。以此提取焊缝的中心线。

【技术实现步骤摘要】
基于深度学习的直线焊缝中心线提取方法


[0001]本专利技术属于焊缝检测领域，具体涉及一种基于深度学习的直线焊缝中心线提取方法。

技术介绍

[0002]焊接作为工业生产制造领域一项重要的手段，随着科学技术的不断推进，传统的人工焊接已经被逐渐取代，自动化和智能化焊接已经成为现代焊接领域的发展趋势。自动化焊接系统运动控制的基础是需要视觉系统对待焊接工件进行图像采集，准确识别焊缝轨迹中心线并提取其坐标。而视觉信息得益于其信息丰富、方便直观和便于处理等优势，是焊缝识别和跟踪技术的研究热点，成为自动焊接领域最有应用前景的传感器选择方案。焊缝特征位置的提取是自动焊接技术的核心，焊缝位置的准确性直接影响着焊接质量的高低。在现实的焊接环境中，焊缝位置的提取效果一直受多种因素的制约，比如飞溅、烟尘、焊接工件表面不平整等干扰。此时仅仅依靠传统形态学等图像处理算法，比如中值滤波、阈值分割等各种算法，不仅处理效果不佳，缺少泛化能力，还影响系统的完成速度。
[0003]随着近年来计算机视觉的发展，利用视觉传感器结合深度学习的研究成为了一个热门领域，将深度卷积神经网络引入到焊缝特征提取的过程中，从大量的焊缝图像样本中学习焊缝的信息特征，分析焊缝区域与工件背景的差异性，能够从含有强烈噪声污染的图像中快速识别出焊缝位置并进行与背景的分割，实现焊缝的精准定位。此方法解决了针对传统图像处理识别焊缝所产生的过程复杂、效率慢、环境适应性差等缺点，为自动焊接奠定了基础，保证了焊接质量，对推动焊接机器人在工程实践中自动化、智能化方面具有重要的理论价值和现实意义。

技术实现思路

[0004]本专利技术是通过视觉传感器对焊接工件进行图像采集，但是在实际的工业环境中，采集的图像中包含各种噪声干扰，传统单一的几何特征提取焊缝特征算法不能完全适应复杂多变的焊接环境。针对目前的研究现状，传统的焊缝检测算法鲁棒性差、检测效率低、过程复杂的局限性，采用一种基于全卷积神经网络的焊缝特征识别方法，通过全卷积神经网络建立一种焊缝图像端到端像素级分类，从而实现焊缝区域和工件干扰背景的分割。同时利用其跳跃式结构，将高层特征与低层特征进行融合来补充焊缝的边缘细节信息，提高焊缝区域的分割效果。对网络检测出的焊缝像素区域，利用图像骨骼化处理算法进行细化，然后提取直线焊缝轨迹的中心线。
附图说明
[0005]附图用来提供对于本专利技术的进一步解释，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得
其他的附图。
[0006]图1为本专利技术的方法流程示意图；
[0007]图2为焊缝中心线提取结果展示图。
具体实施方式
[0008]下面结合具体实施例对本专利技术作详细的说明。显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0009]本专利技术的一种基于深度学习的直线焊缝中心线提取方法，如图1为方法流程示意图，该方法具体的实现步骤：
[0010]步骤1：采集一定数量的直线焊缝图像，并对这些样本进行翻转、加噪、明暗变化等处理增强扩充，然后手动标注建立焊缝图像数据集。
[0011]步骤2：采用一种基于全卷积神经网络的焊缝特征识别检测方法，通过全卷积神经网络建立一种焊缝图像端到端像素级分类，从而实现焊缝区域和工件干扰背景的分割。同时利用其跳跃式结构，将高层特征与低层特征进行融合来补充焊缝的边缘细节信息，提高焊缝区域的分割效果。
[0012]步骤3：基于直线焊缝数据集，对网络进行训练优化。网络模型基于Pytorch平台搭建，模型训练之前对于超参数的设定如下表所示。考虑实验计算机硬件配置条件，Batch_Size设置为2，Epoch设置为200轮，所以网络总共需要迭代218400次。其余参数根据需求设定，Momentum动量系数为0.9，初始学习率设定为0.0001，Weight_decay设为1e
‑
4，后期可根据网络收敛情况对这几个参数进行适当调整，Num_classes设置为1，损失函数采用交叉熵损失和ReLU激活函数，优化器是使用SGD+Momentum的优化算法，最大程度缩短训练时间，促使模型训练过程减少大幅振荡。
[0013]步骤4：利用训练好的网络模型对焊缝区域进行检测，将需要进行检测的焊缝图像输入到网络模型中，输出焊缝区域检测结果图像。
[0014]步骤5：对检测到的焊缝区域进行图像骨骼化处理，以此提取焊缝的中心线。利用对称轴变换法，设区域R的边界为S，则对于R中的所有点P，如果P与至少两个不同的边界点距离相同，且这个距离是P与边界点距离的最小值，那么这个点就是骨骼点，全部骨骼点的集合即为图像骨骼。在本研究中，根据边界图像特性，图像的骨骼点即为同一列上两边界上像素点的中点。图像骨骼化的具体做法是：以列为单位，从上向下对图像进行扫描，当遇到边缘像素点时，记录下边缘点的像素坐标Y1，然后再从下向上扫描，当遇到边缘像素点时，记录下边缘点坐标Y2，然后将得到的两个坐标取平均值Y，即
[0015]Y＝(Y1+Y2)/2 (2)
[0016]以此来提取直线焊缝的中心线，图2为焊缝中心线提取结果展示图。
[0017]以上所描述的仅为本专利技术一种较佳实施例而已，不能以此来限定本专利技术之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本专利技术权利要求所作的等同变化，仍属于专利技术所涵盖的范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的直线焊缝中心线提取方法，其特征在于：包括以下步骤：步骤1：获取直线焊缝图像；步骤2：构建焊缝检测的深度卷积神经网络；步骤3：基于直线焊缝数据集，对网络进行训练优化；步骤4：利用训练好的网络模型对焊缝区域进行检测；步骤5：对检测到的焊缝区域进行图像骨骼化处理，以此提取焊缝的中心线。2.根据权利要求1所述的一种基于深度学习的直线焊缝中心线提取方法，其特征在于：所述步骤1中，采集一定数量的直线焊缝图像，并对这些样本进行翻转、加噪、明暗变化等处理增强扩充，然后手动标注建立焊缝图像数据集。3.根据权利要求1所述的一种基于深度学习的直线焊缝中心线提取方法，其特征在于：所述步骤2中，构建焊缝检测的深度卷积神经网络：采用一种基于全卷积神经网络的焊缝特征识别检测方法，通过全卷积神经网络建立一种焊缝图像端到端像素级分类，从而实现焊缝区域和工件干扰背景的分割。同时利用其跳跃式结构，将高层特征与低层特征进行融合来补充焊缝的边缘细节信息，提高焊缝区域的分割效果。4.根据权利要求1所述的一种基于深度学习的直线焊缝中心线提取方法，其特征在于：所述步骤3中，基于直线焊缝数据集，对网络进行训练优化：网络模型基于Pytorch平台搭建，模型训练之前对于超参数的设定如下表所示。考虑实验计算机硬件配置条件，Batch_Size设置为2，Epoch设置为200轮，所以网络总共需要迭代218400次。其余参数根据需求设定，Momentum动量系数为0.9，初始学习率设定为0.0001，Weight_decay设为1e
‑

【专利技术属性】
技术研发人员：陈诚，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：