基于深度学习的激光焊接焊缝特征点识别方法及装置制造方法及图纸

本发明专利技术公开一种基于深度学习的激光焊接焊缝特征点识别方法及装置，识别方法包括：从采样图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量；把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统；机器人控制系统执行空间映射、轨迹规划操作，把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。通过YOLOv4实现对焊缝类型进行分类并识别焊缝轮廓特征点位置，进而计算出激光入射角参考向量，在三维异形焊缝的焊缝跟踪过程中具有较高的识别和分类准确率以及较高的鲁棒性。分类准确率以及较高的鲁棒性。分类准确率以及较高的鲁棒性。

【技术实现步骤摘要】
基于深度学习的激光焊接焊缝特征点识别方法及装置


[0001]本专利技术属于机器人焊接
，具体是一种基于深度学习的激光焊接焊缝特征点识别方法及装置。

技术介绍

[0002]近年来，激光焊接因为其功率密度高、残余应力小、光束易控制、焊接精度高等优势越来越受到行业的青睐。然而激光因为其能量集中在焦点处，因此对工件的一致性提出了比较高的要求，所以在实际焊接生产应用当中，批量生产时往往需要准备大量的夹具对焊件进行位置固定，增加了生产成本，并且缺乏柔性，此外如果工件结构形状发生改变，这些专用夹具就会失去作用。而目前针对这类问题的主流方案多采用线激光传感器进行实时跟踪。
[0003]而常规的线激光传感器本质是基于线结构光的主动视觉线激光传感器，其硬件主要由线激光发射器、工业工业相机以及滤光镜片组成，工作时，1)线激光发射器投射光幕至被焊工件焊缝周围表面，光幕与表面相交生成一条表示工件截面轮廓的激光条纹，工业相机拍摄激光条纹经过滤光后的激光条纹图像，2)之后通过特征点提取算法从图像中提取用于焊接的特征点像素坐标，3)最后在完成对工业相机的内外参数标定后通过三角测量原理将特征点像素坐标映射到实际的相机物理空间中。
[0004]其中，对于步骤2)通过特征点提取算法从图像中提取用于焊接的特征点像素坐标，因为其只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感，导致整个测量算法的软硬件要求高，不易实现，很难应用于实际激光焊接跟踪。
[0005]此外，目前的主流的方案多应用于弧焊领域，而一些激光焊接的跟踪应用也多针对特定形状的焊缝，这些应用都针对指定的场景，焊接参数都也会针对对应的场景做适配，且设定过程比较复杂，削弱了焊缝跟踪高柔性的优点。为此，目前最接近的现有技术方案描述如下：
[0006]一篇申请号为CN202011463792.8的专利技术专利公开一种基于深度神经网络的焊缝自动跟踪方法，其包括特征点检测网络和特征点跟踪网络。特征点检测网络输出的特征点位置信息输入特征点跟踪网络，实现焊缝自动跟踪。特征点检测网络由特征提取模块、注意力机制模块、先验框生成模块和识别定位模块组成。焊缝特征点跟踪网路由特征提取模块、注意力机制模块和响应输出模块组成。该专利技术利用神经网络实现了焊缝自动跟踪，根据焊缝图像特点设计焊缝特征点提取网络和跟踪网络，能够提高焊接的效率和质量，提高自动焊缝跟踪系统在实际复杂焊接环境中的适应能力。
[0007]另一篇申请号为CN202011477237.0的专利技术专利公开一种基于独立纠偏型深度学习的焊缝跟踪方法及装置，所述装置包括：工作平台、控制器、竖直方向导轨、水平方向导轨、焊枪夹具、线结构光视觉线激光传感器、伺服电机；所述方法包括：S1：采集焊缝结构光图片；S2：读取焊缝结构光图片；S3：利用YOLOV3识别到当前焊缝类型并定位焊缝中心位置；
S4：以S3定位的焊缝中心位置作为跟踪目标，并初始化KCF跟踪器；S5：焊接开始，利用KCF
‑
YOLOV3算法实时跟踪焊缝；直至焊接结束。该专利技术所述焊接装置及焊接方法能够自动识别多种焊缝并精确定位焊缝中心区域，可有效提高焊缝检测速度以及识别准确率，从而提高焊接效率。
[0008]另一篇申请号为CN202110024740.9的专利技术专利公开一种基于ERFNet网络的激光视觉焊缝跟踪系统，其包括线结构光视觉线激光传感器模块，用于采集焊缝图像信息；图像处理与通信模块和机器人及机器控制模块，基于ERFNet网络，处理焊缝图像信息获得焊缝特征点；机器人及机器控制模块，接收焊缝特征点信息，获得焊接路径指令并进行作业。其将深度学习中的分割思想引入到焊缝特征提取中，实现在复杂的焊接条件下准确地提取到多层多道焊缝的焊缝光条中心线和焊接特征点，并且不同于传统算法中先提取中心线再根据中心线计算特征点的方法，ERFNet网络可以同时准确提取多层多道焊中的两类特征，然后将焊接特征点位信息传输给机器人控制模块，控制焊接机器人移动至待焊接处，实现多层多道焊的焊缝跟踪。
[0009]上述最接近的现有技术中，复杂的焊接环境存在诸多干扰因素，例如金属材料表面的反光、焊接时的飞溅、弧光、烟雾、氧化、粉尘等，线激光传感器所采集到的大多为背景复杂，含大量噪声的焊缝图像，针对这些问题传统的图像处理方法容易受工况、工件及焊缝类型的影响，往往缺乏通用性和鲁棒性，初次之外，目前的特征点提取算法对于焊缝类型的识别较为单一，通常难以做到对焊缝类型进行实时分类，导致常规的焊缝特征提取算法难以应用于同一条焊缝中存在多种焊缝形状的应用场景，因此需要引入深度学习来实现对复合焊缝特征点的识别和定位。
[0010]然而目前的深度学习算法也存在一些不足，其中最主要的问题在于目前的深度学习算法主要使用在弧焊领域，而这些应用并没有考虑激光焊接对于激光入射角度的要求，具体来说，激光焊接由于其焊接焦点的热影响区域能量较为集中且能量投射具有方向性，焊接过程中需要实时调整焊接入射角来保证焊接质量，而目前主流的深度学习的跟踪方法，通常只给出特征点在图像中的坐标位置，而忽视在激光焊接的过程中除了焊点的位置外还需要给出该位置处激光焊接的入射角参考向量用于规划机器人姿态来调整激光入射角的问题。
[0011]一篇郭海冰的基于线结构光视觉线激光传感器的焊缝特征提取(电子技术与软件工程.CNKI:SUN:DZRU.0.2020
‑
04
‑
047:115
‑
117.)，该文章使用了细化算法、影像轮廓提取和直线拟合步骤。
[0012]另一篇李伊妮的基于深度学习的激光焊接焊缝识别与轨迹生成研究(华中科技大学硕士学位论文.2021)，该论文提出了基于深度学习的激光焊接焊缝识别与检测方法可以准确地对焊接过程中所采集的焊缝图像进行焊缝特征点的提取，能够满足实际生产应用。
[0013]其中，上述基于深度学习的激光焊接焊缝识别与轨迹生成研究论文为本课题组的研究内容，本申请正是在该论文基础上的进一步改进和优化，该论文虽然提及了通过对YOLOv4模型的特点进行分析得出本文采用YOLOv4进行焊缝识别与检测的可行性，但是没有采用YOLOv4作特征点提取的具体方案。

技术实现思路

[0014]在下文中给出了关于本专利技术实施例的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，以下概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0015]本专利技术的改进内容对应
技术介绍
中步骤2)中的内容，即通过深度学习对CCD采样的图像进行分析获取图像中特征点的像素坐标，并在此基础上分析图像中焊缝的轮廓形状给出用于激光焊接的参考向量，同时，通过采用YOLOv4作特征点提取的算法实现的激光焊接焊缝特征点识别方法，解决传统视觉算法在三维异形焊缝的焊接过程中缺乏缺乏通用性和鲁棒性以及难本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：包括：将线激光传感器和激光焊接头同轴安装于机器人末端执行器上，在焊接过程中激光焊接头和线激光传感器保持刚性的空间关系，且激光焊接头的焊接焦点与线激光传感器的采样区域相差一定距离，该一定距离为前置距离；从线激光传感器采样的图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量；其中所谓激光入射角参考向量指激光投射向量在线激光采样平面的投影向量，所述线激光采样平面具体指线激光传感器投影的激光光幕；把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统；机器人控制系统执行空间映射、轨迹规划操作，把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。2.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：从线激光传感器采样的图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量，具体包括以下步骤：步骤1：首先进行模型训练：采样图像制作数据集，对YOLOv4网络进行训练；步骤2：利用训练完成的YOLOv4模型识别当前焊缝类型和轮廓特征点图像坐标，获得本次采样的轮廓类型以及轮廓特征点坐标；步骤3：求解焊缝特征点处的激光输入角参考向量。3.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：所述步骤1进行模型训练具体包括：步骤11：通过线激光传感器采样内角接、外角接、对接和搭接四类焊缝轮廓图像；步骤12：使用LabelImg标注特征点的位置以及焊缝轮廓的类型；步骤13：采用YOLOv4模型中的Mosaic算法，进行数据扩充；步骤14：把数据集分为训练集、测试集和验证集后进行模型训练。4.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：所述步骤2获取轮廓特征点坐标具体包括：利用训练完成的YOLOv4模型输出目标边界框，计算目标边界框中图像的灰度重心，并将其取代亚像素角点作为焊缝特征点输出。5.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：所述步骤3求解焊缝特征点处的激光输入角参考向量具体包括：步骤31：对图像采用形态学运算，实现对图像的滤波并分割图片中的焊缝轮廓和线激光传感器投射激光造成的大块反射干扰影像；步骤32：对图像二值化，计算图像中所有影像轮廓的面积，设置轮廓面积下限和上限阈值，去除面积超出阈值的图像轮廓，对于面积较大且在面积阈值内的图像轮廓，计算轮图像轮廓积与其所处最小包容矩形面积比，大于一定值判断为反光干扰，最后选出剩余轮廓中面积最大的图像轮廓判断为焊缝；步骤33：提取单像素轮廓线；步骤34：根据YOLOv4对焊缝类型分类的结果，采用针对性的姿态计算方法计算求解焊缝特征点处的激光输入角参考向量。
6.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：所述步骤33提取单像素轮廓线，具体包括如下过程：使用细化算法求轮廓图像中心线；根据线激光传感器的性质，理想情况下图像轮廓是横向排布的，且任一横坐标都唯一映射一个纵坐标，因此中心线的最左和最右的端点可视为轮廓的边界...

【专利技术属性】
技术研发人员：柳娟，褚兆琪，刘向荣，
申请(专利权)人：厦门大学，
类型：发明
国别省市：