【技术实现步骤摘要】
本专利技术涉及自动控制领域，特别是涉及一种焊缝识别模型。
技术介绍
1、焊接技术在制造业中扮演着关键角色，但当前行业内普遍存在焊工短缺的问题，同时焊接质量高度依赖于焊工经验。随着焊缝跟踪技术的引入，情况有了改变。焊缝跟踪技术结合了机器视觉、机器人控制和焊接技术，不仅显著提高了焊接质量和一致性，同时也减轻了对高技能焊工的依赖。焊缝跟踪技术在提升焊接质量、规划焊接路径和检测焊接缺陷等领域发挥重要作用，推动着焊接行业朝着自动化和智能化的方向迈进，为制造业带来了广泛的潜力。
2、但是，目前的研究和设备主要专注于处理焊缝一致性较高的情况。然而在实际生产中，由于存在光照强度变化、工件装配间隙和激光功率下降、工件材料反光等因素，焊缝图像的一致性通常难以保障。现有的焊缝跟踪方法在复杂多变的场景中较难达到稳定可靠的跟踪效果，对环境和工件的要求较高。
3、因此，如何提高该焊缝跟踪精度以适应复杂多变的工业场景，是该领域亟待解决的技术问题。
技术实现思路
1、为解决上述技术问题，本专利技术提供一种焊缝识别模型，包括：
2、输入层，用于输入当前帧图像和前置帧标签；
3、骨干神经网络，与输入层连接，用于根据当前帧图像，提取当前帧特征，得到语义特征图；
4、融合层，与输入层和骨干神经网络连接，用于根据前置帧标签和语义特征图，得到更新的语义特征图；
5、特征提取层，与融合层连接，用于根据更新的语义特征图，再次提取特征，得到更高级的语义特征图；
6、预测层，与特征提取层连接，用于根据更高级的语义特征图，输出焊缝区域偏移量和焊缝特征点坐标。
7、进一步地，骨干神经网络，使用mobilenetv3，先进行图像压缩和特征提取，以根据输入的当前帧图像，提取当前帧特征，得到高级语义特征图。
8、进一步地，融合层，根据前置帧标签，读取前一帧的焊缝区域，并以相同的比例对其进行缩放；将缩放后的焊缝区域从语义特征图中截取下来，作为新的特征图，得到更新的语义特征图。
9、进一步地，特征提取层，包括依次连接的第一卷积层、第二卷积层和多头注意力层；更新的语义特征图通过第一卷积层处理，然后通过第二卷积层进行通道数量的调整，最终输入到多头注意力层中，生成更高级别的语义特征图。
10、进一步地，预测层，包括焊缝区域检测头和焊缝特征点检测头，由全连接层组成。
11、进一步地，焊缝区域检测头为全连接层，在特征图上逐点计算中心点和长宽的偏移量，并获取置信度，得到更高级的语义特征图的每个点的中心点坐标偏移、宽度偏移、高度偏移和置信度；焊缝特征点检测头同样由全连接层组成，对每个特征图上逐点预测上焊缝特征点、下焊缝特征点和焊点的坐标，并生成置信度，得到更高级的语义特征图的每个点的上焊缝特征点坐标、下焊缝特征点坐标、焊点坐标和置信度；再分别根据更高级的语义特征图，输出焊缝区域偏移量和焊缝特征点坐标。
12、另一方面，本专利技术还提供一种焊缝识别模型的训练方法，包括：
13、p1：采集标注焊缝图像，并进行帧标序，构建训练集；
14、p2：获取当前帧图像，结合训练集，将当前帧图像和前置帧标签，输入焊缝识别模型，输出焊缝区域偏移量和焊缝区域特征点，不断迭代更新，得到训练后的焊缝识别模型；
15、焊缝识别模型为上述任意的焊缝识别模型；步骤p2中，前置帧的焊缝区域偏移量，其损失值通过ciou损失函数进行评估，并通过反向传播对焊缝识别模型进行迭代更新；焊缝特征点，其损失值根据kl散度损失函数进行计算，并通过反向传播对焊缝识别模型进行迭代更新。
16、另一方面，本专利技术还提供一种焊缝跟踪方法，包括：
17、s1：构建并训练焊缝识别模型；焊缝特征点，包括上焊缝特征点、下焊缝特征点和焊点；焊缝识别模型为上述任意的焊缝识别模型；或/和，训练方法为上述任意的训练方法；
18、s2：部署焊缝识别模型，并确定焊缝起始点和焊缝终止点，控制机器人移动至焊缝起始点，获取焊缝实时图像，启动焊缝跟踪；
19、s3：在第一帧时，标注准备帧焊缝区域标签，并将第一帧焊缝图像和准备帧焊缝区域标签输入焊缝识别模型，得到焊缝区域偏移量和焊缝特征点坐标；
20、s4：在剩余帧时，将当前焊缝图像和前置帧焊缝区域标签输入焊缝识别模型，依次得到焊缝区域偏移量和焊缝特征点坐标，直至焊缝终止点；
21、s5：根据上焊缝特征点、下焊缝特征点和焊点，确定上焊缝边缘、下焊缝边缘和焊接轨迹。
22、进一步地，步骤s3，具体为：
23、根据已知世界坐标的焊缝起始点和终止点，通过坐标转换得到焊缝起始点在相机坐标系下的位置，并以焊缝起始点为中心在图像中截取矩形，以这个矩形的坐标作为准备帧的标签信息，将标签信息和当前图像输入到模型中，以获得焊缝区域坐标和焊缝特征点坐标，进而输出焊缝区域偏移量和焊缝特征点坐标，然后将它们保存到本地。
24、进一步地，还包括：
25、比对上焊缝边缘和下焊缝边缘，根据比对结果，控制机器人焊接；比对的方法，包括：
26、上焊缝边缘lup和下焊缝边缘lbottom直线分别沿x、y和z轴进行投影，分别得到投影直线方程lup―x、lup―y、lup―z、lbottom―x、lbottom―y和lbottom―z；
27、分别计算lup―x和lbottom―x，lup―y和lbottom―y，lup―z和lbottom―z的夹角和最远距离；
28、若夹角和最远距离均在给定的阈值范围内，则根据装配间隙规划机器人焊接位姿和焊接轨迹，开始焊接；
29、若夹角和最远距离中，有任意一个超过给定的阈值范围，则根据超过给定阈值范围的参数，补偿装配间隙，根据补偿后的装配间隙规划机器人焊接位姿和焊接轨迹，开始焊接。
30、本专利技术的焊缝识别模型及训练方法和焊缝跟踪方法，是一种以当前帧图像和前置帧焊缝区域标签为输入，焊缝区域偏移量和焊缝特征点坐标为输出的焊缝识别模型，其一方面由于相机的帧率高，而机器人运动速度较慢，因此相邻两帧的检测结果基本一致，基于这一原理，利用前置帧标签，即前一帧的识别结果作为已知条件，并将它们作为特征输入到当前帧的检测中，以填补由于环境变化而造成的特征缺失；另一方面，采用先定位后定点的方法，先根据前置帧标签，定位焊缝区域，即焊缝特征点和焊点的分布区域，在此基础上识别焊缝特征点；两方面结合，能够提高特征点识别的准确性和精度。
本文档来自技高网...【技术保护点】
1.一种焊缝识别模型，其特征在于，包括：
2.根据权利要求1所述的焊缝识别模型，其特征在于，骨干神经网络，使用mobilenetv3，先进行图像压缩和特征提取，以根据输入的当前帧图像，提取当前帧特征，得到高级语义特征图。
3.根据权利要求2所述的焊缝识别模型，其特征在于，融合层，根据前置帧标签，读取前一帧的焊缝区域，并以相同的比例对其进行缩放；将缩放后的焊缝区域从语义特征图中截取下来，作为新的特征图，得到更新的语义特征图。
4.根据权利要求3所述的焊缝识别模型，其特征在于，特征提取层，包括依次连接的第一卷积层、第二卷积层和多头注意力层；更新的语义特征图通过第一卷积层处理，然后通过第二卷积层进行通道数量的调整，最终输入到多头注意力层中，生成更高级别的语义特征图。
5.根据权利要求1-4任意一项所述的焊缝识别模型，其特征在于，预测层，包括焊缝区域检测头和焊缝特征点检测头，由全连接层组成。
6.根据权利要求5所述的焊缝识别模型，其特征在于，焊缝区域检测头为全连接层，在特征图上逐点计算中心点和长宽的偏移量，并获取置信度，得到更高
7.一种焊缝识别模型的训练方法，其特征在于，包括：
8.一种焊缝跟踪方法，其特征在于，包括：
9.根据权利要求8所述的焊缝跟踪方法，其特征在于，步骤S3，具体为：
10.根据权利要求8-9任意一项所述的焊缝跟踪方法，其特征在于，还包括：
...【技术特征摘要】
1.一种焊缝识别模型，其特征在于，包括：
2.根据权利要求1所述的焊缝识别模型，其特征在于，骨干神经网络，使用mobilenetv3，先进行图像压缩和特征提取，以根据输入的当前帧图像，提取当前帧特征，得到高级语义特征图。
3.根据权利要求2所述的焊缝识别模型，其特征在于，融合层，根据前置帧标签，读取前一帧的焊缝区域，并以相同的比例对其进行缩放；将缩放后的焊缝区域从语义特征图中截取下来，作为新的特征图，得到更新的语义特征图。
4.根据权利要求3所述的焊缝识别模型，其特征在于，特征提取层，包括依次连接的第一卷积层、第二卷积层和多头注意力层；更新的语义特征图通过第一卷积层处理，然后通过第二卷积层进行通道数量的调整，最终输入到多头注意力层中，生成更高级别的语义特征图。
5.根据权利要求1-4任意一项所述的焊缝识别模型，其特征在于，预测层，包括焊缝区域检测头...
【专利技术属性】
技术研发人员：请求不公布姓名，石爱贤，赵磊，
申请(专利权)人：湖南视比特机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。