【技术实现步骤摘要】
本专利技术涉及计算机，具体是涉及一种基于多特征融合的工件焊缝位置检测方法、系统、设备及存储介质。
技术介绍
1、焊缝位置跟踪对于焊接工艺起到重要作用，能够在焊接过程中通过某些手段实时监控焊缝的位置，确保焊接质量，提高焊接精度和一致性。但是长期以来，由于在焊接过程中容易受到光照、烟雾等的环境干扰，焊缝位置跟踪通常依赖于激光扫描获取的点云图像或者结构光获取的灰度图像来进行检测，在干扰较为严重的情况下这两种图像都不能单独准确地反映出焊缝位置信息。
技术实现思路
1、本专利技术提供一种基于多特征融合的工件焊缝位置检测方法、系统、设备及存储介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
2、第一方面，提供一种基于多特征融合的工件焊缝位置检测方法，包括：
3、获取待测工件在当前焊接时刻下对应的数据集合，所述数据集合包括去噪后的待测二维图像和待测三维点云；
4、对所述数据集合进行特征提取，得到特征图集合；
5、利用训练好的第一神经网络模型对所述特征图集合进行处理，得到偏差集合；
6、根据所述偏差集合，对所述特征图集合进行矫正，得到矫正特征图集合；
7、利用训练好的第二神经网络模型对所述矫正特征图集合进行处理，得到注意力图集合；
8、根据所述注意力图集合，对所述矫正特征图集合进行强化，得到强化特征图集合；
9、对所述强化特征图集合和所述待测二维图像进行融合，得到二维
10、根据灰度阈值对所述二维强化图像进行检测，得到所述待测工件的焊缝位置。
11、进一步地，所述对所述数据集合进行特征提取，得到特征图集合包括：
12、利用边缘检测算法对所述待测二维图像进行特征提取，得到二维特征图；
13、利用最近邻算法对所述待测三维点云进行特征提取，得到三维特征图。
14、进一步地，所述第一神经网络模型包括第一pointflow模型和第一pointnetlk模型，所述利用训练好的第一神经网络模型对所述特征图集合进行处理，得到偏差集合包括：
15、利用训练好的第一pointflow模型对所述三维特征图进行处理，得到二维偏差量；
16、利用训练好的第一pointnetlk模型对所述二维特征图和所述三维特征图进行处理，得到三维偏差量。
17、进一步地，所述根据所述偏差集合，对所述特征图集合进行矫正，得到矫正特征图集合包括：
18、根据所述二维偏差量，利用双线性插值算法对所述二维特征图进行矫正，得到二维矫正特征图；
19、根据所述三维偏差量，利用三线性插值算法对所述三维特征图进行矫正，得到三维矫正特征图。
20、进一步地，所述第二神经网络模型包括第二pointflow模型和第二pointnetlk模型，所述利用训练好的第二神经网络模型对所述矫正特征图集合进行处理，得到注意力图集合包括：
21、利用训练好的第二pointflow模型对所述三维矫正特征图进行处理，得到二维注意力图；
22、利用训练好的第二pointnetlk模型对所述二维矫正特征图和所述三维矫正特征图进行处理，得到三维注意力图。
23、进一步地，所述根据所述注意力图集合，对所述矫正特征图集合进行强化，得到强化特征图集合包括：
24、将所述二维注意力图与所述二维矫正特征图进行相乘，得到二维强化特征图；
25、将所述三维注意力图与所述三维矫正特征图进行相乘，得到三维强化特征图。
26、进一步地，所述对所述强化特征图集合和所述待测二维图像进行融合，得到二维强化图像包括：
27、对所述三维强化特征图进行最大池化操作，得到第一二维强化特征图；
28、对所述第一二维强化特征图和所述二维强化特征图进行最大池化操作，得到融合特征图；
29、将所述融合特征图与所述待测二维图像进行相乘，得到二维强化图像。
30、第二方面，提供一种基于多特征融合的工件焊缝位置检测系统，包括：
31、第一模块，用于获取待测工件在当前焊接时刻下对应的数据集合，所述数据集合包括去噪后的待测二维图像和待测三维点云；
32、第二模块，用于对所述数据集合进行特征提取，得到特征图集合；
33、第三模块，用于利用训练好的第一神经网络模型对所述特征图集合进行处理，得到偏差集合；
34、第四模块，用于根据所述偏差集合，对所述特征图集合进行矫正，得到矫正特征图集合；
35、第五模块，用于利用训练好的第二神经网络模型对所述矫正特征图集合进行处理，得到注意力图集合；
36、第六模块，用于根据所述注意力图集合，对所述矫正特征图集合进行强化，得到强化特征图集合；
37、第七模块，用于对所述强化特征图集合和所述待测二维图像进行融合，得到二维强化图像；
38、第八模块，用于根据灰度阈值对所述二维强化图像进行检测，得到所述待测工件的焊缝位置。
39、第三方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序以实现如第一方面所述的基于多特征融合的工件焊缝位置检测方法。
40、第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于多特征融合的工件焊缝位置检测方法。
41、本专利技术至少具有以下有益效果：通过采用二维图像和三维点云相配合来实现焊缝位置检测任务，可以克服传统焊缝位置跟踪技术中所存在的单一数据源限制；通过采用神经网络模型对不同维度的特征图进行交叉处理得到关键的两个偏差量，再结合适当的线性插值算法对不同维度的特征图进行矫正，接着采用交叉注意力机制对矫正后的不同维度的特征图进行强化，可以使得最终融合得到的特征图更为准确地反映出焊缝位置信息，最大程度地降低焊接过程所存在的环境干扰对焊缝位置检测结果所产生的不良影响。
本文档来自技高网...【技术保护点】
1.一种基于多特征融合的工件焊缝位置检测方法，其特征在于，包括：
2.根据权利要求1所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述对所述数据集合进行特征提取，得到特征图集合包括：
3.根据权利要求2所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述第一神经网络模型包括第一PointFlow模型和第一PointNetLK模型，所述利用训练好的第一神经网络模型对所述特征图集合进行处理，得到偏差集合包括：
4.根据权利要求3所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述根据所述偏差集合，对所述特征图集合进行矫正，得到矫正特征图集合包括：
5.根据权利要求4所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述第二神经网络模型包括第二PointFlow模型和第二PointNetLK模型，所述利用训练好的第二神经网络模型对所述矫正特征图集合进行处理，得到注意力图集合包括：
6.根据权利要求5所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述根据所述注意力图集合，对所述矫正特征图
7.根据权利要求6所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述对所述强化特征图集合和所述待测二维图像进行融合，得到二维强化图像包括：
8.一种基于多特征融合的工件焊缝位置检测系统，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1至7中任一项所述的基于多特征融合的工件焊缝位置检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于多特征融合的工件焊缝位置检测方法。
...【技术特征摘要】
1.一种基于多特征融合的工件焊缝位置检测方法，其特征在于，包括：
2.根据权利要求1所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述对所述数据集合进行特征提取，得到特征图集合包括：
3.根据权利要求2所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述第一神经网络模型包括第一pointflow模型和第一pointnetlk模型，所述利用训练好的第一神经网络模型对所述特征图集合进行处理，得到偏差集合包括：
4.根据权利要求3所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述根据所述偏差集合，对所述特征图集合进行矫正，得到矫正特征图集合包括：
5.根据权利要求4所述的基于多特征融合的工件焊缝位置检测方法，其特征在于，所述第二神经网络模型包括第二pointflow模型和第二pointnetlk模型，所述利用训练好的第二神经网络模型对所述矫正特...
【专利技术属性】
技术研发人员：范衠，向纯斌，李原，周于涛，甘飘，黄书山，易贤，杨永泽，陶通涓，曹宇轩，罗贤，庄嘉帆，赵雷，刘进超，王栋梁，黄伟鑫，张承钿，朱贵杰，李文姬，郝志峰，曹作林，
申请(专利权)人：惠州市诚业家具有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。