【技术实现步骤摘要】
本专利技术涉及图像检测，尤其涉及一种基于多模态模型的焊接产品质量检测方法和系统。
技术介绍
1、随着机器学习的发展，已经有大量的机器学习模型和深度学习模型应用在焊接产品的检测领域。一方面，从焊接过程考虑，焊接过程参数是影响焊接产品质量的重要因素，许多学者构建机器学习神经网络，通过输入各种焊接过程参数，预测焊接产品的质量，通过大量数据的训练，得到有效的神经网络模型。另一方面，从焊接结果考虑，对焊接产品进行x射线成像或相机表面成像是无损检测技术之一，许多学者构建深度学习计算机视觉模型，通过输入焊缝图像，预测焊接产品的质量，通过大量标注数据的训练，得到有效的视觉模型。
2、目前，在焊接产品质量的智能检测领域，构建的模型都是单模态的，即只考虑的一种感知方式，单模态模型考虑的信息维度是单一的，不能有效利用全部可能获取的信息，导致模型性能有限。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于多模态模型的焊接产品质量检测方法和系统。
2、一种基于多模态模型的焊接产品质量检测方法，包括以下步骤：
3、获取焊接产品对应的焊接过程参数和焊接结果图像；
4、对所述焊接过程参数和所述焊接结果图像进行预处理，得到处理焊接过程参数和处理焊接结果图像；
5、根据所述处理焊接过程参数、所述处理焊接结果图像和多模态焊接缺陷掩码预测模型得到焊接缺陷掩码；
6、根据所述焊接缺陷掩码得到焊接产品质量检测结果。
7、在其中一
8、对所述焊接过程参数特征提取，得到处理焊接过程参数；
9、对所述焊接结果图像进行裁剪，得到处理焊接结果图像。
10、在其中一个实施例中，多模态焊接缺陷掩码预测模型的训练过程包括：
11、获取焊接产品对应的焊接过程参数和焊接结果图像；
12、接收标注消息，根据所述标注消息和所述焊接结果图像得到缺陷标注结果；
13、根据所述焊接过程参数、所述缺陷标注结果和所述焊接结果图像得到处理数据集；
14、对所述处理数据集进行预处理，得到预处理数据集；
15、按照预设比例将所述预处理数据集分为用于获取多模态焊接缺陷掩码预测模型的训练集，以及用于多模态测试焊接缺陷掩码预测模型的验证集；
16、根据所述训练集以及预设多模态焊接缺陷掩码预测模型，对焊接结果图像和焊接过程参数进行缺陷掩码生成，根据所述验证集对所述多模态焊接缺陷掩码预测模型进行测试，得到多模态焊接缺陷掩码预测模型。
17、在其中一个实施例中，预设多模态焊接缺陷掩码预测模型包括：
18、图像编码器、参数编码器和掩码解码器。
19、在其中一个实施例中，根据所述训练集以及预设多模态焊接缺陷掩码预测模型，对焊接结果图像和焊接过程参数进行缺陷掩码生成，之前还包括：
20、判断焊接过程参数类型，响应于所述焊接过程参数为变化焊接过程参数，根据所述变化焊接过程参数计算输入尺寸。
21、在其中一个实施例中，还包括：
22、根据如下公式计算输入尺寸：
23、
24、其中，n表示变化焊接过程参数的输入比例，输入尺寸为1×n，[]表示取整符号，fs表示变化焊接过程参数的采样频率，μ表示焊缝物理长度与图像像素长度之比，a表示模型输入图像边长，c表示裁剪数量，m表示变化参数特征提取的下采样倍率，v表示焊接速度，默认匀速焊接。
25、在其中一个实施例中，还包括：
26、根据所述焊接过程参数类型，确定参数编码器。
27、一种基于多模态模型的焊接产品质量检测系统，用于实现如上所述的一种基于多模态模型的焊接产品质量检测方法，包括：获取模块，用于获取焊接产品对应的焊接过程参数和焊接结果图像；
28、预处理模块，用于对所述焊接过程参数和所述焊接结果图像进行预处理，得到处理焊接过程参数和处理焊接结果图像；
29、预测模块，用于根据所述处理焊接过程参数、所述处理焊接结果图像和多模态焊接缺陷掩码预测模型得到焊接缺陷掩码；
30、检测模块，用于根据所述焊接缺陷掩码得到焊接产品质量检测结果。
31、一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各个实施例中所述的一种基于多模态模型的焊接产品质量检测方法的步骤。
32、一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各个实施例中所述的一种基于多模态模型的焊接产品质量检测方法的步骤。
33、相比于现有技术，本专利技术的优点及有益效果在于：本专利技术提出的一种基于多模态模型的焊接产品质量检测方法，能够获取焊接产品对应的焊接过程参数和焊接结果图像，根据焊接过程参数和焊接结果图像进行焊接产品质量检测，训练的多模态焊接缺陷掩码预测模型可以综合多个维度对焊接产品进行评价，其模型性能优于一般的单模态模型，同时在保证模型速度的情况下，不影响模型的精确度。
本文档来自技高网...【技术保护点】
1.一种基于多模态模型的焊接产品质量检测方法，其特征在于，包括：
2.根据权利要求1所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述对所述焊接过程参数和所述焊接结果图像进行预处理，得到处理焊接过程参数和处理焊接结果图像包括：
3.根据权利要求1所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述多模态焊接缺陷掩码预测模型的训练过程包括：
4.根据权利要求3所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述预设多模态焊接缺陷掩码预测模型包括：
5.根据权利要求3所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述根据所述训练集以及预设多模态焊接缺陷掩码预测模型，对焊接结果图像和焊接过程参数进行缺陷掩码生成，之前还包括：
6.根据权利要求5所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述方法，还包括：
7.根据权利要求4所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述方法，还包括：
8.一种基于多模态模型的焊接产品质量检测系统，
9.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于多模态模型的焊接产品质量检测方法，其特征在于，包括：
2.根据权利要求1所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述对所述焊接过程参数和所述焊接结果图像进行预处理，得到处理焊接过程参数和处理焊接结果图像包括：
3.根据权利要求1所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述多模态焊接缺陷掩码预测模型的训练过程包括：
4.根据权利要求3所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述预设多模态焊接缺陷掩码预测模型包括：
5.根据权利要求3所述一种基于多模态模型的焊接产品质量检测方法，其特征在于，所述根据所述训练集以及预设多模态焊接缺陷掩码预测模型，对焊接结果图像和焊接过程参数进行缺陷掩码生...
【专利技术属性】
技术研发人员：于兴华，崔金瀚，张宝鑫，王小鹏，赵学峰，邬竣韬，刘佳佳，李琰，张力，
申请(专利权)人：理工特智科技重庆有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。