基于多模态融合感知的电弧增材制造熔覆层偏移监测方法技术

本发明专利技术提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：利用训练后的熔池轮廓提取模型提取熔池图像的熔池轮廓并计算熔池的几何特征；在焊件侧壁温度场图像中选取

【技术实现步骤摘要】
基于多模态融合感知的电弧增材制造熔覆层偏移监测方法


[0001]本专利技术属于电弧增材制造质量检测领域，尤其涉及一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法
。

技术介绍

[0002]增材制造是采用材料逐层累加的方法制造实体零件的技术，主要包括激光增材制造
、
电子束增材制造
、
电弧增材制造等，增材制造的过程较为复杂，随着熔覆层层数的增加，热累积逐渐严重，最终会对成形件的结构尺寸及性能产生影响，因此实现增材制造过程的在线监测就显得尤为重要
。
在电弧增材制造过程中，一旦机器人的运动轨迹偏移正常设定轨迹，就会导致熔覆层的位置发生变化，然而熔覆层的位置与最终的增材制造工件质量密切相关，因此亟需研究熔覆层偏移在线监测技术
。
[0003]伴随电弧增材制造过程而产生的视觉
、
声音
、
光谱
、
温度等多模态信息与增材制造成形质量密切相关，很多学者研究了视觉等单一模态特征与增材制造成形质量的关系，并且尝试通过在线识别模态特征从而实现增材制造成形质量的实时监测
。
考虑到电弧增材制造是一个多变量的强耦合过程，具有高度的非线性特点，当前时刻的熔池视觉等单一模态特征并不能完全反应增材制造成形质量，基于单一模态感知的电弧增材制造成形质量监测技术存在监测精度较低
、
鲁棒性较差的缺点
。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法
。
本专利技术要解决的技术问题通过以下技术方案实现：
[0005]本专利技术提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法包括：
[0006]S100
，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：
[0007]S200
，利用训练后的熔池轮廓提取模型提取所述熔池图像的熔池轮廓，并根据所述熔池轮廓计算熔池的几何特征；
[0008]S300
，在所述焊件侧壁温度场图像中选取
ROI
区域，并提取所述
ROI
区域的温度场分布特征；
[0009]S400
，将所述几何特征以及所述温度场分布特征进行特征融合得到融合特征；
[0010]S500
，将所述融合特征输入训练后的熔覆层偏移预测模型中，通过熔覆层偏移预测模型对所述融合特征进行处理，从而输出熔覆层偏移程度
。
[0011]本专利技术提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：利用训练后的熔池轮廓提取模型提取熔池图像的熔池轮廓并计算熔池的几何特征；在焊件侧壁温度场图像中选取
ROI
区域并提取温度场分布特征；将几何特征以及温度场分布特征进行特征融合得到融合特征；将融合特征输入训练后的熔覆层偏移预测模型中，通过熔覆层偏移预测模型对所述融合特征进
行处理，从而输出熔覆层偏移程度以实现熔覆层偏移的在线监测
。
由于本专利技术将电弧增材制造过程中的熔池视觉
、
焊件温度等多模态信号进行协同感知，后续将提取得到的多模态信号特征进行融合后输入到神经网络模型，用于增材制造成形质量的监测，将有助于提高增材制造成形质量监测的精度和鲁棒性
。
[0012]以下将结合附图及实施例对本专利技术做进一步详细说明
。
附图说明
[0013]图1是本专利技术提供的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法的流程示意图；
[0014]图2是本专利技术的监测方法过程示意图；
[0015]图3是本专利技术的监测系统示意图；
[0016]图
4a
是本专利技术的熔池轮廓提取网络模型结构图；
[0017]图
4b
是本专利技术的熔覆层在不同偏移程度下的对应熔池图像；
[0018]图5是本专利技术的焊件侧壁温度场
ROI
选取示意图；
[0019]图6是本专利技术的熔覆层在不同偏移程度下的对应焊件侧壁温度场图像；
[0020]图7是本专利技术的熔覆层在不同偏移程度下的对应焊件侧壁
ROI
温度场分布特征；
[0021]图8是本专利技术的熔覆层偏移预测模型结构图；
[0022]图
9a
‑
图
9c
是本专利技术的熔覆层偏移预测模型的预测值与真实值间的比较图
。
具体实施方式
[0023]下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此
。
[0024]结合图1和图2，本专利技术提供了一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，包括：
[0025]S100
，通过采集设备分别采集熔池图像和焊件侧壁温度场图像；
[0026]本专利技术可以通过熔池视觉传感系统采集熔池图像以及通过红外热像仪采集焊件侧壁温度场图像；
[0027]参考图3，所述视觉传感系统包括减光片
、
高通滤光片
、
黑白
CCD、
计算机，并且熔池视觉传感系统的前端安装在焊枪上；所述红外热像仪安装在工作平台上
。
在电弧增材制造过程开始后，所述黑白
CCD
和所述红外热像仪受频率为
50Hz
的方波信号触发开始工作，所述黑白
CCD
采集熔池图像，所述所述红外热像仪采集焊件侧壁温度场图像
。
[0028]本专利技术可以通过工作平台的
FPGA
模块生成频率为
50Hz
的方波信号，去触发黑白
CCD
和所述红外热像仪去采集图像
。
本专利技术的高通滤光片可以采用
850nm
高通滤光片
。
[0029]S200
，利用训练后的熔池轮廓提取模型提取所述熔池图像的熔池轮廓，并根据所述熔池轮廓计算熔池的几何特征；
[0030]参考图
4a
，图
4a
为熔池轮廓提取模型的结构图
。
本专利技术的熔池轮廓提取模型使用深度学习网络
Unet
构建，所述熔池轮廓提取模型的训练通过采集弧光影响下的熔池图像并组成训练样本，利用训练样本迭代训练所述熔池轮廓提取模型，并利用反向传播算法调整所述熔池轮廓提取模型的参数直至达到迭代次数
。
本专利技术的几何特征包括：熔池面积
、
熔池
长度和熔池宽度；所述熔池面积为熔池轮廓内所有的像素点个数，所述熔池长度为熔池轮廓内竖直方向上每列像素点个数的最大值，所述熔池宽度为熔池轮廓内水平方向上每行像素点个数的最大值
...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，包括：
S100
，通过采集设备分别采集熔池图像和焊件侧壁温度场图像：
S200
，利用训练后的熔池轮廓提取模型提取所述熔池图像的熔池轮廓，并根据所述熔池轮廓计算熔池的几何特征；
S300
，在所述焊件侧壁温度场图像中选取
ROI
区域，并提取所述
ROI
区域的温度场分布特征；
S400
，将所述几何特征以及所述温度场分布特征进行特征融合得到融合特征；
S500
，将所述融合特征输入训练后的熔覆层偏移预测模型中，通过熔覆层偏移预测模型对所述融合特征进行处理，从而输出熔覆层偏移程度
。2.
根据权利要求1所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，
S100
包括：通过熔池视觉传感系统采集熔池图像以及通过红外热像仪采集焊件侧壁温度场图像；其中，所述视觉传感系统包括减光片
、
高通滤光片
、
黑白
CCD、
计算机，并且熔池视觉传感系统的前端安装在焊枪上；所述红外热像仪安装在工作平台上
。3.
根据权利要求2所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，在电弧增材制造过程开始后，所述黑白
CCD
和所述红外热像仪受频率为
50Hz
的方波信号触发开始工作，所述黑白
CCD
采集熔池图像，所述红外热像仪采集焊件侧壁温度场图像
。4.
根据权利要求1所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，
S200
中的几何特征包括：熔池面积
、
熔池长度和熔池宽度；其中，所述熔池面积为熔池轮廓内所有的像素点个数，所述熔池长度为熔池轮廓内竖直方向上每列像素点个数的最大值，所述熔池宽度为熔池轮廓内水平方向上每行像素点个数的最大值
。5.
根据权利要求1所述的基于多模态融合感知的电弧增材制造熔覆层偏移监测方法，其特征在于，
S300
包括：
S310
，在所述焊件侧壁温度场图像中熔池区域以外的热影响区选取
ROI
区域；其中，
ROI
区域大小为
100
像素
×
100
像素；

【专利技术属性】
技术研发人员：余荣伟，王克鸿，周琦，彭勇，朱敏凤，罗茜，
申请(专利权)人：江苏烁石焊接科技有限公司，
类型：发明
国别省市：