一种基于深度学习的熔池图像几何特征提取方法及系统技术方案

本发明专利技术提供一种基于深度学习的熔池图像几何特征提取方法及系统，包括图像采集、图像预处理、图像数据集制作、图像分割网络模型构建与训练、熔池图像在线监测和熔池几何特征提取与计算；本发明专利技术可以清晰地观察到激光焊接过程中熔池的形貌以及演变行为，干扰信息较少；本发明专利技术首次使用U

【技术实现步骤摘要】
一种基于深度学习的熔池图像几何特征提取方法及系统


[0001]专利技术涉及激光焊接技术和深度学习领域，特别是涉及一种基于深度学习的熔池图像几何 特征提取方法及系统。通过深度学习领域中的图像分割算法，准确提取出激光焊接熔池区域 信息，并基于此提取出熔池的几何特征。

技术介绍

[0002]激光焊接作为激光加工技术的重要应用领域之一，是一种以高能激光束作为能源轰击焊 接区域所产生的热量进行焊接的方法，具有热量输入少、焊接精度高、质量好、接头热变形 和热影响区小等的优点，因此广泛应用于航空航天、冶金机械等各个领域。激光焊接中，由 于高热量产生的匙孔及其周围的熔融金属具有高温度、高亮度、变化迅速等的特点，利用各 种方法对其进行监测是研究激光焊接这一复杂过程的重要手段。在线监控激光焊接过程的熔 池形态是保证焊接质量的关键因素，然而由于激光焊接过程中匙孔区域的高热量，焊接材料 及基底融化产生飞溅、羽辉等，对激光焊接过程的视觉监测方法存在一定干扰，导致焊接的 熔池难以准确检测、提取。
[0003]高精度、强鲁棒性的视觉监测方法对提高激光焊接自动化程度，实现高质量激光焊接具 有重要意义。目前现有的激光焊接过程中熔池的视觉监测方法大多是基于传统的阈值分割和 边缘检测等方法，难以在存在飞溅、羽辉等的干扰下对熔池区域进行准确提取，因而存在一 定的误差，使视觉监测的精度降低。

技术实现思路

[0004]本专利技术针对目前激光焊接的现有的视觉监测方法的不足，提出一种基于深度学习的熔池 图像几何特征提取方法及系统，以解决熔池图像中出现的噪声、羽辉、飞溅等干扰，以及图 像亮度不一致而导致的熔池提取准确低的问题。
[0005]为实现上述目的，本专利技术提供如下的技术方案：
[0006]一种基于深度学习的熔池图像几何特征提取方法，包括以下步骤：
[0007]步骤S1图像采集：采集激光焊接过程中的熔池动态视频，并从熔池动态视频提取熔池图 像，获取清晰的熔池原始图像集；
[0008]步骤S2图像预处理：采用图像处理算法对熔池原始图像进行灰度处理和滤波去噪；
[0009]步骤S3图像数据集制作：采用图像标注工具对所述步骤S2中处理过的熔池图像进行图 像标注，制作熔池图像数据集；
[0010]步骤S4图像分割网络模型构建与训练：构建熔池图像分割网络模型，将步骤S3制作的 熔池图像数据集输入构建的熔池图像分割网络模型进行训练与测试；
[0011]步骤S5熔池图像在线监测：将步骤S4训练好的熔池图像分割网络模型部署于计算机上， 实时获取激光焊接的熔池图像并对熔池区域进行提取；
[0012]步骤S6熔池几何特征提取与计算：将步骤S5提取出的熔池区域图像采用图像处理
算法获取熔池几何特征，包括长、宽、面积、拖尾角。
[0013]上述方案中，所述步骤S1中高速相机以5000帧/秒的速度采集熔池动态视频，将拍摄的熔池动态视频以每五帧为间隔提取原始图像。
[0014]上述方案中，所述步骤S3中标注是指将熔池区域设置为前景，标签为1，其他区域设置为背景，标签为0，制作图像分割数据集。
[0015]上述方案中，所述步骤S4中，将图像数据集划分为训练集、测试集与验证集，利用训练集与验证集对预先构建的激光焊接熔池区域图像分割网络模型进行交叉验证训练。
[0016]上述方案中，所述步骤S4中构建的熔池图像分割网络模型为U
‑
Net熔池图像分割网络模型，包括输入层、第二层卷积层与池化层、第三层卷积层与池化层、第四层卷积层与池化层、第五层卷积层、第六层卷积层与上采样层、第七层卷积层与上采样层、第八层卷积层与上采样层、输出层；所述输入层包括第一层卷积层与池化层，所述输出层包括第九层卷积层与上采样层，采用卷积层提取熔池图像特征、采用最大池化层对熔池图像特征进行特征降维，采用上采样对高维特征信息进行增强。
[0017]进一步的，所述U
‑
Net熔池图像分割网络模型的第一层卷积、第二层卷积层、第三层卷积层、第七层卷积层、第八层卷积层、第九层卷积层的卷积核大小为5*5，第四层卷积层、第五层卷积层、第六层卷积层的卷积核个数为3*3，一～四层中池化层的池化方法为最大池化，池化核大小为2*2，上采样层，上采样核大小为2*2。
[0018]进一步的，所述U
‑
Net熔池图像分割网络模型采用的损失函数为GDL(generalizeddiceloss)函数，其数学表达式为：
[0019][0020]其中，m为标注的类别数，N为整个图像的像素数，y
ij
为第j类在第i个像素上真实的像素类别，为相应的像素预测类别，w
j
用于为每个类别的标签加权，其计算公式为：
[0021][0022]上述方案中，所述步骤S6中图像处理算法利用改进的八方向Sobel边缘检测算法得到熔池边缘图像，最小外接矩形法计算熔池最大长度L和最大宽度W以及根据熔池区域所占像素值计算熔池面积S，拖尾角R为熔池轮廓行进的反方向上最大长度处的一点到熔池的最大宽度处的张角，根据三角形的边角关系以及余弦定理计算得到：
[0023]R＝arccos(A2+B2‑
W2)
[0024]其中，W1，W2为熔池半宽，L
m
为熔池最大长度一点所在边顶点到熔池最大宽度处的长度。
[0025]一种实现所述基于深度学习的熔池图像几何特征提取方法的系统，包括图像采集模块、图像预处理模块、图像数据集制作模块、图像分割网络模型构建与训练模块、熔池图像在线监测模块、熔池几何特征提取与计算模块；
[0026]所述图像采集模块用于采集激光焊接过程中熔池动态视频提取熔池图像，获取清晰的熔池原始图像集；
[0027]所述图像预处理模块用于对熔池原始图像进行灰度处理，再进行高斯滤波操作；
[0028]所述图像数据集制作模块用于采用图像标注工具对预处理过的熔池图像进行图像标注， 制作熔池图像数据集；
[0029]所述图像分割网络模型构建与训练模块用于构建熔池图像分割网络模型，将熔池图像数 据集输入构建的熔池图像分割网络模型进行训练与测试；
[0030]所述熔池图像在线监测模块用于将训练好的熔池图像分割网络模型部署于计算机上，实 时获取激光焊接的熔池图像并对熔池区域进行提取；
[0031]所述熔池几何特征提取与计算模块用于将提取出的熔池区域图像采用图像处理算法获取 熔池几何特征，包括长、宽、面积、拖尾角。
[0032]上述方案中，所述图像采集模块通过CMOS高速相机采集激光焊接过程中熔池动态视频。
[0033]与现有技术相比，本专利技术的有益效果是：
[0034]本专利技术采用高速相机配备了相应的照明光源及滤光系统，可以滤除激光功率高导致的强 亮光干扰，可以清晰地观察到激光焊接过程中熔池的形貌以及演变行为，干扰信息较少；本 专利技术首次使用U
‑
Net图像分割网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的熔池图像几何特征提取方法，其特征在于，包括以下步骤：步骤S1、图像采集：采集激光焊接过程中的熔池动态视频，并从熔池动态视频提取熔池图像，获取清晰的熔池原始图像集；步骤S2图像预处理：采用图像处理算法对熔池原始图像进行灰度处理和滤波去噪；步骤S3图像数据集制作：采用图像标注工具对所述步骤S2中处理过的熔池图像进行图像标注，制作熔池图像数据集；步骤S4图像分割网络模型构建与训练：构建熔池图像分割网络模型，将步骤S3制作的熔池图像数据集输入构建的熔池图像分割网络模型进行训练与测试；步骤S5熔池图像在线监测：将步骤S4训练好的熔池图像分割网络模型部署于计算机上，实时获取激光焊接的熔池图像并对熔池区域进行提取；步骤S6熔池几何特征提取与计算：将步骤S5提取出的熔池区域图像采用图像处理算法获取熔池几何特征，包括长、宽、面积、拖尾角。2.根据权利要求1所述的基于深度学习的熔池图像几何特征提取方法，其特征在于，所述步骤S1中高速相机以5000帧/秒的速度采集熔池动态视频，将拍摄的熔池动态视频以每五帧为间隔提取原始图像。3.根据权利要求1所述的基于深度学习的熔池图像几何特征提取方法，其特征在于，所述步骤S3中标注是指将熔池区域设置为前景，标签为1，其他区域设置为背景，标签为0，制作图像分割数据集。4.根据权利要求1所述的基于深度学习的熔池图像几何特征提取方法，其特征在于，所述步骤S4中，将图像数据集划分为训练集、测试集与验证集，利用训练集与验证集对预先构建的激光焊接熔池区域图像分割网络模型进行交叉验证训练。5.根据权利要求1所述的基于深度学习的熔池图像几何特征提取方法，其特征在于，所述步骤S4中构建的熔池图像分割网络模型为U
‑
Net熔池图像分割网络模型，包括输入层、第二层卷积层与池化层、第三层卷积层与池化层、第四层卷积层与池化层、第五层卷积层、第六层卷积层与上采样层、第七层卷积层与上采样层、第八层卷积层与上采样层、输出层；所述输入层包括第一层卷积层与池化层，所述输出层包括第九层卷积层与上采样层，采用卷积层提取熔池图像特征、采用最大池化层对熔池图像特征进行特征降维，采用上采样对高维特征信息进行增强。6.根据权利要求5所述的基于深度学习的熔池图像几何特征提取方法，其特征在于，所述U
‑
Net熔池图像分割网络模型的第一层卷积、第二层卷积层、第三层卷积层、第七层卷积层、第八层卷积层、第九层卷积层的卷积核大小为5*5，第四层卷积层、第五层卷积层、第六层...

【专利技术属性】
技术研发人员：许桢英，李奇灵，武子乾，唐梦雨，凌俊，闫金金，
申请(专利权)人：江苏大学，
类型：发明
国别省市：