车辆加工状态监测系统及其方法技术方案

本申请涉及智能制造的领域，其具体地公开了一种车辆加工状态监测系统及其方法，其通过基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测，并且在此过程中，采用跨模态联合编码的思路来进一步地强化图像特征向量中关于等离子体形貌特征的表达，同时在解码时对解码特征矩阵进行修正以减少由于参数调整导致的对于期望特征的依赖性发散，也就提升了所述解码特征矩阵对于图像语义和参数上下文语义的联合表征能力，进而，提高了对车辆加工状态监测的准确度。辆加工状态监测的准确度。辆加工状态监测的准确度。

【技术实现步骤摘要】
车辆加工状态监测系统及其方法


[0001]本专利技术涉及智能制造的领域，且更为具体地，涉及一种车辆加工状态监测系统及其方法。

技术介绍

[0002]变厚截面材料是实现汽车轻量化的主选材料之一,同时激光焊接作为车用材料的连接技术广泛应用于汽车行业。由于变厚截面材料在激光焊接过程中要求熔深随材料材厚度的变化而发生适应性变化,而熔深变化无法直接测量,只能通过间接监测光、声、电信号的变化获得熔透状态。因此，期待一种用于车辆加工状态的间接监测方案，以对激光焊接的实时熔透状态进行监控。
[0003]近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0004]深度学习以及神经网络的发展，尤其是卷积神经网络的发展，为车辆加工状态的间接监测提供了新的解决思路和方案。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车辆加工状态监测系统及其方法，其通过基于深度学习和神经网络的人工智能技术以等离子体形貌作为间接观测对象对激光焊接过程中的熔透状态进行预测，并且在此过程中，采用跨模态联合编码的思路来进一步地强化图像特征向量中关于等离子体形貌特征的表达，同时在解码时对解码特征矩阵进行修正以减少由于参数调整导致的对于期望特征的依赖性发散，也就提升了所述解码特征矩阵对于图像语义和参数上下文语义的联合表征能力，进而，提高了对车辆加工状态监测的准确度。
[0006]根据本申请的一个方面，提供了一种车辆加工状态监测系统，其包括：
[0007]等离子体图像获取单元，用于通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；
[0008]图像编码单元，用于将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；
[0009]形貌特征提取单元，用于从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；
[0010]形貌特征编码单元，用于将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；
[0011]特征融合单元，用于使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵；
[0012]特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及
[0013]解码单元，用于将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
[0014]在上述车辆加工状态监测系统中，所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量。
[0015]在上述车辆加工状态监测系统中，所述图像编码单元，包括：浅层特征提取子单元，用于从所述第一卷积神经网络的第M层提取浅层特征向量，其中，M大于等于4且小于等于6；深层特征提取子单元，用于从所述第一卷积神经网络的最后一层提取深层特征向量；深浅融合子单元，用于计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。
[0016]在上述车辆加工状态监测系统中，所述特征融合单元，进一步用于使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到所述解码特征矩阵；
[0017]其中，所述公式为：
[0018][0019]其中，为所述解码特征矩阵，V
f
表示所述图像特征向量，且V
s
表示所述形貌特征向量。
[0020]在上述车辆加工状态监测系统中，所述特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，以如下公式对所述解码特征矩阵进行校正以生成所述校正后解码特征矩阵；
[0021]其中，所述公式为：
[0022][0023]其中m
i，j
表示所述解码特征矩阵中各个位置的特征值，表示所述解码特征矩阵中所有位置的特征值的集合。
[0024]在上述车辆加工状态监测系统中，所述解码单元，进一步用于使用所述解码器以如下公式对所述校正后解码特征矩阵进行解码回归以得到所述解码值；其中，所述公式为：其中X是所述校正后解码特征矩阵，Y是解码值，W是权重矩阵，表示矩阵乘。
[0025]根据本申请的另一方面，一种车辆加工状态监测方法，其包括：
[0026]通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；
[0027]将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；
[0028]从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；
[0029]将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；
[0030]使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征
矩阵；
[0031]基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及
[0032]将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。
[0033]在上述车辆加工状态监测方法中，将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量，包括：所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量。
[0034]在上述车辆加工状态监测方法中，所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量，包括：从所述第一卷积神经网络的第M层提取浅层特征向量，其中，M大于等于4且小于等于6；从所述第一卷积神经网络的最后一层提取深层特征向量；以及，计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。
[0035]在上述车辆加工状态监测方法中，使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵，包括：使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到所述解码特征矩阵；
[0036]其中，所述公式为：
[0037][0038]其中，为所述解码特征矩阵，V
f
表示所述图像特征向量，且V
s
表示所述形貌特征向量。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆加工状态监测系统，其特征在于，包括：等离子体图像获取单元，用于通过相机获取激光焊接车用材料过程中产生的等离子体的可见光图像；图像编码单元，用于将所述等离子体的可见光图像通过Clip模型的图像编码器以获得图像特征向量；形貌特征提取单元，用于从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数，所述用于表示所述等离子体的形貌特征的参数包括质心高度、质心摆角和等离子面积；形貌特征编码单元，用于将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器以生成形貌特征向量；特征融合单元，用于使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以生成解码特征矩阵；特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，对所述解码特征矩阵进行校正以生成校正后解码特征矩阵；以及解码单元，用于将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值，所述解码值用于表示激光焊接的熔融深度。2.根据权利要求1所述的车辆加工状态监测系统，其中，所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进行编码以得到所述图像特征向量。3.根据权利要求2所述的车辆加工状态监测方法，其中，所述图像编码单元，包括：浅层特征提取子单元，用于从所述第一卷积神经网络的第M层提取浅层特征向量，其中，M大于等于4且小于等于6；深层特征提取子单元，用于从所述第一卷积神经网络的最后一层提取深层特征向量；深浅融合子单元，用于计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特征向量。4.根据权利要求3所述的车辆加工状态监测系统，其中，所述特征融合单元，进一步用于使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到所述解码特征矩阵；其中，所述公式为：其中，为所述解码特征矩阵，V
f
表示所述图像特征向量，且V
s
表示所述形貌特征向量。5.根据权利要求4所述的车辆加工状态监测系统，其中，所述特征矩阵校正单元，用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征值的关联，以如下公式对所述解码特征矩阵进行校正以生成所述校正后解码特征矩阵；其中，所述公式为：
其中m
i,j
表示所述解码特征矩阵中各个位置的特征值...

【专利技术属性】
技术研发人员：李玮涛，沈琦超，
申请(专利权)人：杭州超阳科技有限公司，
类型：发明
国别省市：