基于深度特征融合的金属增材成形尺寸实时预测方法技术

本发明专利技术公开了基于深度学习和特征融合的增材制造成形尺寸预测系统，包括打印工作台、图像采集装置和热成像仪、人机交互装置、显示器及主机，所述图像采集装置和热成像仪、人机交互装置和显示器均与所述主机电性连接。本发明专利技术在一定时间序列下连续采集熔池图像和温度图像，先对有效的熔池图像和温度图像进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对单道成形高度进行预测，可有效提升参数的精度。

Real time prediction method of metal additive forming size based on depth feature fusion

The invention discloses a additive manufacturing forming size prediction system based on deep learning and feature fusion, which comprises a printing workbench, an image acquisition device and a thermal imager, a human-computer interaction device, a display and a host computer. The image acquisition device and the thermal imager, the human-computer interaction device and the display are all electrically connected with the host computer. The invention continuously collects the molten pool image and the temperature image under a certain time series, normalizes the effective molten pool image and the temperature image first, so that the parameters of the picture size and the pixel size of the molten pool image are consistent, the deep learning convolution neural network model excludes other irrelevant features during the training, only trains the key features, which has the advantages of improving The advantages of the training efficiency of the deep learning convolution neural network model and the prediction of the single channel forming height by using the deep learning convolution neural network model can effectively improve the accuracy of the parameters.

【技术实现步骤摘要】
基于深度特征融合的金属增材成形尺寸实时预测方法
本专利技术属于增材制造
，具体涉及基于深度特征融合的金属增材成形尺寸实时预测方法。
技术介绍
单道成形尺寸，如成形宽度、成形高度等参数是影响增材制造质量的重要因素，而熔池特征是对成形质量影响最为直接的因素。因而研究增材制造过程中熔池特征的变化以及实现熔池某些参数的控制对增材制造质量的保证有着重要的意义，同时根据熔池特征变化来控制增材制造质量也是实现增材制造智能化的一个重要组成部分。近年来，随着计算机视觉技术的发展，利用机器视觉直接观察增材制造熔池，通过图像处理获取熔池特征的几何信息，对增材制造质量进行闭环控制，已成为增材制造技术重要的研究方向。授权公告号为CN102519387B的中国专利公开了一种电子束焊接熔池形状参数的视觉检测方法对电子束焊彩色熔池图像视觉传感系统进行标定，然后启动系统采集熔池图像，采用二值形态学图像处理算法提取熔池图像边缘，最后利用熔池形状参数提取算法对熔池形状参数进行提取。上述中的现有技术方案存在以下缺陷：例如，在进行增材制造实验时，会存在金属粉末残留在熔池边缘形成凸点的情况，灰度化处理后，凸点区域的灰度值和熔池区域的灰度值接近，带有凸点的熔池图像通过摄像机获取的熔池图像经上述视觉检测方法中的二值形态学图像处理算法提取熔池图像边缘后，上述视觉检测方法仍然无法将凸点与熔池边缘分离，故，上述视觉检测方法输出的熔池形状参数精度较低。总体来说，基于图像处理算法对熔池图像进行处理获得熔池形态和尺寸参数的方式，存在泛化性能差，精度较低的问题；此外，由此获得的熔池形态和尺寸参数实际上并不等同于最终的单道成形尺寸；同时，若采用深度学习的方法对增材制造的成形尺寸进行预测，仅通过正面的熔池图像作为样本数据经过深度学习无法对成形高度等进行高精度的预测。
技术实现思路
本专利技术目的在于克服现有技术中面临的问题，例如：采集的图像数据存在干扰，难以进行准确处理；能够在特定情况下做出处理，但是泛化性能较差，导致情况复杂时，在单一的熔池图像样本数据训练的情况下，处理出来的预测值误差较大、精度较低。基于深度特征融合的金属增材成形尺寸实时预测方法，包括以下步骤：S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；S3：将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；S4：将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道的高度。通过上述技术方案，根据采集的训练图像集建立深度学习卷积神经网络模型，针对训练数据集内的熔池图像和温度数据，建立相应的模型参数，设置每层网络的单元数和激活函数。再将训练图像集内的熔池图像和温度数据输入深度学习卷积神经网络模型中，训练深度学习卷积神经网络模型并优化深度学习卷积网络模型。其中，最优的深度学习卷积神经网络模型是指深度学习卷积神经网络模型的模型误差达到设定的收敛误差或训练时的迭代次数达到上限。优选的，所述S1具体包括以下步骤：S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；S12：对成形单道进行表面高度测量；S13：根据成形单道表面高度标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集。通过采用上述技术方案，对深度学习卷积神经网络模型所需的训练数据集进行全面收集，达到提高深度学习卷积神经网络模型训练的效率的效果。优选的，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理。通过采用上述技术方案，若不进行归一化处理，由于图像采集装置采集熔池图像的大小不完全一致，将会增加第一训练图像子集和第二训练图像子集的复杂度，进而增加深度学习卷积神经网络模型的训练难度，不利于深度学习卷积神经网络模型的高效训练。归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高深度学习卷积神经网络模型训练的效率的效果。优选的，所述深度学习卷积神经网络模型为残差模型，所述残差模型主要包括卷积层、池化层以及残差结构。优选的，所述深度学习卷积网络模型使用StochasticGradientDecent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。通过采用上述技术方案，SGD使用基于随机少量样本的梯度来估计整个损失函数的梯度，以便实现更加快捷的学习过程。而通过误差反向传播算法可以逐层快速的计算出各层参数的梯度，进而完成参数的调整，来达到最小化损失函数的目的。基于深度特征融合的金属增材成形尺寸实时预测系统，包括打印工作台、图像采集装置和温度采集装置、人机交互装置、显示器及主机，所述图像采集装置和温度采集装置、人机交互装置和显示器均与所述主机电性连接，所述图像采集装置和温度采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述温度采集装置用于在一定时间序列下连续采集温度数据并将所采集的温度数据传输至所述主机；所述主机用于使用部分该连续的熔池图像和温度数据建立训练数据集，同样的，也使用部分该连续的熔池图像和温度数据建立测试数据集；建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道成形高度。通过采用上述技术方案，图像采集装置和热成像仪采集不同试验下的连续的熔池图像和温度数据并将连续的熔池图像和温度数据传输至主机，操作人员通过人机交互装置和显示器在主机内进行深度学习卷积网络模型、连续的熔池图像和温度数据的筛选、建立训练数据集、建立测试数据集、训练深本文档来自技高网...

【技术保护点】
1.基于深度特征融合的金属增材成形尺寸实时预测方法，其特征在于，包括以下步骤：/nS1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；/nS2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；/nS3：将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；/nS4：将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道的高度。/n

【技术特征摘要】
1.基于深度特征融合的金属增材成形尺寸实时预测方法，其特征在于，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像和温度数据，并对该熔池图像和温度数据作特征融合处理，使用部分经过特征融合处理的该连续熔池图像和温度数据建立训练数据集，同样的，使用部分经过特征融合处理的该连续的熔池图像和温度数据建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；深度学习卷积神经网络模型由多个网络并行搭建构成，每个网络模型的框架为Resnet101，在每个Resnet101网络中最后一层卷积层后级联一层特征融合层，完成网络特征的融合，在特征融合层后接一层全连接层，最后将全连接层连接回归层；
S3：将训练数据集中的熔池图像和温度数据输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；
S4：将测试数据集中的熔池图像和温度数据输入优化后的深度学习卷积神经网络模型中，预测成形单道的高度。


2.根据权利要求1所述的基于深度特征融合的金属增材成形尺寸实时预测方法，其特征在于，所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置和温度采集装置采集不同试验下的熔池图像和温度数据；
S12：对成形单道进行表面高度测量；
S13：根据成形单道表面高度标注熔池图像和温度数据，将部分标注后的熔池图像和温度数据作为训练数据集，同样的，将部分标注后的熔池图像和温度数据作为测试数据集。


3.根据权利要求2所述的基于深度特征融合的金属增材成形尺寸实时预测方法，其特征在于，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像和温度数据进行归一化处理。


4.根据权利要求1所述的基于深度特征融合的金属增材成形尺寸实时预测方法，其特征在于，所述深度学习卷积神经网络模型为残差模型，所述残差模型包括卷积层、池化层以及残差结构。
<...

【专利技术属性】
技术研发人员：殷鸣，谢罗峰，向枭，殷国富，颜虎，刘浩浩，李家勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51