基于深度学习的金属增材制造成形尺寸实时预测方法技术

本发明专利技术公开了基于深度学习的激光金属增材制造成形精度预测系统，包括打印工作台、图像采集装置、人机交互装置、显示器及主机，所述图像采集装置、人机交互装置和显示器均与所述主机电性连接。本发明专利技术在一定时间序列下连续采集熔池图像和温度图像，先对有效的熔池图像和温度图像进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对单道成形宽度进行预测，可有效提升参数的精度。

Real time prediction method of metal additive manufacturing forming size based on deep learning

The invention discloses a laser metal additive manufacturing forming accuracy prediction system based on deep learning, which includes a printing workbench, an image acquisition device, a human-computer interaction device, a display and a host computer. The image acquisition device, the human-computer interaction device and the display are all electrically connected with the host computer. The invention continuously collects the molten pool image and the temperature image under a certain time series, normalizes the effective molten pool image and the temperature image first, so that the parameters of the picture size and the pixel size of the molten pool image are consistent, the deep learning convolution neural network model excludes other irrelevant features during the training, only trains the key features, which has the advantages of improving The advantages of the training efficiency of the deep learning convolution neural network model and the prediction of the single channel forming width by using the deep learning convolution neural network model can effectively improve the accuracy of the parameters.

【技术实现步骤摘要】
基于深度学习的金属增材制造成形尺寸实时预测方法
本专利技术属于增材制造
，具体涉及基于深度学习的金属增材制造成形尺寸实时预测方法。
技术介绍
单道成形的尺寸，如成形宽度、成形高度等参数是影响增材制造质量的重要因素，而熔池特征是对成形质量影响最为直接的因素。因而研究增材制造过程中熔池特征的变化以及实现熔池某些参数的控制对增材制造质量的保证有着重要的意义，同时根据熔池特征变化来控制增材制造质量也是实现增材制造智能化的一个重要组成部分。近年来，随着计算机视觉技术的发展，利用机器视觉直接观察增材制造熔池，通过图像处理获取熔池特征信息，对增材制造质量进行闭环控制，已成为增材制造技术重要的研究方向。授权公告号为CN102519387B的中国专利公开了一种电子束焊接熔池形状参数的视觉检测方法对电子束焊彩色熔池图像视觉传感系统进行标定，然后启动系统采集熔池图像，采用二值形态学图像处理算法提取熔池图像边缘，最后利用熔池形状参数提取算法对熔池形状参数进行提取。类似上述中的现有技术方案存在以下缺陷：例如，在进行增材制造实验时，会存在金属粉末残留在熔池边缘形成凸点的情况，灰度化处理后，凸点区域的灰度值和熔池区域的灰度值接近，带有凸点的熔池图像通过摄像机获取的熔池图像经上述视觉检测方法中的二值形态学图像处理算法提取熔池图像边缘后，上述视觉检测方法仍然无法将凸点与熔池边缘分离。总体来说，基于图像处理算法对熔池图像进行处理获得熔池形态和尺寸参数的方式，存在泛化性能差，精度较低的问题。此外，由此获得的熔池形态和尺寸参数实际上并不等同于最终的单道成形尺寸。
技术实现思路
本专利技术目的在于克服现有技术中面临的问题，例如：采集的图像数据存在干扰，难以进行准确处理；能够在特定情况下做出处理，但是泛化性能较差，导致情况复杂时，处理出来的预测值误差较大、精度较低。基于深度学习的金属增材制造成形尺寸实时预测方法，包括以下步骤：S1：在一定时间序列下连续采集熔池图像，使用部分该连续的熔池图像建立训练数据集，同样的，使用部分该连续的熔池图像建立测试数据集；S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；网络模型的框架为Resnet101；S3：将训练数据集中的熔池图像输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；S4：将测试数据集中的熔池图像输入优化后的深度学习卷积神经网络模型中，预测成形单道的宽度。进一步的，所述S1具体包括以下步骤：S11：进行不同工艺参数下的单道试验，并利用图像采集装置采集不同试验下的熔池图像；S12：对成形单道进行宽度测量；S13：根据成形单道表面质量标注熔池图像，将部分标注后的熔池图像作为训练数据集，同样的，将部分标注后的熔池图像作为测试数据集。进一步的，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像进行归一化处理。进一步的，所述深度学习卷积神经网络模型为残差模型，所述残差模型包括卷积层、池化层以及残差结构。进一步的，所述深度学习卷积网络模型使用StochasticGradientDecent算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。基于深度学习的激光金属增材制造成形尺寸实时预测系统，包括打印工作台、图像采集装置、人机交互装置、显示器及主机，所述图像采集装置人机交互装置和显示器均与所述主机电性连接，所述图像采集装置安装在所述打印工作台的上方；所述图像采集装置用于在一定时间序列下连续采集熔池图像并将所采集的熔池图像传输至所述主机；所述主机用于使用部分该连续的熔池图像建立训练数据集，同样的，也使用部分该连续的熔池图像建立测试数据集；建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；网络模型的框架为Resnet101，将训练数据集中的熔池图像输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；将测试数据集中的熔池图像输入优化后的深度学习卷积神经网络模型中，预测成形单道表面质量，即单道表面成形宽度。进一步的，所述图像采集装置通过USB电缆与所述主机电性连接，所述图像采集装置为CCD相机或CMOS相机。进一步的，所述CCD相机或CMOS相机的镜头正对所述打印工作台的表面。本专利技术的有益技术效果是：本专利技术在一定时间序列下连续采集熔池图像，先对有效的熔池图像进行归一化处理，使得熔池图像的图片尺寸和像素大小的参数保持一致性，深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对单道成形宽度测量进行预测，可有效提升这些参数的精度。附图说明图1显示为本专利技术的一个实施例的基本流程示意图。图2显示为本专利技术的实施例1中的步骤S1的流程示意图。图3显示为本专利技术的一个实施例的结构示意图。图4显示为本专利技术的实施例1中宽度预测训练示意图。图5显示为本专利技术的实施例1中宽度预测训练网络结构图。具体实施方式下面结合本专利技术的附图1-5，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1：如图1所示，基于深度学习的金属增材制造成形尺寸实时预测方法，包括以下步骤：S1：在一定时间序列下连续采集熔池图像，使用部分该连续的熔池图像建立训练数据集，同样的，使用部分该连续的熔池图像建立测试数据集；S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；网络模型的框架为Resnet101；如图5所示，其中，模型可分为输入模块、特征提取模块、决策层模块；输入模块即为熔池图像，特征提取模块主要由卷积层、批归一化层、激活层堆叠而成，决策层模块则包括平均池化层、全连接层和回归层；S3：将训练数据集中的熔池图像输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；S4：将测试数据集中的熔池图像输入优化后的深度学习卷积神经网络模型中，预测成形单道的宽度。如图2所示，进一步的，所述S1具体包括以下步骤：S11：进行不同工艺参数下的单道试验，并利用图像采集装置采集不同试验下的熔池图像；S12：对成形单道进行宽度测量；S13：根据成形单道宽度标注熔池图像，将部分标注后的熔池图像作为训练数据集，同样的，将部分标注后的熔池图像作为测试数据集。通过采用上述技术方案，对深度学习卷积神经网络模型所需的训练图像集进行全面收集，达到提高深度学习卷积神经网络模型训练的效率的效果。优本文档来自技高网...

【技术保护点】
1.基于深度学习的金属增材制造成形尺寸实时预测方法，其特征在于，包括以下步骤：/nS1：在一定时间序列下连续采集熔池图像，使用部分该连续的熔池图像建立训练数据集，同样的，使用部分该连续的熔池图像建立测试数据集；/nS2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；网络模型的框架为Resnet101；/nS3：将训练数据集中的熔池图像输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；/nS4：将测试数据集中的熔池图像输入优化后的深度学习卷积神经网络模型中，预测成形单道的宽度。/n

【技术特征摘要】
1.基于深度学习的金属增材制造成形尺寸实时预测方法，其特征在于，包括以下步骤：
S1：在一定时间序列下连续采集熔池图像，使用部分该连续的熔池图像建立训练数据集，同样的，使用部分该连续的熔池图像建立测试数据集；
S2：建立深度学习卷积神经网络模型，设置相应的模型参数，包括网络层数和激活函数；网络模型的框架为Resnet101；
S3：将训练数据集中的熔池图像输入深度学习卷积神经网络模型中，对深度学习卷积神经网络模型进行训练，优化深度学习卷积网络模型；
S4：将测试数据集中的熔池图像输入优化后的深度学习卷积神经网络模型中，预测成形单道的宽度。


2.根据权利要求1所述的基于深度学习的金属增材制造成形尺寸实时预测方法，其特征在于，所述S1具体包括以下步骤：
S11：进行不同工艺参数下的单道试验，并利用图像采集装置采集不同试验下的熔池图像；
S12：对成形单道进行宽度测量；
S13：根据成形单道宽度标注熔池图像，将部分标注后的熔池图像作为训练数据集，同样的，将部分标注后的熔池图像作为测试数据集。


3.根据权利要求2所述的基于深度学习的金属增材制造成形尺寸实时预测方法，其特征在于，步骤S13在生成训练数据集和测试数据集之前，先对有效的熔池图像进行归一化处理。


4.根据权利要求1所述的基于深度学习的金属增材制造成形尺寸实时预测方法，其特征在于，所述深度学习卷积神经网络模型为残差模型，所述残差模型包括卷积层、池化层以及残差结构。

【专利技术属性】
技术研发人员：殷鸣，向枭，谢罗峰，殷国富，颜虎，刘浩浩，李家勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51