一种特征融合权重可调的金属打印熔池检测方法技术

本发明专利技术公开了一种特征融合权重可调的金属打印熔池检测方法，包括：采集激光熔覆式3D打印熔池的彩色图像，搭建卷积神经网络对彩色图像提取特征图，根据应用场景的不同结合训练时的经验设置每层特征图的加权值，每一种尺寸的特征图都输出一个结果，获取特征融合后的特征图用于后续的处理与预测，最后按照预设的识别条件识别出彩色图像中的熔池。采用前述方法，能够准确地对熔池彩色图像的特征图获取语义信息，并且此特征图的处理方法可应用于不同的应用场景，只需根据训练神经网络模型的效果，设置合适的特征图加权即可，具有识别准确度高和适应性强的优点。

【技术实现步骤摘要】
一种特征融合权重可调的金属打印熔池检测方法
本专利技术涉及深度学习、图像识别以及金属3D打印的
，尤其涉及一种特征融合权重可调的金属打印熔池检测方法。
技术介绍
特征图的处理是图像识别、分类及目标检测等领域不可或缺的一部分工作。在卷积神经网络的主干部分获取到了一定的特征之后，就需要对获得的特征图进行处理，例如在FasterRCNN、MaskRCNN、YOLO-v3等网络中使用的特征处理方式就是最基础的FPN(特征图金字塔)，而后PANet提出了简单的自下而上的二次融合的特征图处理方式，随后，对特征图的处理方式就越加复杂，例如添加了注意力机制的ASFF特征图处理，以及谷歌的NAS-FPN和BiFPN都以更为复杂的结构来获取特征图更为全面的语义信息。不过想要修改网络结构非常复杂，无法适用于多种场景。熔池检测在3D打印方面处于初步发展阶段，且国内外大多是通过肉眼对熔池进行监测，但是熔池多变肉眼观察难度大，无法保证观察的准确性。如今计算机视觉技术有了一定的发展，使用计算机视觉对熔池进行自动检测分析将逐渐地成为一种趋势。目前，算法工程师们精心设计特征图的处理方式以获的更好的识别结果，而这些处理方式往往有着非常复杂的结构，在特定的应用领域无法直接使用现有的网络。
技术实现思路
本专利技术提供了一种基于特征融合权重可调的金属打印熔池检测方法，以解决熔池检测人工成本高，准确性低，以及现有的特征处理网络结构固定，难以设计和修改，且无法适应特定的应用场景的问题。本专利技术提供一种基于特征融合权重可调的金属打印熔池检测方法，包括如下步骤：步骤1：采集激光熔覆式3D打印熔池的彩色图像，将彩色图像划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件；步骤2：搭建神经网络主干模块用于彩色图像的特征提取，获得三种不同尺寸的特征图；步骤3：设置特征融合权重，搭建特征处理模块，并与步骤2搭建的神经网络主干模块结合，完成整个神经网络；步骤4：将训练集与验证集的彩色图像与标签文件送入神经网络进行训练，使用测试集观察所得模型的质量，设置新的特征融合参数，反复训练直到得到训练好的神经网络模型；步骤5：使用步骤4训练好的神经网络模型对激光熔覆式3D打印彩色图像进行检测，保存检测结果图像。进一步地，步骤1包括：步骤1.1：录制激光熔覆式3D打印熔池的视频，对视频进行分帧处理，舍弃不清晰(可由人眼观察是否清晰)和不包含熔池的图像，保存N1(一般取值为1000)张可用的激光熔覆式3D打印熔池彩色图像；步骤1.2：将获取的彩色图像按一定比例(一般为3:1:1)划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件，测试集用于对训练得到模型的质量评估；进一步地，步骤2包括：步骤2.1：将输入的彩色图像尺寸统一成416*416；步骤2.2：将尺寸统一后的彩色图像依次送到一个Darknet结构(一种神经网络主干结构的名称)与三个残差结构进行卷积操作，并获取此时的特征图P3(P3特征图，尺寸为52*52通道数为256)；步骤2.3：将步骤2.2获得的特征图再送入一个残差结构获取此时的特征图P4(P4特征图，尺寸为26*26通道数为512)，再送入一个残差结构与SPP结构(一种神经网络特征图处理结构的名称)，获取最后一个特征图P5(P5特征图，尺寸为13*13通道数为1024)。进一步地，步骤3包括：步骤3.1：将P5特征图设定为初始特征图，深层的特征图更能反应大目标的特征，而浅层的特征图对小目标更为敏感，所以将P5、P4、P3特征图的加权值分别设置为3、2、1，此特征图加权值的设置是所需语义信息的直观体现；步骤3.2：特征图融合前需要处理特征图尺寸，使用上采样的方法，将P5特征图的尺寸调整为P4特征图的尺寸，将P4特征图调整为P3特征图的尺寸，特征图的尺寸根据公式(1)计算：其中，L为计算后的特征图边长，Lin为输入的特征图边长，P为卷积操作零填充的数量，D为卷积核元素之间的步幅，K为卷积核的大小，S为卷积的步长；步骤3.3：每次特征融合的方法不全相同，每次特征融合前需要选择特征图的融合方式，每个特征层的第一次特征融合，使用concat方式(一种特征融合方式，在通道数上进行堆叠)，在第一维度上进行特征融合，concat特征融合后的通道数Zconcat通过公式(2)计算：其中，c为参与计算的特征图总数，i为参与计算特征图的序号，Xi为进行融合的一个特征图通道，X′i为进行特征融合的另一个特征图通道，h()表示卷积计算，Ki和Ki+c为与两个特征图进行卷积计算的卷积核；每个特征层的非第一次特征融合，使用直接相加add的方式进行特征融合，特征图的通道数保持不变，add特征融合的输出通道数Zadd通过公式(3)计算：步骤3.4：concat特征融合之后，将获得的特征图进行5次卷积，对特征进行进一步的提取且不改变特征图的尺寸，add特征融合之后，经过一次mish激活函数，mish激活函数的表达式如公式(4)：mish＝x*tanh(ln(1+ex))(4)其中的x表示输入的特征图张量；步骤3.5：整个特征处理模块每个特征图参与计算的情况由公式(5)表示：其中，x(n)表示第n层的特征图张量，n取3、4、5；M(n)表示第n层的加权值，concat表示concat特征融合方式；步骤3.6：为了防止卷积层过多，导致网络过深而带来梯度不稳定和网络退化等问题，在完成特征图的处理之后，将获得的特征图与输入的原始特征图进行融合，融合之前先经过一次卷积核尺寸为1*1的卷积，再进行add融合；所有特征图的融合顺序为：P5特征图选定为初始特征图之后，首先与自身进行两次add特征融合并且使用mish激活函数来提提升特征图的表达能力，作为第一张输出的特征图F5，之后经过一次下采样与P4特征图进行concat特征融合，再经过5次卷积后与P4特征图进行一次add特征融合并且使用mish激活函数来提提升特征图的表达能力，得到第二张输出的特征图F4，其次再进行一次下采样与P3特征图进行concat特征融合，再经过5次卷积得到第三张输出的特征图F3。将得到的三张特征图F3、F4、F5与原始的三张特征图P3、P4、P5各自经过一次卷积核尺寸为1*1的卷积后，再将卷积后的F5、F4、F3与卷积后的P5、P4、P3对应地进行add特征融合，完成整个特征融合过程。当本方法需要用在其他场景上时，仅需修改特征图的加权值即可。例如，用于小目标的检测时，需要注重更浅层的语义信息才能检测到小目标，此时设置P3特征图的加权值大于P4与P5的加权值，P5特征图的加权值设置为最小即可完成网络的修改。进一步地，步骤4包括：步骤4.1：将训练集与验证集的彩色图像送入神经网络进行训练，训练时，每N2(一般取值为100)张图像作为一个训练单元；步本文档来自技高网...

【技术保护点】
1.一种特征融合权重可调的金属打印熔池检测方法，其特征在于，包括以下步骤：/n步骤1：采集激光熔覆式3D打印熔池的彩色图像，将彩色图像划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件；/n步骤2：搭建神经网络主干模块用于彩色图像的特征提取，获得三种不同尺寸的特征图；/n步骤3：设置特征融合权重，搭建特征处理模块，并与步骤2搭建的神经网络主干模块结合，完成整个神经网络；/n步骤4：将训练集与验证集的彩色图像与标签文件送入神经网络进行训练，使用测试集观察所得模型的质量，设置新的特征融合参数，反复训练直到得到训练好的神经网络模型；/n步骤5：使用步骤4训练好的神经网络模型对激光熔覆式3D打印彩色图像进行检测，保存检测结果图像。/n

【技术特征摘要】
1.一种特征融合权重可调的金属打印熔池检测方法，其特征在于，包括以下步骤：
步骤1：采集激光熔覆式3D打印熔池的彩色图像，将彩色图像划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件；
步骤2：搭建神经网络主干模块用于彩色图像的特征提取，获得三种不同尺寸的特征图；
步骤3：设置特征融合权重，搭建特征处理模块，并与步骤2搭建的神经网络主干模块结合，完成整个神经网络；
步骤4：将训练集与验证集的彩色图像与标签文件送入神经网络进行训练，使用测试集观察所得模型的质量，设置新的特征融合参数，反复训练直到得到训练好的神经网络模型；
步骤5：使用步骤4训练好的神经网络模型对激光熔覆式3D打印彩色图像进行检测，保存检测结果图像。


2.根据权利要求1所述的方法，其特征在于，步骤1包括：
步骤1.1：录制激光熔覆式3D打印熔池的视频，对视频进行分帧处理，舍弃不清晰和不包含熔池的图像，保存N1张可用的激光熔覆式3D打印熔池彩色图像；
步骤1.2：将获取的彩色图像按一定比例划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件，测试集用于对训练得到模型的质量评估。


3.根据权利要求2所述的方法，其特征在于，步骤2包括：
步骤2.1：将输入的彩色图像尺寸统一成416*416；
步骤2.2：将尺寸统一后的彩色图像依次送到一个Darknet结构与三个残差结构进行卷积操作，并获取此时的特征图P3；
步骤2.3：将步骤2.2获得的特征图再送入一个残差结构获取此时的特征图P4，再送入一个残差结构与SPP结构，获取最后一个特征图P5。


4.根据权利要求3所述的方法，其特征在于，步骤3包括：
步骤3.1：将P5特征图设定为初始特征图，将P5、P4、P3特征图的加权值分别设置为3、2、1；
步骤3.2：特征图融合前需要处理特征图尺寸，使用上采样的方法，将P5特征图的尺寸调整为P4特征图的尺寸，将P4特征图调整为P3特征图的尺寸，特征图的尺寸根据公式(1)计算：



其中，L为计算后的特征图边长，Lin为输入的特征图边长，P为卷积操作零填充的数量，D为卷积核元素之间的步幅，K为卷积核的大小，S为卷积的步长；
步骤3.3：每次特征融合前需要选择特征图的融合方式，每个特征层的第一次特征融合，使用concat方式，在第一维度上进行特征融合，concat特征融合后的通道数Zconcat通过公式(2)计算：



其中，c为参与计算的特征图总数，i为参与计算特征图的序号，Xi为进行融合的一个特征图通道，X′i为进行特征融合的另一个特征图通道，h()表示卷积计算，Ki和Ki+c为与两个特征图进行卷积计算的卷积核；
每个特征层的非第一次特征融合，使用直接相加add的方式进行特征...

【专利技术属性】
技术研发人员：谢非，凌旭，施梦臣，邢飞，杨继全，李宗安，刘益剑，唐文来，史建军，锁红波，
申请(专利权)人：南京师范大学，南京智能高端装备产业研究院有限公司，南京中科煜宸激光技术有限公司，
类型：发明
国别省市：江苏;32