【技术实现步骤摘要】
本专利技术属于增材制造，更具体地，涉及一种基于边缘计算的增材制造在线监测方法及系统。
技术介绍
1、增材制造作为一种将金属等原材料直接打印为产品的近净成形工艺，在航空航天、汽车船舶、微纳制造、生物医学工程等领域具有极高的应用价值。但是由于其特殊的逐层打印机制使得制造过程缺陷倾向大，可能出现致密度差、各向异性、局部变形及应力集中等问题，因此需要合理高效的检测方法进行缺陷检测和质量检查。
2、近年来基于人工智能的图像处理算法迅速发展，多种图像处理算法被应用到增材制造在线监测中，为增材制造过程的特征监测和质量控制提供了新方法。增材制造过程监测对高速相机性能要求高，然而当前的高速相机存在价格高、高速拍摄分辨率低等问题，难以支持高精度的图像分割。此外，基于人工智能的图像处理算法计算量大，业内通常将数据采集和数据处理解耦，使用远端服务器执行算法模型，面临通讯延迟高、数据传输不稳定的问题。
技术实现思路
1、本专利技术通过提供一种基于边缘计算的增材制造在线监测方法及系统，解决现有技术中增材制造在线监测难以实现高精度的图像分割、存在通讯延迟高、数据传输不稳定的问题。
2、本专利技术提供一种基于边缘计算的增材制造在线监测方法，包括以下步骤：
3、建立增材制造的数据集；
4、构建增材制造的在线监测模型，所述在线监测模型包括视频超分辨率模型和特征分割模型；所述视频超分辨率模型以视频序列作为输入，所述特征分割模型以所述视频超分辨率模型的输出作为输入，所述特征
5、其中，所述视频超分辨率模型包括时空编码器、残差特征提取模块、查询矩阵生成模块、键矩阵生成模块和值矩阵生成模块；输入的视频序列中任意帧图像的像素分辨率为(h0/r,w0/r,1)，h0和w0分别为图像在高度和宽度方向的像素数，r为超分辨率重建的倍数；视频序列经所述时空编码器编码后输入至所述残差特征提取模块得到特征图矩阵，所述特征图矩阵分别输入至所述查询矩阵生成模块、所述键矩阵生成模块、所述值矩阵生成模块后分别得到查询矩阵、键矩阵、值矩阵；基于所述查询矩阵、所述键矩阵和所述值矩阵得到总特征图；将所述总特征图进行像素重排，得到像素分辨率为(h0,w0,1)的超分辨率重建结果；
6、利用所述数据集对所述在线监测模型进行训练，得到训练好的在线监测模型；
7、将所述训练好的在线监测模型部署在边缘计算设备上，利用所述边缘计算设备得到增材制造的在线监测信息。
8、优选的，所述残差特征提取模块包括n个级联的残差块；每个所述残差块包含卷积核大小为1x1的第一3d卷积层、第一批归一化层、卷积核大小为3x3的第二3d卷积层和第二批归一化层；所述第一3d卷积层的卷积核数量为32*index，index为索引，1≤index≤n；所述第二3d卷积层的卷积核数量为32。
9、优选的，所述查询矩阵生成模块、所述键矩阵生成模块和所述值矩阵生成模块的结构相同，均包括k个级联的块；前面k-1个块的结构均包含卷积核大小为1x1的第三3d卷积层和第三批归一化层，所述第三3d卷积层的卷积核数量为32n，n为所述残差特征提取模块包含的残差块的数量；最后一个块的结构包括卷积核大小为3x3的第四3d卷积层和第四批归一化层，所述第四3d卷积层的卷积核数量为1。
10、优选的，所述查询矩阵生成模块、所述键矩阵生成模块和所述值矩阵生成模块经训练后的权重不同，利用所述查询矩阵生成模块、所述键矩阵生成模块和所述值矩阵生成模块能够得到形状相同但数值不同的矩阵。
11、优选的，输入的视频序列记为{xt-n,…,xt,..,xt+n}；所述查询矩阵记为qt；所述键矩阵记为{ki}，t-n≤i≤t+n，i≠t；所述值矩阵记为{vi}，t-n≤i≤t+n；当前帧的值矩阵记为vt；所述总特征图采用如下的计算方式：
12、
13、式中，fmt为总特征图。
14、优选的，所述特征分割模型包括编码器和解码器；所述编码器使用xception网络作为主干提取特征，所述编码器将所述视频超分辨率模型输出的特征提取结果和经过空间金字塔池化的特征提取结果分别输出至所述解码器；所述解码器使用1×1卷积、4倍上采样将两路特征提取结果融合后输出高分辨率的特征分割图。
15、优选的，所述数据集包括视频超分辨率数据集和特征分割数据集；
16、利用高速相机对增材制造的过程进行拍摄，得到rgb颜色空间的原始图像序列；通过rgb-ycbcr颜色空间转换得到基准亮度矩阵序列；使用最近邻插值法将所述基准亮度矩阵序列的分辨率降低为原先的1/r，得到低分辨率的亮度矩阵序列；
17、利用所述视频超分辨率数据集对所述视频超分辨率模型进行训练，以所述低分辨率的亮度矩阵序列为输入，以所述基准亮度矩阵序列为输出；
18、利用所述特征分割数据集对所述特征分割模型进行训练，以所述基准亮度矩阵为输入，以标注有增材制造过程中不同特征轮廓的特征分割图为输出。
19、优选的，对所述在线监测模型进行训练时，使用均方误差作为损失函数，选用adam优化器进行网络权重的调优。
20、优选的，将所述训练好的在线监测模型进行边缘计算硬件sdk量化、剪枝处理，得到与所述边缘计算设备的硬件适配的模型；在所述边缘计算设备中创建模型会话置于后端作为服务，固定高速相机和金属粉末床的相对位置，将所述高速相机拍摄得到的视频序列接入后端接口，利用所述边缘计算设备得到增材制造的在线监测信息。
21、另一方面，本专利技术提供一种基于边缘计算的增材制造在线监测系统，包括：边缘计算设备和高速相机；所述高速相机用于对增材制造的过程进行拍摄，并将拍摄得到的视频序列传输至所述边缘计算设备；所述边缘计算设备上部署有训练好的在线监测模型，所述边缘计算设备用于得到增材制造的在线监测信息；
22、所述基于边缘计算的增材制造在线监测系统用于执行上述的基于边缘计算的增材制造在线监测方法中的步骤。
23、本专利技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：
24、本专利技术构建的增材制造的在线监测模型包括视频超分辨率模型和特征分割模型，其中，视频超分辨率模型包括时空编码器、残差特征提取模块、查询矩阵生成模块(gen_q)、键矩阵生成模块(gen_k)和值矩阵生成模块(gen_v)；输入的视频序列中任意帧图像的像素分辨率为(h0/r,w0/r,1)，h0和w0分别为图像在高度和宽度方向的像素数，r为超分辨率重建的倍数；视频序列经时空编码器编码后输入至残差特征提取模块得到特征图矩阵，特征图矩阵分别输入至查询矩阵生成模块、键矩阵生成模块、值矩阵生成模块后分别得到查询矩阵、键矩阵、值矩阵；基于查询矩阵、键矩阵和值矩阵得到总特征图；将总特征图进行像素重排，得到像素分辨率为(h0,w0,1)的超分辨率重建结果。本专利技术利用增材制造的数据集对在线监测模型进行训练，得到训练好的在线监本文档来自技高网...
【技术保护点】
1.一种基于边缘计算的增材制造在线监测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，所述残差特征提取模块包括n个级联的残差块；每个所述残差块包含卷积核大小为1x1的第一3D卷积层、第一批归一化层、卷积核大小为3x3的第二3D卷积层和第二批归一化层；所述第一3D卷积层的卷积核数量为32*index，index为索引，1≤index≤n；所述第二3D卷积层的卷积核数量为32。
3.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，所述查询矩阵生成模块、所述键矩阵生成模块和所述值矩阵生成模块的结构相同，均包括k个级联的块；前面k-1个块的结构均包含卷积核大小为1x1的第三3D卷积层和第三批归一化层，所述第三3D卷积层的卷积核数量为32n，n为所述残差特征提取模块包含的残差块的数量；最后一个块的结构包括卷积核大小为3x3的第四3D卷积层和第四批归一化层，所述第四3D卷积层的卷积核数量为1。
4.根据权利要求3所述的基于边缘计算的增材制造在线监测方法，其特征在于，所述查询矩阵生
5.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，输入的视频序列记为{Xt-N,…,Xt,..,Xt+N}；所述查询矩阵记为Qt；所述键矩阵记为{Ki}，t-N≤i≤t+N，i≠t；所述值矩阵记为{Vi}，t-N≤i≤t+N；当前帧的值矩阵记为Vt；所述总特征图采用如下的计算方式：
6.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，所述特征分割模型包括编码器和解码器；所述编码器使用Xception网络作为主干提取特征，所述编码器将所述视频超分辨率模型输出的特征提取结果和经过空间金字塔池化的特征提取结果分别输出至所述解码器；所述解码器使用1×1卷积、4倍上采样将两路特征提取结果融合后输出高分辨率的特征分割图。
7.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，所述数据集包括视频超分辨率数据集和特征分割数据集；
8.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，对所述在线监测模型进行训练时，使用均方误差作为损失函数，选用Adam优化器进行网络权重的调优。
9.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，将所述训练好的在线监测模型进行边缘计算硬件SDK量化、剪枝处理，得到与所述边缘计算设备的硬件适配的模型；在所述边缘计算设备中创建模型会话置于后端作为服务，固定高速相机和金属粉末床的相对位置，将所述高速相机拍摄得到的视频序列接入后端接口，利用所述边缘计算设备得到增材制造的在线监测信息。
10.一种基于边缘计算的增材制造在线监测系统，其特征在于，包括：边缘计算设备和高速相机；所述高速相机用于对增材制造的过程进行拍摄，并将拍摄得到的视频序列传输至所述边缘计算设备；所述边缘计算设备上部署有训练好的在线监测模型，所述边缘计算设备用于得到增材制造的在线监测信息；
...【技术特征摘要】
1.一种基于边缘计算的增材制造在线监测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，所述残差特征提取模块包括n个级联的残差块；每个所述残差块包含卷积核大小为1x1的第一3d卷积层、第一批归一化层、卷积核大小为3x3的第二3d卷积层和第二批归一化层；所述第一3d卷积层的卷积核数量为32*index，index为索引，1≤index≤n；所述第二3d卷积层的卷积核数量为32。
3.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，所述查询矩阵生成模块、所述键矩阵生成模块和所述值矩阵生成模块的结构相同，均包括k个级联的块；前面k-1个块的结构均包含卷积核大小为1x1的第三3d卷积层和第三批归一化层，所述第三3d卷积层的卷积核数量为32n，n为所述残差特征提取模块包含的残差块的数量；最后一个块的结构包括卷积核大小为3x3的第四3d卷积层和第四批归一化层，所述第四3d卷积层的卷积核数量为1。
4.根据权利要求3所述的基于边缘计算的增材制造在线监测方法，其特征在于，所述查询矩阵生成模块、所述键矩阵生成模块和所述值矩阵生成模块经训练后的权重不同，利用所述查询矩阵生成模块、所述键矩阵生成模块和所述值矩阵生成模块能够得到形状相同但数值不同的矩阵。
5.根据权利要求1所述的基于边缘计算的增材制造在线监测方法，其特征在于，输入的视频序列记为{xt-n,…,xt,..,xt+n}；所述查询矩阵记为qt；所述键矩阵记为{ki}，t-n≤i≤t+n，i≠t；所述值矩阵记为{vi}，t-n...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。