【技术实现步骤摘要】
一种基于4D时空卷积模型的焊缝检测方法
[0001]本专利技术涉及焊缝检测
，具体是一种基于4D时空卷积模型的焊缝检测方法。
技术介绍
[0002]传统的点云处理算法只能处理坡口焊接中焊接层数少，且焊缝形状单一的工件，在面对焊缝区域复杂，且焊缝特征不明显的工件时，易出现过分割或者欠分割，这不符合目前复杂的焊接需求。传统的点云提取算法在面对多层多道焊时，提取的区域不完整，进而导致焊缝的特征不能完整地体现。同时，基于传统的无监督点云分割算法在面对大批量的数据时，具有耗时缺点。
技术实现思路
[0003]本专利技术的目的在于提供一种基于4D时空卷积模型的焊缝检测方法，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种基于4D时空卷积模型的焊缝检测方法，包括以下步骤：
[0005]步骤一：基于三维点云数据的基础上，增加表示时间的维度，建立具有四个维度卷积神经网络；
[0006]步骤二：利用混合核作为卷积核进行计算，使用广义稀疏卷积的偏移量来组成混合核的基本框架，所述混合核是一个十字内核和超立方内核的组合，超立方内核表示空间的维度，用于捕捉空间的几何特征，十字内核表示时间维度，用于连接在不同时间段的空间中的同一点；
[0007]步骤三：利用广义稀疏卷积来创建高维网络，在原有的二维卷积网络ResNet进行改造，在基础残差网络上增加多个步进式稀疏卷积和转置卷积，保留残差网络的跨越式卷积结构，并在模块与模块之间使用U
‑>Net进行特征的融合；
[0008]步骤四：使用同一构架的多个变体进行语义分割实验，针对语义分割的实验数据，运用高维条件随机常对语义的分割数据进行细化；
[0009]步骤五：高维条件随机场利用在空间域相邻但颜色不同的点之间创造“间隔”，防止信息“泄露”到不同区域，令处于七维空间中的条件随机场的一个节点为x
i
，它的势函数为φ
u
(x
i
),相邻点之间的势函数为φ
p
(x
i
，x
j
)，则在该领域的条件随机场可以定义为：
[0010][0011]其中，Z是配分函数，表示所有节点势函数状态之和，X代表该空间中全体点云的集合，相邻点之间的势函数φ
p
必须满足平稳条件φ
p
＝(u，v)＝φ
p
(u+τ
u
，v+τ
v
)，其中τ
u
，τ
v
∈R
D
，其中，R代表集合中的数属于实数，D代表D维实数集，P是概率，在此公式中代表随机场；X是该空间中全体点云的集合；Z是归一化因子；N代表空间；(u，v)代表二维空间上的节点，
φ
p
(u，v)代表在该点的势函数，τ
u
和τ
v
代表节点增量。
[0012]步骤六：数据集的制作，在焊缝焊接完成后采用三维扫描仪对当前道次焊缝进行扫描，并获取当前焊缝的三维点云数据；
[0013]步骤七：对三维点云数据进行去噪处理，经过去噪处理的点云数据通过点云处理软件标记出増材区域的轮廓，以制作网络模型的真实值，为了得到较为完整光滑的特征提取线，需要对封装之后的点云数据进行松弛，之后通过三维点云处理软件里的边界创建工具，提取到焊接区域的轮廓线，作为输入数据的特征；
[0014]步骤八：对采集到的原始点云数据进行稀疏张量化处理，并最终得到一个包含所有原有数据坐标与其特征的稀疏张量；
[0015]步骤九：将稀疏张量作为4D时空卷积模型的输入，得到焊缝的3D分割结果。
[0016]进一步的，在步骤一中，将训练样本送入模型的输入端进行学习，设定学习率为0.1
‑
0.3，包括随机缩放、围绕重力轴的旋转、空间平移、空间弹性失真以及色度平移和抖动来提高网络的泛化能力。
[0017]进一步的，在步骤三中，对于初始的卷积层，用5
×5×5×
1的稀疏卷积核代替原有的7
×
7卷积核，对于网络的剩余部分，保持和原有的残差网络相同的结构。
[0018]进一步的，在步骤四中，所采用的同一架构具体为ResNet结构，所述变体表示不同超立方体内核和十字内核的组合。
[0019]进一步的，在步骤五中，所述高维条件随机场包括空间坐标xyz、时间t、颜色空间rgb共七个维度。
[0020]进一步的，在步骤六中，为了测试网络对多层多道焊的提取效果，采用的焊件焊接层数为二层，焊接道数为二道，每焊接完一道后立即使用扫描仪进行道次焊缝扫描。
[0021]进一步的，在步骤八中，通过人工设定颜色的方法对特征图进行标记，以突出原始数据和特征轮廓线之间的颜色差异，然后对输入的数据进行增广，包括对数据进行体素化，翻转变换，在颜色上进行抖动变换，随后稀疏卷积网络会把经过处理的体素化下采样点云编译成稀疏张量，对点云数据的坐标进行量化，组成批处理的格式，在点云坐标前面加上编号用于区分点云局部不同性状，最后调用稀疏张量转换函数把原有的浮点类型坐标转换成整型坐标，把数据的特征与原始坐标进行融合，整合为一个输入变量，在保持点云大体结构不变的前提下对输入数据进行删减处理，最终得到一个包含所有原有数据坐标与其特征的稀疏张量。
[0022]与现有技术相比，本专利技术的有益效果是：
[0023]1、针对三维点云数据具有高维特征难处理等缺点，对输入的点云数据进行稀疏张量化处理，将输入的点云数据融合它们各自的特征组合成稀疏张量，相比于原有数据减小了参数个数，同时，也为提取三维乃至更高维的数据提供了计算方法；
[0024]2、针对传统的交叉熵损失函数无法学习相邻点之间特征的问题，增加平稳条件随机场，并将其从空间扩展到时间与色彩空间，实现了细粒度分割，使得准确率得到提高；
[0025]3、获得目标区域的轮廓特征，并通过相关点云处理对提取的特征进行染色处理。在实验过程中，通过改变卷积核的形状并且用条件随机场代替损失函数的方式，调解网络的性能，并通过交并比和准确率对改进的模型进行评估，使得本专利技术在数据集上实现了良好的分割操作，并且在一层一道焊和多层多道焊的F1
‑
score均能达到最优值。
附图说明
[0026]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本专利技术各种卷积核在时域和空间域上的形态；
[0028]图2为本专利技术基于残差网络稀疏卷积网络与残差网络ResNet18对比图；
[0029]图3为本专利技术基于UNet32的稀疏卷积网络架构图；
[0030]图4为本专利技术本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于4D时空卷积模型的焊缝检测方法，其特征在于，包括以下步骤：步骤一：基于三维点云数据的基础上，增加表示时间的维度，建立具有四个维度卷积神经网络；步骤二：利用混合核作为卷积核进行计算，使用广义稀疏卷积的偏移量来组成混合核的基本框架，所述混合核是一个十字内核和超立方内核的组合，超立方内核表示空间的维度，用于捕捉空间的几何特征，十字内核表示时间维度，用于连接在不同时间段的空间中的同一点；步骤三：利用广义稀疏卷积来创建高维网络，在原有的二维卷积网络ResNet进行改造，在基础残差网络上增加多个步进式稀疏卷积和转置卷积，保留残差网络的跨越式卷积结构，并在模块与模块之间使用U
‑
Net进行特征的融合；步骤四：使用同一构架的多个变体进行语义分割实验，针对语义分割的实验数据，运用高维条件随机常对语义的分割数据进行细化；步骤五：高维条件随机场利用在空间域相邻但颜色不同的点之间创造间隔，防止信息泄露到不同区域，令处于七维空间中的条件随机场的一个节点为x
i
，它的势函数为φ
u
(x
i
)，相邻点之间的势函数为φ
P
(x
i
，x
j
)，则在该领域的条件随机场可以定义为：其中，Z是配分函数，表示所有节点势函数状态之和，X代表该空间中全体点云的集合，相邻点之间的势函数φ
p
必须满足平稳条件φ
p
(u，v)＝φ
p
(u+τ
u
，v+τ
v
)，其中τ
u
，τ
v
∈R
D
，其中，R代表集合中的数属于实数，D代表D维实数集，P是概率，在此公式中代表随机场；X是该空间中全体点云的集合；Z是归一化因子；N代表空间；(u，v)代表二维空间上的节点，φ
p
(u，v)代表在该点的势函数，τ
u
和τ
v
代表节点增量。步骤六：数据集的制作，在焊缝焊接完成后采用三维扫描仪对当前道次焊缝进行扫描，并获取当前焊缝的三维点云数据；步骤七：对三维点云数据进行去噪处理，经过去噪处理的点云数据通过点云处理软件标记出增材区域的轮廓，以制作网...
【专利技术属性】
技术研发人员：蒋琦，朱勐，陈西北，王君侠，焦俊勇，
申请(专利权)人：宜兴子嘉智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。