一种基于遮蔽重建辅助训练网络的点云匹配方法组成比例

本发明专利技术提供一种基于遮蔽重建辅助训练网络的点云匹配方法，在训练过程中，遮蔽重建辅助训练网络单独利用从主干网中获取的每个点云的编码表示来在坐标空间中重建完整的点云；训练完成后，遮蔽重建辅助训练网络被分离，从而避免了额外的推理时间；与之前仅在可见部分进行掩码重建方法不同，遮蔽重建辅助训练网络充分利用点云之间的变换以避免位置信息的早期泄漏；因此，本方法直接利用从两个点云中获取的上下文信息，设计出这种简洁的方法，可以进行点云之间的关系建模和单次模型训练

【技术实现步骤摘要】
一种基于遮蔽重建辅助训练网络的点云匹配方法


[0001]本专利技术属于三维计算机视觉
，具体涉及一种基于遮蔽重建辅助训练网络的点云匹配方法
。

技术介绍

[0002]点云配准是计算机视觉和机器人领域中的一个基础问题，旨在计算最优的点云配准变换
。
近年来，基于学习的方法在三维点表征方面取得了重大进展，其利用神经网络分别提取点特征并建立点对应关系
。
然而，点云之间缺乏交互，难以对部分可见点云进行准确配准
。
受转换器的最新进展启发，基于转换器的方法将转换器用于信息交换和上下文信息编码，展现了在配准准确性和鲁棒性方面的显著改进
。
然而，低重叠点云对共同结构的共享特征较少，导致识别共同结构时存在歧义，从而降低了这些方法的性能
。
[0003]最近提出的方法试图通过引入专门设计的编码方法来测量成对一致性，从而能够更好地识别共同结构和生成可靠的对应关系
。
这些方法在低重叠场景中表现出了很好的效果
。
然而，这些修改可能在通用性方面存在限制
。
此外，这些方法需要额外的编码计算，带来了额外的推断时间成本
。

技术实现思路

[0004]有鉴于此，本专利技术的目的是提供一种基于遮蔽重建辅助训练网络的点云匹配方法，可以实现高效和精确的对齐
。
[0005]一种基于遮蔽重建辅助训练网络的点云匹配方法，包括训练阶段和配准阶段；
[0006]在训练阶段，针对给定源点云和目标点云主干网络采用核点卷积网络获取超级点及其特征随后，采用一个转换器编码器学习上下文信息，提取特征在遮蔽重建辅助训练网络中，基于特征重建完整的点云；同时，在匹配网络，基于特征生成对应的点云并预测叠加分数最后，根据预测的对应关系和叠加分数估计最优变换
[0007]对主干网络
、
匹配网络以及遮蔽重建辅助训练网络构成的联合网络模型进行训练完成后，在配准阶段，将待配准的两个点云输入到主干网络，提取特征后，送入匹配网络，得到位姿变换
[0008]所述遮蔽重建辅助训练网络包括补丁生成模块
、
遮蔽重建解码器
、
预测头以及损失函数模块；
[0009]所述点补丁生成模块对于点云首先使用最远点采样将其采样为
g
个中心点然后，采用最近邻算法为每个中心点选择中
k
个最近的点，以此构建
g
个点块生成过程可以表示为：
[0010][0011]对于点云构建
g
个点块
[0012][0013]所述遮蔽重建解码器由
L
d
层组成，每层包括自注意力子层和前馈子层；解码器的输入为完整的标记集和这些标记为编码特征集合和以及掩码标记集合和的并集；其中，每个掩码标记是一个共享的
、
可学习的向量，代表一个待预测的点补丁；
[0014]在每个遮蔽重建解码器层中，通过正弦位置编码
PE
获得标记的位置编码并通过直接相加添加到标记中，得到标记
[0015]位置编码包含编码特征的位置编码以及掩码标记的位置编码其中编码特征的位置编码是直接通过该点云的中心点生成的，掩码标记的位置编码则是使用另一个点云的变换中心点生成的：
[0016][0017][0018]其中，和分别表示从
Y
到
X
和从
X
到
Y
的真值变换；
[0019]遮蔽重建解码器整体流程如下所示：
[0020][0021][0022]所述预测头用于在坐标空间内重构另一个对齐点云的每个点补丁；它由一个双层感知器组成；预测头首先从解码后的标记获取掩码标记解码后的和并将其投影到向量中，输出通道数等于补丁中坐标的总数；然后，这些向量以相互的方式重新构造成预测的点补丁
[0023][0024][0025]Reshape
表示将矩阵形状进行变换，
MLP
表示多层感知机，由线性层和激活函数组成；
[0026]所述损失函数模块用于构建训练主干网络和遮蔽重建辅助训练网络的损失函数，具体为：
[0027]每个掩码标记负责预测对齐的另一个点云中相应的点补丁，由其位置编码指定；给定真值点补丁和以及从和获得的预测点补丁和重构损失使用
l2Chamfer
距离表示；其中定义为：
[0028][0029]其中，表示集合的基数，而表示
a
和
b
之间的平方误差
。
[0030]较佳的，所述匹配网络包括误差校正模块和位姿解算模块；
[0031]所述误差校正模块用于：对于和用超点生成相应点和即相应点通过将每个超点的中心位置投影到另一个点云中来获得：
[0032][0033]相似的，获取相应点
[0034][0035]其中，
softmax
表示归一化指数函数；
[0036]对于每个预测的对应点中的点坐标，将其与编码特征串联，并通过两层全连接层进行映射以获取纠正偏差所需的补偿值，的纠正对应点表示为：
[0037][0038]相似的，的纠正对应点可以表示为：
[0039][0040]其中，
Concat
表示矩阵连接操作；
[0041]随后，通过一个带有
sigmoid
激活函数的单层
FC
层生成重叠得分和和
[0042]所述位姿解算模块用于：
[0043]首先，将两个方向上预测的转换后位置进行串联，以获得最终的一组
M
′
+N
′
个对应点：
[0044][0045]所需的刚性变换通过从估计的对应点中解决以下问题来估计：
[0046][0047]其中是第
i
行的元素
。
[0048]较佳的，所述主干网络包括核点卷积模块；由类似残差网络的块和跨步卷积组成，用于下采样和特征提取；内核点卷积主干下采样点云到并提取相关特征，该特征再次经过线性投影得到特征
[0049]较佳的，所述主干网络包括转换器编码器；
[0050]超级点和以及它们的相关特征和被输入
L
e
层转换器编码器；转换器编码器进行信息交换和上下文信息提取，获得编码特征和每个转换器编码器层包括一个自注意子层和一个交叉注意子层，后面跟着一个前馈网络
FFN
；其中自注意力层和交叉注意力层都率属于多头注意力层
(MA)
，自注意力层的三个输入都相同，交叉注意力层则不同；转换器编码器的整体流程如下所示，依次进行自注意力层，交叉注意力层和前馈网络：
[0051][0052][0053][0054]多头注意力层如下式所示
,
每个注意力方程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于遮蔽重建辅助训练网络的点云匹配方法，其特征在于，包括训练阶段和配准阶段；在训练阶段，针对给定源点云和目标点云主干网络采用核点卷积网络获取超级点及其特征随后，采用一个转换器编码器学习上下文信息，提取特征在遮蔽重建辅助训练网络中，基于特征重建完整的点云；同时，在匹配网络，基于特征生成对应的点云并预测叠加分数最后，根据预测的对应关系和叠加分数估计最优变换对主干网络
、
匹配网络以及遮蔽重建辅助训练网络构成的联合网络模型进行训练完成后，在配准阶段，将待配准的两个点云输入到主干网络，提取特征后，送入匹配网络，得到位姿变换所述遮蔽重建辅助训练网络包括补丁生成模块
、
遮蔽重建解码器
、
预测头以及损失函数模块；所述点补丁生成模块对于点云首先使用最远点采样将其采样为
g
个中心点然后，采用最近邻算法为每个中心点选择中
k
个最近的点，以此构建
g
个点块生成过程可以表示为：对于点云构建
g
个点块个点块设所述遮蔽重建解码器由
L
d
层组成，每层包括自注意力子层和前馈子层；解码器的输入为完整的标记集和这些标记为编码特征集合和以及掩码标记集合和的并集；其中，每个掩码标记是一个共享的
、
可学习的向量，代表一个待预测的点补丁；在每个遮蔽重建解码器层中，通过正弦位置编码
PE
获得标记的位置编码并通过直接相加添加到标记中，得到标记位置编码包含编码特征的位置编码以及掩码标记的位置编码其中编码特征的位置编码是直接通过该点云的中心点生成的，掩码标记的位置编码则是使用另一个点云的变换中心点生成的：另一个点云的变换中心点生成的：其中，和分别表示从
Y
到
X
和从
X
到
Y
的真值变换；遮蔽重建解码器整体流程如下所示：
所述预测头用于在坐标空间内重构另一个对齐点云的每个点补丁；它由一个双层感知器组成；预测头首先从解码后的标记获取掩码标记解码后的和并将其投影到向量中，输出通道数等于补丁中坐标的总数；然后，这些向量以相互的方式重新构造成预测的点补丁测的点补丁测的点补丁
Reshape
表示将矩阵形状进行变换，
MLP
表示多层感知机，由线性层和激活函数组成；所述损失函数模块用于构建训练主干网络和遮蔽重建辅助训练网络的损失函数，具体为：每个掩码标记负责预测对齐的另一个点云中相应的点补丁，由其位置编码指定；给定真值点补丁和以及从和获得的预测点补丁和重构损失使用
l2Chamfer
距离表示；其中定义为：其中，表示集合的基数，...

【专利技术属性】
技术研发人员：王美玲，陈光彦，岳裕丰，袁粒，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：