一种基于深度学习和拓扑感知的三维点云补全方法技术

本发明专利技术公开了一种基于深度学习和拓扑感知的三维点云补全方法，涉及计算机视觉技术领域，使用本发明专利技术能够在点云特征提取模块中，通过边卷积算子学习点云中隐式的拓扑信息；在粗粒度点云生成模块，生成稀疏但结构相对完整的粗粒度点云，初步生成的稀疏点云与残缺输入拼接起来，从而最大程度上保留输入点云的细节；在细粒度点云生成模块利用自注意力机制提高特征提取能力，通过附加二维网格增加点云形变能力，实现最终稠密点云的生成，实现了针对三维点云的补全，可应用于自动驾驶中，使用激光雷达针对自动驾驶场景获取到的缺失点云进行补偿，点云场景中，对点云进行补全后，可以进行目标检测。目标检测。目标检测。

【技术实现步骤摘要】
一种基于深度学习和拓扑感知的三维点云补全方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于深度学习和拓扑感知的三维点云补全方法，利用深度学习技术实现三维残缺点云的自动补全，能够提高激光雷达采集到的点云数据的质量，适用于提升点云分类、分割、三维目标检测等任务的效果。

技术介绍

[0002]早期的点云补全算法主要有基于几何和基于检索匹配两类，但这些方法要么对数据做了对称性假设，要么需要大量数据支撑，并不能很好的应用在现实世界中。随着计算机技术的发展，出现了很多应用于二维图像的深度学习方法，但是与结构化的二维图像数据不同，点云具有置换不变性、旋转不变性以及不均匀性，也就是说，点云连续地分布在三维空间中，且对同一个点云的处理结果不能受其排列顺序影响。因此，已经发展的相当成熟的基于二维图像的深度学习算法并不能直接迁移到三维点云上来，亟需设计针对三维点云的算法。
[0003]PointNet、PointNet++等算法的出现开创了利用深度学习方法直接处理点云数据的先河，这些方法利用多层感知机实现了点云特征提取，并通过池化操作保证点云的置换不变性，在点云分类、分割等任务上都取得了优异的效果。在此基础上，也出现了很多基于深度学习的点云补全方法。
[0004]基于点的方法对点云上的点逐个处理，通过对特征进行编解码实现点云补全。PCN是第一个利用深度学习进行点云补全的算法，其直接作用于点云而不需要任何(如对称性)结构假设，是一个典型的编码器
‑
解码器结构的网络，编码器采用PointNet结构，提取点云的全局特征，并将该全局特征输入到两阶段解码器中重建出完整点云。PCN的解码器借鉴了基于全连接和基于折叠两种方法，从而能够产生细粒度的点云。
[0005]考虑到点云原始形状的缺失会影响网络提取到的特征的效果，SRPCN使用K
‑
Means聚类提取结构点，设计了点云缺失率预测算法来预测K
‑
Means聚类类数，随后通过计算KL散度与完整点云结构进行匹配，再对检索到的点云与残缺点云结构融合后进行上采样形状恢复。
[0006]随着近年来Transformer在视觉领域的广泛流传，也出现了很多基于Transformer的点云补全算法。PoinTr开创性的将点云不全问题视为集合到集合的翻译问题，设计了基于几何感知的Transformer编、解码器。通过将点云表示为一组具有位置嵌入的无序点集，将点云转换为一系列的点代理，并通过Transformer进行缺失部分点云的生成。SnowFlakeNet则是将Transformer应用于解码过程中，将完整点云的生成建模为三维空间中点的雪花状增长，通过引入跳跃Transformer，从上一层中学习当前层局部区域的分裂模式，从而预测高精度的几何形状。
[0007]现有的基于深度学习的点云补全方法通常会采用PointNet或PointNet++进行点云特征提取。但PointNet或PointNet++为了保证点云的置换不变性，都是独立地处理每个点，而忽略了点与其邻居间的几何关系，因此会导致局部细节特征的缺失。
[0008]此外，现有方法通常采用从粗到细粒度的方式进行补全，但是第一阶段的稀疏输出会丢失细节信息，进一步导致第二阶段上采样得到的稠密点云会丢失细节。此外，现有方法针对缺失点云进行特征提取，只能学习到点云已有部分的特征，对残缺部分的特征并不能很好的学习，这与我们补全任务的目标其实是相违背的。
[0009]可以看出，现有技术存在的问题归根结底可以总结为是算法各阶段点云局部细节特征的缺失。

技术实现思路

[0010]有鉴于此，本专利技术提供了一种基于深度学习和拓扑感知的三维点云补全方法，能够在特征提取、粗粒度点云生成以及细粒度点云生成三个阶段均进行点云补全。
[0011]为达到上述目的，本专利技术的技术方案包括如下步骤：
[0012]步骤1：构建点云特征提取模块，点云特征提取模块以待补全的缺失点云数据作为输入，采用第一特征编码器提取输入的缺失点云数据的特征向量，所提取的特征向量包含缺失点云数据的点云结构特性和拓扑特性，记为缺失点云特征。
[0013]步骤2：构建粗粒度点云生成模块，粗粒度点云生成模块以缺失点云特征采用第一多层感知机针对缺失点云特征进行点云重建，获得补全点云，将补全点云与缺失点云数据进行拼接，拼接后的点云进行采样，得到补全的粗粒度点云。
[0014]步骤3：构建细粒度点云生成模块，细粒度点云生成模块以补全的粗粒度点云作为输入，利用注意力机制进行自适应地点云特征学习，获得注意力机制点云特征；细粒度点云生成模块将缺失点云特征、注意力机制点云特征、粗粒度点云和附加的二维网格拼接在一起，得到拼接特征，将拼接特征送入上采样网络中，逐步增加点的数量，达到设定数量之后，得到细粒度点云，作为点云补全结果进行输出。
[0015]优选地，步骤2中，拼接后的点云进行采样，具体地，采用最小密度采样方式进行采样；最小密度采样具体方式为：每次从拼接后的点云的点中选取一个密度最小的点，直至达到目标点数；点的密度通过高斯核函数来估计。
[0016]优选地，细粒度点云生成模块以补全的粗粒度点云作为输入，利用注意力机制进行自适应地点云特征学习，获得注意力机制点云特征，具体为：
[0017]对于点云中的第i个点，其注意力机制点云特征为y
i
：
[0018][0019]δ＝θ(p
i
‑
p
j
)
[0020]其中X(i)是通过KNN最近邻搜索得到的第i个点的邻居的集合，x(i)为X(i)中元素，p
i
,p
j
分别代表点i和点j的位置信息，δ为位置偏移，都代表线性变换运算，代表原始特征信息，ψ(x
j
),α(x
j
)代表邻居特征信息，θ代表多层感知机，ρ表示非线性激活层softmax；γ为多层感知机。
[0021]优选地，三维点云补全方法，还包括构建重建通道针对所构建的点云特征提取模块、粗粒度点云生成模块以及细粒度点云生成模块进行训练。
[0022]重建通道包含如下两个模块；
[0023]第一模块以完整点云为输入，采用第二特征编码器提取完整点云的特征向量，记
为完整点云特征；第二特征编码器与第一特征编码器共享参数。
[0024]第二模块以完整点云特征作为输入，采用第二多层感知机针对完整点云特征进行点云重建，重建后得到的重建点云与完整点云进行拼接，拼接后的点云进行采样，得到完整重建点云；第二多层感知机与第一多层感知机共享参数；完整重建点云作为重建通道的输出。
[0025]已构建的点云特征提取模块、粗粒度点云生成模块以及细粒度点云生成模块组成补全通道。
[0026]重建通道通过深度学习方法训练第一特征编码器，通过共享网络参数，使重建通道的第二特征编码器在网络梯度和形状分布两个方面引导补全通道的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和拓扑感知的三维点云补全方法，其特征在于，包括如下步骤：步骤1：构建点云特征提取模块，所述点云特征提取模块以待补全的缺失点云数据作为输入，采用第一特征编码器提取输入的缺失点云数据的特征向量，所提取的特征向量包含缺失点云数据的点云结构特性和拓扑特性，记为缺失点云特征；步骤2：构建粗粒度点云生成模块，所述粗粒度点云生成模块以所述缺失点云特征采用第一多层感知机针对所述缺失点云特征进行点云重建，获得补全点云，将所述补全点云与缺失点云数据进行拼接，拼接后的点云进行采样，得到补全的粗粒度点云；步骤3：构建细粒度点云生成模块，所述细粒度点云生成模块以所述补全的粗粒度点云作为输入，利用注意力机制进行自适应地点云特征学习，获得注意力机制点云特征；所述细粒度点云生成模块将所述缺失点云特征、所述注意力机制点云特征、粗粒度点云和附加的二维网格拼接在一起，得到拼接特征，将所述拼接特征送入上采样网络中，逐步增加点的数量，达到设定数量之后，得到细粒度点云，作为点云补全结果进行输出。2.如权利要求1所述的一种基于深度学习和拓扑感知的三维点云补全方法，其特征在于，所述步骤2中，拼接后的点云进行采样，具体地，采用最小密度采样方式进行采样；所述最小密度采样具体方式为：每次从所述拼接后的点云的点中选取一个密度最小的点，直至达到目标点数；点的密度通过高斯核函数来估计。3.如权利要求1所述的一种基于深度学习和拓扑感知的三维点云补全方法，其特征在于，所述细粒度点云生成模块以所述补全的粗粒度点云作为输入，利用注意力机制进行自适应地点云特征学习，获得注意力机制点云特征，具体为：对于点云中的第i个点，其注意力机制点云特征为y
i
：δ＝θ(p
i
‑
p
j
)其中X(i)是通过KNN最近邻搜索得到的第i个点的邻居的集合，x(i)为X(i)中元素，p
i
,p
j
分别代表点i和点j的位置信息，δ为位置偏移，ψ,α都代表线性变换运算，代表原始特征信息，ψ(x
j
),α(x
j
)代表邻居特征信息，θ代表多层感知机，ρ表示非线性激活层softmax；γ为多层感知机。4.如权利要求1～3任一所述的一种基于深度学习和拓扑感知的三维点云补全方法，其特征在于，所述三维点云补全方法，还包括构建重建通道针对所构...

【专利技术属性】
技术研发人员：耿晶，牟童瑶，党迎旭，刘正清，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：