一种密度自适应的点云端到端采样方法技术

一种密度自适应的点云端到端采样方法，涉及计算机视觉技术。包括步骤：A.准备用于分类任务的点云数据集。B.预训练分类网络PointNet，得到PointNet预训练模型。C.将原始点云数据输入点云简化网络,实现点云的初步采样。D.针对每个初步采样点，实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域。E.采用自注意力机制，利用邻域信息对初步采样点进行加权更新。F.将更新后的采样点输入预训练的PointNet模型，优化损失函数，得到最终采样点。以端到端学习的方式实现任务相关的点云采样，能够缓解点云密度变化及噪声对采样过程的干扰，从而提升点云采样结果的有效性。从而提升点云采样结果的有效性。从而提升点云采样结果的有效性。

【技术实现步骤摘要】
一种密度自适应的点云端到端采样方法


[0001]本专利技术涉及计算机视觉技术，具体是涉及一种密度自适应的点云端到端采样方法。

技术介绍

[0002]作为3D数据的重要代表，点云是一组能够描述对象几何形状的无序点。由于点云通常包含大量的输入点，为降低点云大小并提高计算效率，通常在下游任务执行之前进行下采样操作。
[0003]在点云任务中应用最广泛的下采样方法是最远点采样FPS。通过迭代选择最远的点，FPS能够尽可能地覆盖输入点云。然而，FPS的采样结果是任务不相关和噪声敏感的。针对FPS存在的问题，许多学者基于深度学习框架提出下采样的改进算法。Nezhadarya等人(Ehsan Nezhadarya,Ehsan Taghavi,Ryan Razani,Bingbing Liu,and Jun Luo.“Adaptive hierarchical down
‑
sampling for point cloud classification.”In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020.pp.12956
‑
12964.)提出CP
‑
Net，通过衡量采样点对全局池化特征的贡献，能够实现确定性的采样。Dovrat等人(Oren Dovrat,Itai Lang,and Shai Avidan.“Learning to sample.”InProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2019.pp.2760
‑
2769.)提出S
‑
Net，通过网络训练得到最优于任务的采样点。Lang等人(Itai Lang,Asaf Manor,and Shai Avidan.“SampleNet:differentiable point cloud sampling.”In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020.pp.7578
‑
7588.)设计SampleNet，通过对投影权重的优化，实现采样点匹配步骤的可微性。Yang等人(Jiancheng Yang,Qiang Zhang,Bingbing Ni,Linguo Li,Jinxian Liu,Mengdie Zhou,and Qi Tian.“Modeling Point Clouds With Self
‑
Attention and Gumbel Subset Sampling.”In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2019.pp.3323
‑
3332.)提出Gumbel子集采样，通Gumbel
‑
Softmax实现端到端可训练的采样层。Yan等人(Xu Yan,Chaoda Zheng,Zhen Li,Sheng Wang,and Shuguang Cui.“PointASNL:Robust point clouds processing using nonlocal neural networks with adaptive sampling.”InProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020.pp.5589
‑
5598.)设计PointASNL网络，通过自适应采样及non
‑
local模块的设计，能够缓解噪声对采样结果的影响。
[0004]尽管上述研究实现下采样的轻微改进，但采样中仍存在若干问题。首先，在这些研究中，采样点通常限于原始输入的子集。因此，采样结果可能被异常值影响。其次，这些方法未能联合考虑任务相关性和噪声影响。特别地，在先前的采样方法中，点云密度的不均匀性未受到很多关注。

技术实现思路

[0005]本专利技术的目的在于针对现有技术存在的上述问题，提供既有利于显著点的提取，也能缓解离群点对采样过程的影响；能够有效降低噪声的影响，提升采样结果有效性的一种密度自适应的点云端到端采样方法。
[0006]本专利技术包括以下步骤：
[0007]A.准备用于分类任务的点云数据集；
[0008]B.预训练分类网络PointNet，得到PointNet预训练模型；
[0009]C.将原始点云数据输入点云简化网络，实现点云的初步采样；
[0010]D.针对每个初步采样点，实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域；
[0011]E.采用自注意力机制，利用邻域信息对初步采样点进行加权更新；
[0012]F.将更新后的采样点输入预训练的PointNet模型，优化损失函数，得到最终采样点。
[0013]在步骤A中，所述准备用于分类任务的点云数据集进一步包括以下子步骤：
[0014]A1.准备ModelNet40数据集(Zhirong Wu,Shuran Song,Aditya Khosla,Fisher Yu,Linguang Zhang,Xiaoou Tang,and Jianxiong Xiao.“3d shapenets:A deep representation for volumetric shapes.”In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015.pp.1912
‑
1920.)；该数据集包含12,311个模型，分别来自40个不同的类别；按照官方训练测试拆分，包含9843个训练模型和2468个测试模型。
[0015]在步骤B中，所述预训练分类网络PointNet，得到PointNet预训练模型进一步包括以下子步骤：
[0016]B1.在ModelNet40数据集上预训练PointNet分类任务网络，每个点云样本的输入点数为1024；
[0017]B2.获得预训练的PointNet模型，该模型的权重在采样网络的训练过程中保持不变。
[0018]在步骤C中，所述将原始点云数据输入点云简化网络，实现点云的初步采样进一步包括以下子步骤：
[0019]C1.将原始点云数据输入点云简化网络；
[0020]C2.通过一系列多层感知机获取点云特征，利用全局最大池化进行全局特征提取，最终采用一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种密度自适应的点云端到端采样方法，其特征在于包括以下步骤：A.准备用于分类任务的点云数据集；B.预训练分类网络PointNet，得到PointNet预训练模型；C.将原始点云数据输入点云简化网络，实现点云的初步采样；D.针对每个初步采样点，实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域；E.采用自注意力机制，利用邻域信息对初步采样点进行加权更新；F.将更新后的采样点输入预训练的PointNet模型，优化损失函数，得到最终采样点。2.如权利要求1所述一种密度自适应的点云端到端采样方法，其特征在于在步骤A中，所述准备用于分类任务的点云数据集进一步包括以下子步骤：A1.准备ModelNet40数据集；该数据集包含12,311个模型，分别来自40个不同的类别；按照官方训练测试拆分，包含9843个训练模型和2468个测试模型。3.如权利要求1所述一种密度自适应的点云端到端采样方法，其特征在于在步骤B中，所述预训练分类网络PointNet，得到PointNet预训练模型进一步包括以下子步骤：B1.在ModelNet40数据集上预训练PointNet分类任务网络，每个点云样本的输入点数为1024；B2.获得预训练的PointNet模型，该模型的权重在采样网络的训练过程中保持不变。4.如权利要求1所述一种密度自适应的点云端到端采样方法，其特征在于在步骤C中，所述将原始点云数据输入点云简化网络，实现点云的初步采样进一步包括以下子步骤：C1.将原始点云数据输入点云简化网络；C2.通过一系列多层感知机获取点云特征，利用全局最大池化进行全局特征提取，最终采用一系列全连接层得到M个初步简化点5.如权利要求1所述一种密度自适应的点云端到端采样方法，其特征在于在步骤D中，所述实施密度自适应的K近邻算法DAKNN，利用K值划分不同大小的邻域进一步包括以下子步骤：D1.计算K的组成部分K0；K0反映点云的平均密度，稀疏区域的K0值较大，而稠密区域的K0值较小；K0的值为U
×
(N0/N)；预设情况下，U＝32，N0＝1024，N是输入点数；D2.计算K的组成部分D；D由核密度估计算法计算得出，其计算方式为D＝d/d
max
，此处d为反密度值；D3.针对每一个初步采样点s
i
，K值由K0×
D计算得出；根据不同的K值，以点云初步采样点s
i
为中心，选择K个邻居进行区域划分，得到M个区域Ns
i
＝DAKNN(n
k
|s
i
...

【专利技术属性】
技术研发人员：林雅南，雷蕴奇，王其聪，
申请(专利权)人：厦门大学，
类型：发明
国别省市：