一种点云补全方法和装置制造方法及图纸

本发明专利技术公开了一种点云补全方法和装置。该方法包括：获取待补全目标的原始点云数据；将所述原始点云数据输入到第一生成网络，获得第一完整点云数据，所述第一生成网络是采用增强的训练数据集训练获得；将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果，其中第二生成网络利用语义表示引导生成第二完整点云数据。本发明专利技术提高了点云补全的通用性和鲁棒性，并使重建点云的局部结构更清晰、准确。准确。准确。

【技术实现步骤摘要】
一种点云补全方法和装置


[0001]本专利技术涉及三维数据处理
，更具体地，涉及一种点云补全方法和装置。

技术介绍

[0002]点云是指在逆向工程中通过测量仪器得到的产品外观表面的点数据集合，通常使用三维坐标测量机得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。随着深度相机和激光雷达3D扫描设备的普及，点云的获取变得越来越容易，最近吸引了视觉和机器人界的大量研究兴趣。然而，由于遮挡、噪声等原因，扫描的三维点云通常是不完整的，这阻碍了实际应用。因此，点云补全变得尤为关键，其目的是通过局部观测预测完整的形状，并且预测形状的局部结构应清晰、准确且无噪声。
[0003]在现有技术中，为实现点云补全，引入了多视图空间(MVP)数据集，其中包含100000多个高质量扫描的部分和完整点云。与其他数据集相比，MVP数据集在统一视图和丰富类别的数据多样性方面更具挑战性。这是因为：(1)对于每个完整物体，其对应的残缺物体从26个视角中随机渲染，残缺点云的结构差异很大，从而限制了现有方法的通用性。(2)16个物体类别进一步增加了数据的多样性。可以观察到，尽管每个残缺物体都是从不同的视图渲染的，但所有残缺点云都共享对象的基本形状属性(全局形状代码和语义类别信息)。基于这一事实，利用底层形状属性在点云补全中尤为关键，这些形状属性还可以引导局部表示更接近同一对象的整体区分性特征。当前主流方法通常将全局表示作为附加特征，连接到生成阶段的每个点。但是，此操作不能直接有效地影响逐点表示。
[0004]综上，由于视点、遮挡和噪声，实际扫描的点云通常不完整。现有的点云补全方法倾向于生成全局形状骨架，而缺乏精细的局部细节。此外，同一个点云的不同残缺形式都共享对象的基本形状属性(整体的形状信息和语义类别信息)。基于这一事实，利用基本形状属性尤为关键，这些形状属性还可以引导局部表示更接近同一对象的整体性的区分表示。

技术实现思路

[0005]本专利技术的目的是克服上述现有技术的缺陷，提供一种点云补全方法和装置。
[0006]根据本专利技术的第一方面，提供一种点云补全方法。该方法包括以下步骤：
[0007]获取待补全目标的原始点云数据；
[0008]将所述原始点云数据输入到第一生成网络，获得第一完整点云数据；所述第一生成网络是采用增强的训练数据集训练获得；
[0009]将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果；其中第二生成网络利用语义表示引导生成第二完整点云数据。
[0010]根据本专利技术的第二方面，提供一种点云补全装置。该装置包括：
[0011]数据采集模块：用于获取待补全目标的原始点云数据；
[0012]第一点云生成模块：用于将所述原始点云数据输入到第一生成网络，获得第一完
整点云数据；所述第一生成网络是采用增强的训练数据集训练获得；
[0013]第二点云生成模块：用于将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果；其中第二生成网络利用语义表示引导生成第二完整点云数据。
[0014]与现有技术相比，本专利技术的优点在于，现有方法基本上都是只有进行点云补全的生成阶段，不会去做二次的精细化处理，也没有语义引导，本专利技术设计了多阶段补全的网络结构，第一阶段利用“残缺
‑
残缺”数据增强增加点云补全模型的对于残缺结构的鲁棒性，第二阶段利用语义引导的精细化处理进一步提升补全点云的质量。
[0015]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0016]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0017]图1是根据本专利技术一个实施例的点云补全方法的流程图；
[0018]图2是根据本专利技术一个实施例的点云补全方法的整体过程示意图；
[0019]图3是根据本专利技术一个实施例的“残缺
‑
残缺”数据增强示意图；
[0020]图4是根据本专利技术一个实施例的条件精细化网络示意图；
[0021]图5是根据本专利技术一个实施例的特征调制网络示意图；
[0022]图6是根据本专利技术一个实施例的多尺度雪花点反褶积模块示意图；
[0023]图7是根据本专利技术一个实施例的点云补全效果对比图。
具体实施方式
[0024]现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0025]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。
[0026]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0027]在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0028]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0029]本专利技术提出了通用且独特的两阶段点云补全框架，第一阶段是鲁棒的点云生成，第二阶段是语义引导的点云细化处理。例如，为了提高生成的点云的鲁棒性，第一阶段采用一个简洁的“残缺
‑
残缺”数据增强模块，该模块进一步将原始残缺点云裁剪为新的残缺输入，并将原始残缺点云处理为完整输入。通过这种方式，可以增加不完整点云的多样性，以提高点云生成网络的泛化能力。第二阶段采用一种新的条件引导网络，该网络可以有效地利用语义表示作为动态指导，使用区分性类别信息来提高点云的精确性。此外，条件引导网
络是轻量级的条件调制模块，可以将底层形状属性(语义信息和形状信息)融合到逐点局部表示中，而不是直接连接点云的全局特征，这种方式可以通过语义指导改善点云的局部分布。
[0030]具体地，结合图1和图2所示，所提供的点云补全方法包括以下步骤。
[0031]步骤S110，构建由生成网络和条件细化网络组成的总体网络架构。
[0032]参见图2所示，总体网络架构包括生成网络和精细化网络。在该实施例中，生成网络是设有“残缺
‑
残缺”数据增强的VRCNet(变分关联点云补全网络)，条件精细化网络是改进的SnowFlakeNet(雪花点反褶积网络)，改进之处将在下文介绍。
[0033]在本文的描述中，“残缺
‑
残缺”数据是指对原始残缺点云进行进一步缺陷处理后获得的增强或扩充的数据，通过数据扩充可以增加不完整点云的多样性，提高生成网络的通用性。条件精细化网络借助语义类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云补全方法，包括以下步骤：获取待补全目标的原始点云数据；将所述原始点云数据输入到第一生成网络，获得第一完整点云数据；所述第一生成网络是采用增强的训练数据集训练获得；将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果；其中第二生成网络利用语义表示引导生成第二完整点云数据。2.根据权利要求1所述的方法，其特征在于，所述增强的训练数据集表征原始残缺点云与精标准完整点云之间的对应关系、增强残缺点云与精标准残缺点云之间的对应关系；所述增强残缺点云通过对残缺点云进行二次缺陷处理获得。3.根据权利要求2所述的方法，其特征在于，所述增强残缺点云是对原始残缺点云进行随机挖除获得，所述精标准残缺点云通过补全原始残缺点云获得。4.根据权利要求1所述的方法，其特征在于，所述第一生成网络基于点云补全网络构建，包括两个连续的子网络，其中第一子网络用于生成粗骨架；第二子网络在粗骨架上重建第一完整点云数据。5.根据权利要求1所述的方法，其特征在于，所述第二生成网络是条件精细化网络，其包含多个多尺度雪花点反褶积模块和特征调制网络；所述多尺度雪花点反褶积模块用于学习输入点云的中间特征，并通过多尺度上下文聚合细化点云结构。6.根据权利要求5所述的方法，其特征在于，对于各多尺度雪花点反褶积模块，其输出的位移特征利用所述特征调制网络通过语义引导进行点表示。7.根据权利要求5所述的方法，其特征在于，对于连续多尺度雪花点反褶积模块，利用多尺度的跳跃转换器从不同层学习和细化空间上下文。8.根据权利要求7所述的方法，其特征在于，针对多尺度雪花点反褶积模块i，执行以下步骤针对前一层的输出的点云P
i
‑1∈R
N
×3，提取每点特征将位移特征和发送至两个具有不同局部区域的跳跃转换器，获得多尺度局部特征；将所述多尺度局部特征反馈给多层感知器，得到当前层的位移特征K
i
；使用K
i
生成点坐标的偏移量进而将当前层的点云更新为9.根据权利要求5所述的方法，其特征在于，所述特征调制网络基于目标的类别信息和第一生成网络学习到的全局形状特征获得条件变量ω和条件变量β，其中条件变量ω与目标类别信息相关，用于调节局部特征表示的聚类中心；条件变量β与目标类别信息以及第一生...

【专利技术属性】
技术研发人员：徐名业，王亚立，乔宇，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：