一种基于面片上下文特征的室内点云场景语义分割方法技术

本发明专利技术涉及一种基于面片上下文特征的室内点云场景语义分割方法。本发明专利技术基于用户输入的大规模场景点云数据，利用动态区域增长算法提取室内场景中几何特征一致的点云作为场景面片；在神经网络编码器中借助多尺度结构并嵌入面片局部特征聚合模块，以有效聚合不同尺度下场景相邻面片的上下文信息；借助基于多头自注意力机制的Transformer模块学习场景面片全局特征，同时将场景面片的全局特征与局部特征进行连接融合并利用多层感知器降低场景面片的特征维度；然后，在神经网络解码器中利用插值上采样将经降采样后的场景面片分辨率恢复到原始面片分辨率并给每个面片分配语义标签，能高效、准确地分割具有大量重复结构的大规模室内点云场景。室内点云场景。室内点云场景。

【技术实现步骤摘要】
一种基于面片上下文特征的室内点云场景语义分割方法


[0001]本专利技术属于
，涉及一种基于面片上下文特征的室内点云场景语义分割方法。

技术介绍

[0002]利用3D扫描仪和深度相机获取的大量室内场景(如大剧院、室内体育馆、大型商场)点云数据，由于场景范围大、场景布局复杂、场景物体多等特点,通常导致点云数据规模大、点云数据分布不均等缺陷，这些将给大规模室内点云场景的理解带来很大挑战。
[0003]在大规模点云场景语义分割方面，传统以离散点云作为场景数据表示的方法中存在如下缺陷：一是由于大规模场景点云数据量庞大，导致对其进行神经网络训练时难以直接处理；二是由于室内场景中物体类型复杂多样，难以建立统一模型有效学习并分割不同类型形状，其存在物体之间分割边界较模糊等现象。具体体现在：1)场景点云数据规模过大导致其进行神经网络训练时难以直接处理；2)室内点云场景中三维物体形状复杂多样，大到墙梁板柱窗、小到家具物品等，很多难以用统一的网络模型进行学习并识别其语义信息；3)由于真实室内环境下存在场景物体杂乱、物体之间相互遮挡等问题导致对场景点云数据的分割难度增加。因此，如何表征大规模场景点云数据？如何提取场景数据特征信息？如何基于场景特征信息进行有效的场景语义分割？所有这些亟需提出新的思路和方法。
[0004]为了有效克服大规模室内场景点云数据的语义分割中神经网络训练低效耗时、耗硬件资源等缺陷，提出一种将场景面片作为大规模点云数据的一种表征形式，通过室内场景的面片提取及其上下文特征表示，从而有助于实现大规模室内点云场景的高效语义分割方法。

技术实现思路

[0005]本专利技术的目的就是提供一种基于面片上下文特征的室内点云场景语义分割方法。为了克服室内点云场景理解中点云数据规模庞大、点云数据分布不均且难以有效分析室内场景的上下文语义关系等缺陷，能够高效、准确地分割具有大量重复结构的大规模室内场景点云数据。
[0006]本专利技术基于用户输入的大规模场景点云数据，利用动态区域增长算法提取室内场景中几何特征一致的点云作为场景面片；其次，在神经网络编码器中借助多尺度结构并嵌入面片局部特征聚合模块，以有效聚合不同尺度下场景相邻面片的上下文信息；接着，借助基于多头自注意力机制的Transformer模块学习场景面片全局特征，该模块通过堆叠4个注意力模块串联构造出场景面片的高层语义空间并学习场景面片之间的特征相似度，同时将场景面片的全局特征与局部特征进行连接融合并利用多层感知器降低场景面片的特征维度；然后，在神经网络解码器中利用插值上采样将经降采样后的场景面片分辨率恢复到原始面片分辨率并给每个面片分配语义标签，最终实现大规模场景语义分割。
[0007]具体包括以下步骤：
[0008]通过区域增长策略从室内场景点云数据中提取大量场景面片；采用基于编码器
‑
解码器结构的点云分割MPTNet网络进行点云场景的语义分割点云分割MPTNet网络中的编码器由多尺度特征聚合层和中间层面片Transformer模块构成，解码器由特征扩散层构成。编码器结构中的多尺度特征聚合层包括面片局部特征聚合模块，用于通过降采样获取不同尺度下场景面片的局部特征信息，并聚合不同尺度下场景相邻面片的上下文信息。中间层面片Transformer模块用于学习降采样后场景面片的全局特征，面片Transformer模块借助偏移注意力机制能够学习高层语义空间下的场景面片特征，同时分别通过平均池化层与最大池化层获取场景面片全局特征，并将场景面片的全局特征与局部特征进行连接融合。在解码器在特征扩散层中，利用插值上采样将经降采样后的场景面片分辨率恢复到原始面片分辨率并给每个场景面片分配语义标签，最终实现大规模室内点云场景的语义分割。
[0009]本专利技术提出的基于面片上下文特征的点云分割网络中采用自注意力模块以适合场景面片特征提取，其能有效学习场景面片之间的特征相似度并从几何语义角度提升场景分割的有效性；采用一种能有效聚合场景面片上下文信息的局部特征聚合模块，其能有效聚合不同尺度下场景相邻面片的上下文信息特征信息并从特征提取角度提升场景分割的准确性。本专利技术提供的场景语义分割方法能高效、准确地分割具有大量重复结构的大规模室内点云场景。
附图说明
[0010]图1为本专利技术的整体流程示意图；
[0011]图2为本专利技术提出的点云分割MPTNet网络示意图；
[0012]图3为点云分割MPTNet网络中的面片多尺度特征聚合MPLA模块示意图；
[0013]图4为点云分割MPTNet网络中的面片局部特征聚合PLA模块示意图；
[0014]图5是实施例中针对教室场景点云数据的语义分割效果示例图；
[0015]图6是实施例中针对走廊场景点云数据的语义分割效果示例图。
具体实施方式
[0016]下面结合附图对本专利技术的技术方法和目标检测效果作进一步描述和说明。
[0017]如图1所示，一种基于面片上下文特征的室内点云场景语义分割方法，具体步骤如下：
[0018]步骤一、通过区域增长策略从室内场景点云数据中提取大量场景面片；
[0019]在区域增长过程中，对场景点云数据进行分析并根据其采样点曲率进行排序，选取曲率最大的采样点s作为种子点，设初始面片Π为空集；然后根据种子点选择面片Π以外的最近邻点p，假设近邻点p满足以下条件:N
p
·
N
s
＞t1，(p
‑
s)
·
N
s
＜t2，(p
‑
q)
·
N
q
＜t3，#(П)<t4，则将近邻点p添加到面片П中，直到面片中点云数目达到阈值上限t4则选择另外一个种子点重复上述操作，直至遍历场景中所有点云数据为止。
[0020]其中，q表示依次添加至面片П中的最后一个采样点，N表示相应采样点的法向量，#表示点集中采样点数目，t1、t2、t3、t4为阈值参数。
[0021]步骤二、基于场景面片表征，采用基于编码器
‑
解码器结构的点云分割MPTNet网络，最终实现大规模室内点云场景的语义分割。
[0022]如图2所示，在点云分割MPTNet网络中，编码器由多尺度特征聚合层MPLA和中间层面片Transformer模块构成，解码器由特征扩散层构成。
[0023]在多尺度特征聚合MPLA层中，输入的点云场景面片数目为N以及其特征维度为64维；然后，通过两次降采样将场景面片数目由N依次减少下降至N/4、N/16，同时其特征维度由64维依次上升至128维、256维；其中，为了聚合场景面片局部特征，在降采样过程中嵌入PLA模块以得到128维、256维场景面片特征；最终，通过多层感知机和最大池化操作得到含256维特征信息的N/16个面片的场景点云。
[0024]在中间层面片Transformer模块中，需要对数目为N/16的场景面片(其特征维度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面片上下文特征的室内点云场景语义分割方法，其特征在于：具体包括以下步骤：通过区域增长策略从室内场景点云数据中提取场景面片；采用基于编码器
‑
解码器结构的点云分割MPTNet网络进行点云场景的语义分割；点云分割MPTNet网络中的编码器由多尺度特征聚合层和中间层面片Transformer模块构成，解码器由特征扩散层构成；编码器结构中的多尺度特征聚合层包括面片局部特征聚合模块，用于通过降采样获取不同尺度下场景面片的局部特征信息，并聚合不同尺度下场景相邻面片的上下文信息；中间层面片Transformer模块用于学习降采样后场景面片的全局特征，面片Transformer模块借助偏移注意力机制能够学习高层语义空间下的场景面片特征，同时分别通过平均池化层与最大池化层获取场景面片全局特征，并将场景面片的全局特征与局部特征进行连接融合；在解码器特征扩散层中，利用插值上采样将经降采样后的场景面片分辨率恢复到原始面片分辨率并给每个场景面片分配语义标签，最终实现大规模室内点云场景的语义分割。2.如权利要求1所述的基于面片上下文特征的室内点云场景语义分割方法，其特征在于：在步骤一所述区域增长过程中，首先对场景点云数据进行分析并根据其采样点曲率进行排序，选取曲率最大的采样点s作为种子点，设初始面片П为空集；然后根据种子点选择面片П以外的最近邻点p，假设近邻点p满足以下条件:N
p
·
N
s
＞t1，(p
‑
s)
·
N
s
＜t2，(p
‑
q)
·
N
q
＜t3，#(Π)<t4，则将近邻点p添加到面片Π中，直到面片中点云数目达到阈值上限t4则选择另外一个种子点重复上述操作，直至遍历场景中所有点云数据为止；其中，公式中q表示依次添加至面片Π中的最后一个采样点，N表示相应采样点的法向量，#表示点集中采样点数目，t1、t2、t3、t4为阈值参数。3.如权利要求1所述的基于面片上下文特征的室内点云场景语义分割方法，其特征在于：在所述多尺度特征聚合层中，输入的点云场景面片数目为N以及其特征维度为64维；然后，通过两次降采样将场景面片数目由N依次减少下降至N/4、N/16，同时其特征维度由64维依次上升至128维、256维；其中，为了聚合场景面片局部特征，在降采样过程中嵌入PLA模块以得到128维、256维场景面片特征；最终，通过多层感知机和最大池化操作得到含256维特征信息的N/16个面片的场景点云。4.如权利要求1所述的基于面片上下文特征的室内点云场景语义分割方法，其特征在于：在所述中间层面片Transformer模块中，需要对数目为N/16的场景面片学习其场景特征信息；首先利用面片Transformer模块并采用堆叠4个注意力模块串联构造场景面片的高层语义空间，在高层语义空间中并学习场...

【专利技术属性】
技术研发人员：缪永伟，任国祥，章益民，王金荣，刘复昌，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：