三维点云语义分割方法技术

本发明专利技术提供了一种三维点云语义分割方法，包括：建立融合多种点云表达方式的神经网络；采用经过体素化处理的多帧点云作为神经网络输入；通过神经网络结合神经网络输入信息的图像信息和时序信息，进行三维点云语义分割；以及通过聚类算法对三维点云语义分割结果进行后处理。后处理。后处理。

【技术实现步骤摘要】
三维点云语义分割方法


[0001]本专利技术涉及人工智能
，特别涉及一种三维点云语义分割方法。

技术介绍

[0002]近年来，伴随着科学技术的发展与设备应用层面的更新迭代，自动驾驶已经逐步走进人类的生活当中。各大汽车主机厂、高校、研究所、高新科技企业都纷纷将自动驾驶相关的软硬件技术落地作为工作的重心。感知环节是自动驾驶中最重要的环节之一，它充当了自动驾驶的“眼睛”。感知环节主要涉及到激光雷达、毫米波雷达、摄像头等传感器设备的应用，它能够检测周围环境的信息，并送入后续的流程以供一系列分析和决策。自动驾驶场景中的感知环节离不开以深度学习为骨架的感知算法。深度学习是一项重度数据依赖的工作，训练一个效果好，精度高，泛化性强的感知模型往往需要大量的有标签数据。在这个环节中，如何高效、快速地获得大量有标签数据、提高数据标注的效率是一个至关重要的问题。对于进一步推进自动驾驶领域的发展，数据标注的重要性不言而喻。
[0003]综上所述，对于环境的正确感知对于自动驾驶任务来说十分重要，这决定了网络能否对其所处的环境作出正确的感知并基于此作出正确的决策。但目前的自动驾驶环境感知存在准确度和精度较低的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种三维点云语义分割方法，以解决现有的自动驾驶环境感知存在精度较低的问题。
[0005]为解决上述技术问题，本专利技术提供一种三维点云语义分割方法，包括：
[0006]建立融合多种点云表达方式的神经网络；
[0007]采用经过体素化处理的多帧点云作为神经网络输入；
[0008]通过神经网络结合神经网络输入信息的图像信息和时序信息，进行三维点云语义分割；以及
[0009]通过聚类算法对三维点云语义分割结果进行后处理。
[0010]可选的，在所述的三维点云语义分割方法中，还包括：
[0011]通过点云的多种表达方式，弥补在体素空间的分辨率不足及在点空间的感受野不足；以及
[0012]通过不同的体素空间划分方式，弥补远处点云的稀疏。
[0013]可选的，在所述的三维点云语义分割方法中，还包括：
[0014]通过将点分支和多种体素划分方式的体素分支进行结合，进行三维点云语义分割；
[0015]通过引入神经网络输入信息的图像信息和时序信息，提升三维点云语义分割的语义分割结果精度；以及
[0016]基于聚类对三维点云语义分割结果进行后处理，进一步提升所述语义分割结果精
度。
[0017]可选的，在所述的三维点云语义分割方法中，还包括步骤一：
[0018]采集每帧点云和二维图像，通过投影关系将二者数据集中并对应；
[0019]通过投影关系获取点云和二维图像的空间对应关系；
[0020]通过额外训练的二维图像语义分割网络，获得二维图像的语义分割结果；以及
[0021]通过投影关系、以及二维图像的语义分割结果获取对应点云的类别信息，将类别信息通过one
‑
hot编码作为点云的额外特征维度。
[0022]可选的，在所述的三维点云语义分割方法中，所述步骤一还包括：
[0023]通过多帧点云拼接引入时序信息；
[0024]将一帧点云作为网络的输入，将该帧点云前五帧的点云和后五帧的点云作为额外的神经网络输入信息，增加一维特征维度表示相对于当前帧的相对时间信息；
[0025]基于引入多帧点云导致增加点云数量、降低网络效率或造成内存溢出错误，对神经网络输入的当前帧和前五帧的点云和后五帧的点云进行体素化处理，以降低点的数量；以及
[0026]体素化后的体素当作点，以作为神经网络输入信息。
[0027]可选的，在所述的三维点云语义分割方法中，还包括步骤二：
[0028]经过步骤一处理的点云作为神经网络输入信息；
[0029]所述神经网络包括中间的点分支，通过多层感知器进行运算，以保持点云的分辨率不变，不含有下采样和上采样运算；
[0030]所述神经网络还包括两个体素分支，分别为笛卡尔式体素划分分支和圆柱体式体素划分分支，以增加网络感受野和缓解点云不均匀；以及
[0031]两个体素分支均通过稀疏卷积进行运算，均为UNet结构，在运算过程中共用四次下采样和上采样运算。
[0032]可选的，在所述的三维点云语义分割方法中，所述步骤二还包括：
[0033]在神经网络运算过程中，体素分支分别在不同阶段与点分支进行信息交互；
[0034]点分支的特征和体素分支中的特征进行加法运算；
[0035]体素和点的对应关系通过其三维空间坐标确定；以及
[0036]两个体素分支上的特征被添加至点分支上，再通过多层感知器进行点的分类运算。
[0037]可选的，在所述的三维点云语义分割方法中，还包括步骤三：
[0038]通过聚类的方式避免物体上的少数点被分类成别的类别；以及
[0039]通过追踪的方式确保同一物体在一段时间内的连续帧中具有分类的连续性，避免同一物体在不同的帧中被分类成不同的类别。
[0040]可选的，在所述的三维点云语义分割方法中，还包括：
[0041]通过提高平均交并比，预测出更加准确的三维点云语义分割结果。
[0042]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时执行根据如上所述的方法的步骤。
[0043]在计算机视觉领域，基础任务主要包含分类、检测及分割。语义分割任务的目的在于为二维空间图像中的每个像素点或三维空间点云中的每个点进行分类，能够获得高分辨
率的每个点的分类结果。现有针对室外场景的语义分割神经网络基于体素化的前处理，将三维空间划分成整齐的体素，若同一个体素内含有多个点，则通过池化运算和投票算法分别获得该体素的特征和标签。本专利技术的专利技术人注意到，主干网络为基于稀疏卷积的神经网络，对体素进行分类。体素化的方法会对三维空间的分辨率造成损失，在对体素分类后再进行点的分类，会造成被划分到同一个体素内的点都被预测成相同的类别。
[0044]另外，在体素化过程中，除了将空间笛卡尔式划分，还可以将三维空间的笛卡尔坐标系变换成圆柱体坐标系，并且将三维空间进行圆柱体式的体素化划分。这种圆柱体式的划分方式可以使得距离自车较近的体素较小，距离自车较远的体素较大。由于点云的密度是近密远疏的，这种圆柱体式的划分方式可以减少非空体素的数量，也可以使得每个体素内包含的点的数量更加均匀。
[0045]进一步的，除了在体素空间中的神经网络，现有工作也在点空间中进行分割任务。给定网络的输入为点的坐标和特征，网络通过最远点采样和最近邻聚类的方法使用多层感知器对点云进行特征提取和下采样。网络输出则直接为每个点的分类结果。但本专利技术的专利技术人通过研究发现，由于计算资源有限，基于点空间的网络通常只适用于室内环境。在室外环境中，由于只使用感受野十分有限的计算方式，基于点空间的网络在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维点云语义分割方法，其特征在于，包括：建立融合多种点云表达方式的神经网络；采用经过体素化处理的多帧点云作为神经网络输入；通过神经网络结合神经网络输入信息的图像信息和时序信息，进行三维点云语义分割；以及通过聚类算法对三维点云语义分割结果进行后处理。2.如权利要求1所述的三维点云语义分割方法，其特征在于，还包括：通过点云的多种表达方式，弥补在体素空间的分辨率不足及在点空间的感受野不足；以及通过不同的体素空间划分方式，弥补远处点云的稀疏。3.如权利要求2所述的三维点云语义分割方法，其特征在于，还包括：通过将点分支和多种体素划分方式的体素分支进行结合，进行三维点云语义分割；通过引入神经网络输入信息的图像信息和时序信息，提升三维点云语义分割的语义分割结果精度；以及基于聚类对三维点云语义分割结果进行后处理，进一步提升所述语义分割结果精度。4.如权利要求3所述的三维点云语义分割方法，其特征在于，还包括步骤一：采集每帧点云和二维图像，通过投影关系将二者数据集中并对应；通过投影关系获取点云和二维图像的空间对应关系；通过额外训练的二维图像语义分割网络，获得二维图像的语义分割结果；以及通过投影关系、以及二维图像的语义分割结果获取对应点云的类别信息，将类别信息通过one
‑
hot编码作为点云的额外特征维度。5.如权利要求4所述的三维点云语义分割方法，其特征在于，所述步骤一还包括：通过多帧点云拼接引入时序信息；将一帧点云作为网络的输入，将该帧点云前五帧的点云和后五帧的点云作为额外的神经网络输入信息，增加一维特征维度表示相对于当前帧的相对时间信息；基于引入多帧点云导致增加点云数量、降低网络效...

【专利技术属性】
技术研发人员：王晖杰，田昊，李嘉玮，卢乐炜，李弘扬，代季峰，乔宇，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：