一种加强局部与全局的点云语义分割图卷积网络制造技术

一种加强局部与全局的点云语义分割图卷积网络，加强局部与全局的点云语义分割图卷积网络，利用局部几何加强(LocalGeometry Augment、LGA)模块，使网络对Z轴具有旋转不变性，以便加强点云局部信息表示；采用全局几何特征(GlobalGeometryFeature、GGF)模块，计算局部与全局的球体体积比，将其与坐标特征X进行连接，使全局几何信息特征得以保留；通过多个对称聚合操作将局部信息多方面地保留；网络中每层都使用残差操作，将上一层信息传递到下一层，以及利用反向残差模块(ReversedResidualMLP、RevResMLP)挖掘更深层次的语义信息。次的语义信息。次的语义信息。

【技术实现步骤摘要】
一种加强局部与全局的点云语义分割图卷积网络


[0001]本专利技术涉及一种点云分割，具体说是一种加强局部与全局的点云语义分割图卷积网络。

技术介绍

[0002]随着3D传感器的快速发展，激光点云的获取越来越便利。利用激光点云感知真实世界，在家庭智能机器人、自动驾驶与AR/VR等领域发挥着重要的作用。然而，点云与图像不同，图像为规则化的数据，而点云为非结构化且无序的数据，这使得基于网格的卷积神经网络(CNN)难以应用。
[0003]在最近几年，许多基于深度学习的方法被提出用于处理这一问题。这些方法大致可以分为3类：基于投影化的方法、基于体素化的方法和基于点的方法。然而，基于投影的方法会导致大量的信息丢失，基于体素化的方法会消耗大量的计算资源，而基于点的方法，无需对点云数据进行预处理操作，从而不会存在信息的丢失以及计算成本开销大的问题。但是在基于点的方法中，基于图卷积的方法对上下文特征有很强的信息挖掘能力。它们根据点特征之间的相似性将点构造为图数据，并将二维卷积应用到激光点云上,其比基于逐点的方法取得了更高的精度。然而，该方法对点云局部表示能力未进行加强以及忽略了全局几何信息，并且使用最大池化操作聚合局部信息，导致仅保留了局部内的最大响应值信息。
[0004]针对上述问题，本专利技术提出GRes
‑
Net网络，如图3所示。由Graph Residual(GRes)模块完成对点云局部的加强与全局几何信息的保留，GRes模块包含了LocalGeometryAugment(LGA)与GlobalGeometry Feature(GGF)模块。LGA模块利用局部点与质心间的相对球坐标，使网络对点云的Z轴有旋转不变性，从而加强点云局部表示；GGF模块获取点云局部与全局的体积比，将其与点云坐标特征相连接，以保留全局几何信息；通过多个聚合操作以保留除最大响应值以外的特征信息；添加反向残差模块，挖掘更深层次的特征信息。
[0005]虽然深度学习在NLP与图像领域取得了重大的进展，但是在激光点云领域还未得到很好的探索。本专利技术将回顾此前的研究，分别为基于投影的方法、基于体素的方法、基于点的方法与基于图的方法。
[0006]基于投影与体素的方法。这两种方法需将点云转换为规则化的数据，对其进行卷积操作。前后两者分别将点云转换为图像与体素。MVCNN提取每个视图的特征，并利用最大池化将它们聚合到全局描述符中。GVCNN将每个视图提取到的视觉描述子进行建模分组。VoxNet将点云转换为体素，利用三维卷积提取特征。OctNet采用不平衡的八叉树将空间分区，以减少空体素的数量，提高内存与计算效率。
[0007]基于点的方法。PointNet是第一个将深度学习用于点云处理的网络，其提出以逐点的方式应用MLP，随后利用最大池化聚合全局特征，但是未对点云局部信息进行挖掘。PointNet++采用Encoder
‑
Decoder的结构，关注点云局部的特征信息。KPConv利用核函数对局部每个点计算权重矩阵。Point2Sequence通过自注意力机制从不同的局部区域学习信
息。PCT在全局上利用自注意力机制使每个点之间都相互关注彼此信息。
[0008]基于图的方法。将点作为图的节点，并根据点之间的特征关系建立边。DGCNN在特征空间上获取每个点相邻点，通过MLP与聚合操作进行预测。3D
‑
GCN提出了可变形核，通过在多个尺度上进行聚合以提高模型性能。GAC为不同的图节点分配不同的权重。
[0009]综上所述，直接对点云进行操作解决了需对点云进行预处理的问题。然而，在上述基于图的方法中，点云局部表示的能力未得到加强，忽略了全局几何信息，以及聚合操作仅保留局部最大响应值信息。为此，本专利技术提出了GRes
‑
Net网络，可以有效地加强局部表示与保留全局几何信息，提高语义分割精度。

技术实现思路

[0010]为了解决目前图卷积点云处理网络未加强局部特征、忽略全局几何信息以及局部次最大信息丢失的问题，本专利技术设计了GRes
‑
Net网络结构，提供了一种加强局部与全局的点云语义分割图卷积网络。
[0011]该专利技术所采取的创新方案是：
[0012]一种加强局部与全局的点云语义分割图卷积网络，采用编码器
‑
解码器架构；动态图卷积神经网络DGCNN通过将点云坐标、颜色信息作为特征，并利用该特征对每个点进行k近邻搜索，随后计算每个点与其相邻点特征的差值，将中心点特征与该差值进行拼接，从而构建了新的特征图，利用多层感知机MLP与最大池化学习新的特征图局部特征信息；包括局部几何加强模块LGA，全局几何特征模块GGF，多个聚合操作，反向残差模块RevResMLP；其中，
[0013]所述LGA模块，用于加强点云局部的特征表示；
[0014]所述GGF模块，用于保留全局几何信息；
[0015]所述多个聚合操作模块，用于将局部最大响应值和其他信息保留；
[0016]所述反向残差模块RevResMLP，用于挖掘更深层次信息。
[0017]所述LGA模块通过计算局部内每个点与该局部质心点的相对角度，获取相对极坐标表示。
[0018]所述GGF模块获取点云局部与全局的体积比，将其与点云坐标特征相连接。
[0019]所述多个聚合操作将最大池化与求和池化的结果进行连接。
[0020]所述反向残差模块RevResMLP将输入特征先升维再降维，然后将输出结果与输入数据进行相加。
[0021]所述的卷积网络的工作方法，包括以下步骤：
[0022]步骤1：输入点云数据和相应的超参数；
[0023]步骤2：进行点云语义分割操作，被采样的点进入编码器对点云进行编码；
[0024]步骤3：在GRes模块中加强点云局部与保留点云全局几何信息，其中LGA模块用来加强点云局部特征表示，GGF模块保留全局几何信息。具体如下：
[0025]LGA模块步骤如下：
[0026]1)计算出局部区域内所有点的距离与角度
[0027]如公式(1)至公式(3)所示。为点p
i
与点之间的距离，
[0028]为点p
i
与点之间的角度。定义：为点p
i
的k个近邻点，i表示某个局部区域。
[0029][0030][0031][0032]其中，是点p
i
在笛卡尔坐标系中的坐标。
[0033]2)计算局部内质心点的角度通过局部区域的点坐标计算出质心根据公式(2)与公式(3)计算出其的角度。
[0034]3)计算出质心点与局部内所有点的相对角度
[0035]如公式(4)与公式(5)所示。
[0036][0037][0038]GGF模块步骤如下：
[0039]根据公式(6)计算出全局点云的体积与局部点云的体积，然后根据公式(7)计算出局部点云体积与全本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种加强局部与全局的点云语义分割图卷积网络，其特征在于：采用编码器
‑
解码器架构；动态图卷积神经网络DGCNN通过将点云坐标、颜色信息作为特征，并利用该特征对每个点进行k近邻搜索，随后计算每个点与其相邻点特征的差值，将中心点特征与该差值进行拼接，从而构建了新的特征图，利用多层感知机MLP与最大池化学习新的特征图局部特征信息；包括局部几何加强模块LGA，全局几何特征模块GGF，多个聚合操作，反向残差模块RevResMLP；其中，所述LGA模块，用于加强点云局部的特征表示；所述GGF模块，用于保留全局几何信息；所述多个聚合操作模块，用于将局部最大响应值和其他信息保留；所述反向残差模块RevResMLP，用于挖掘更深层次信息。2.根据权利要求1所述的卷积网络，其特征在于，所述LGA模块通过计算局部内每个点与该局部质心点的相对角度，获取相对极坐标表示。3.根据权利要求1所述的卷积网络，其特征在于：所述GGF模块获取点云局部与全局的体积比，将其与点云坐标特征相连接。4.根据权利要求1所述的卷积网络，其特征在于：所述多个聚合操作将最大池化与求和池化的结果进行连接。5.根据权利要求1所述的卷积网络，其特征在于：所述反向残差模块RevResMLP将输入特征先升维再降维，然后将输出结果与输入数据进行相加。6.一种如权利要求1所述的卷积网络的工作方法，其特征在于，包括以下步骤：步骤1：输入点云数据和相应的超参数；步骤2：进行点云语义分割操作，被采样的点进入编码器对点云进行编码；步骤3：在GRes模块中加强点云局部与保留点云全局几何信息，其中LGA模块用来加强点云局部特征表示，GGF模块保留全局几何信息。具体如下：LGA模块步骤如下：1)计算出局部区域内所有点的距离与角度如公式(1)至公式(3)所示。为点p
i
与点p
ik
之间的距离，为点p
i
与点之...

【专利技术属性】
技术研发人员：王蕾，温智成，
申请(专利权)人：东华理工大学，
类型：发明
国别省市：