基于图卷积的城市场景激光LiDAR点云语义分割方法技术

本发明专利技术属于计算机视觉技术领域，公开一种基于图卷积的城市场景激光LiDAR点云语义分割方法，包括：利用基于KNN算法的图注意力卷积进行建模，通过注意力机制为不同邻节点分配不同权重，更好地聚集邻域信息；对NetVLAD算法进行改进，提出NetVLAD++算法，应用于城市场景三维地物目标的语义标识和精准提取，通过充分提取点云特征，更好地融合了局部特征和全局上下文特征，提高了网络模型分割效果；将NetVLAD++算法和基于KNN算法的图注意力卷积模型进行融合，构成一个完整的网络模型进行端到端的训练，使用训练好的模型对城市场景激光点云进行语义分割。本发明专利技术提高了城市场景点云语义分割的精度和效果。的精度和效果。的精度和效果。

【技术实现步骤摘要】
基于图卷积的城市场景激光LiDAR点云语义分割方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于图卷积的城市场景激光LiDAR点云语义分割方法。

技术介绍

[0002]随着卷积神经网络技术的迅速出现，基于深度学习的语义分割精度得到了大幅度提高。深度学习已经广泛应用于二维图像的处理中，但由于三维点云数据的不规则性、无序性等特点，使其在点云语义分割上的应用仍面临着诸多挑战。目前，基于深度学习技术的三维点云语义分割方法按照数据的表现形式可分为间接基于点云的方法和直接基于点云的方法。间接基于点云的方法是将不规则点云转化为规则的结构(包括投影、体素和多视图等)，然后将转化后的数据作为网络模型的输入。该类方法可以很好地弥补卷积神经网络难以处理点云数据的缺陷，但其在转换过程中会不可避免地造成一些重要的信息的损失，因此研究者们提出了直接基于点云的方法，最具代表性的是斯坦福大学Qi提出的PointNet和PointNet++。PointNet成功解决了点云的无序性，但由于PointNet中每个点的特征都是独立学习的，因此无法捕获点之间的局部特征来提取细粒度特征。为了解决这一问题，PointNet++方法以层次结构特征来学习点云的特征，通过加深网络层，使得局部特征更加精确，但是由于其网络结构设计复杂，所以导致运算复杂度过高。
[0003]针对PointNet和PointNet++的不足，许多网络也对其进行了改进。受2D图像中使用的尺度不变特征变换的启发，PointSIFT网络通过一个方向编码单元对八个方向的信息进行堆叠和编码，然后将各个编码层获取的信息进行联合，最终得到了点的空间特征。由于增加了参数，使得该方法计算量增大；同时，其所提取的局部特征对于方向也过于敏感。Thomas等人提出了一种适用于点云的扩张卷积网络，该网络的核心部分为KPConv，取半径邻域内的点作为输入，根据空间内的点到中心的欧式距离计算每个点与其相邻点之间的权重，利用核点卷积得到每个点的新特征，其中，中心点的选取根据点在空间的位置进行特殊处理得到。由于KPConv中核点数是可以任意设置的，它比逐点卷积等固定卷积核的方法更灵活。为了加强点云之间的特征联系，Engelmann等人在PointNet的研究基础上，设计出一种将点云块分组处理的方法。首先使用多尺度块和网络块获得输入级上下文，然后将PointNet提取的逐块特征依次做合并或循环合并，以获得输出级的上下文。循环合并能够将有关场景的信息保留，很好地提升学习效率，但该方法学习到的局部特征不足。为了更好的解决局部几何特征提取不充分以及相邻点之间的关系信息获取不足的问题，3P
‑
RNN利用逐点金字塔池化捕获不同尺度的局部上下文信息，并使用双向分层RNN融合更大范围的空间相关性数据。该方法在室内外点云数据集上均取得了较好的效果，泛化能力强，但其对于一些相似的语义类(如门和墙)的区分有限。RSNet受到PointSIFT的启发,提出了一种将切片池化层、循环神经网络(Recurrent Neural Network，RNN)层和切片反池化层组合的轻量级局部依赖性建模模块。该方法将输入的无序点云特征从x、y、z三个方向切片，利用切片池化层将无序点特征集转换为特征向量序列并提取特征，采用双向RNN学习切片间的相关性，
最后利用切片反池化层将序列中的特征分配回各个原始点。虽然该方法对于一些平面目标(如桌子等)有较高的分割精度，但将点云切片化会严重影响对点之间相互关系的学习，同时也没有明确每个点的局部特征学习邻域。
[0004]图卷积方法将卷积运算与图结构相结合。图卷积神经网络能够依赖图中节点之间的信息传递来捕获图中依赖关系，在计算机视觉领域的应用越来越广泛。利用图卷积网络性质可以有效地获取点云的空间几何结构，基于图卷积的方法将点云中的每个点视为图的顶点，并为每个点的邻域图生成有向边，在空间域或频谱域中进行特征学习，以捕获3D点云的局部几何结构信息。空间域的图卷积方法通过对空间邻域点采用多层感知机来达到卷积的目的。DGCNN网络采用了一个可微模块EdgeConv来提取点云的局部几何特征。其所构建的图是动态的，在网络的每一层之后进行更新，构建新的图结构。该网络提高了分割性能，但空间变换网络的引入使得网络中可训练参数相应增加，从而增加模型的优化难度。为了减小网络模型的优化难度，LDGCNN采用DenseNet的思想，将不同的动态图的层次特征连接起来，计算出边缘信息向量，减小了网络的规模，有效地避免了梯度消失的问题。FGCN网络使用图卷积网络(GCN)将空间信息或局部邻域特征编码为对称图结构，对无向对称图中相邻点的空间排列进行编码，并将其与从2D CNN提取的特征一起传递到包含三层局部图卷积的图卷积网络，利用局部和全局特征对3D点云进行语义分割，以生成完整的分割图。该网络能够有效提高分割任务的整体性能，但与现有架构相比，需要占用更多的内存。DDGCN网络将方向和距离结合起来，进一步获取点云中的局部特征。首先，该网络以邻接矩阵的形式获取点云中的采样点，其次，通过计算每个点之间的余弦相似度，得到点云的相似度矩阵，然后选择KNN算法来提取最相似的点，形成局部邻域图，最后，对邻域图进行动态图卷积，得到点云的局部特征。该网络在分类和语义分割任务中具有较好的性能效果。
[0005]频谱域的图卷积方法将卷积定义为频谱滤波,其通过将图信号和图拉普拉斯特征向量相乘实现。SpecGCN针对PointNet++忽略相邻点之间的关系信息的问题提出了一种局部谱图卷积方法，通过在局部图上使用谱图卷积获取每个点的邻域结构信息，使用图池化递归聚类谱坐标以聚合节点特征。RGCNN基于谱图理论，将点云中的点特征看作是图上的信号，用切比雪夫多项式近似定义了对图的卷积。RGCNN通过在自身的每一层中更新图拉普拉斯矩阵自适应地捕获动态图结构信息。该方法虽然相比于传统谱图卷积降低了计算复杂度，但计算复杂度受KNN的K取值的影响波动，无法适用于大规模数据集。
[0006]目前，图卷积网络的方法考虑了点之间的几何关系，能在一定程度上的捕获局部特征。但由于特征的各向同性，标准卷积在点云语义分割中存在固有的局限性，忽略了物体的边缘轮廓结构，导致分割结果中物体轮廓差，杂散区域小。而注意力机制的基本思想是使系统忽略无关信息而关注重要信息，通过神经网络算出梯度并且通过前向传播和后向反馈来学习得到注意力的权重，可以从众多信息中找到对当前任务更重要的信息。因此，图注意力网络可以通过注意力机制为不同的邻节点分配不同的权重，从而能够更好地聚集邻域信息。

技术实现思路

[0007]本专利技术的目的在于提出一种基于图卷积的城市场景激光LiDAR点云语义分割方法，以更好的提取城市场景激光点云局部和全局特征，进一步提高网络模型分割精度，解决
现有网络模型点云特征提取不充分的问题。
[0008]为了实现上述目的，本专利技术采用以下技术方案：
[0009]一种基于图卷积的城市场景激光LiDAR点云语义分割方法，包括：
[0010]步骤1：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积的城市场景激光LiDAR点云语义分割方法，其特征在于，包括：步骤1：以DGCNN网络模型为基础模型，调整各个参数值，训练初步图卷积神经网络模型；步骤2：采用图注意力卷积对DGCNN中边卷积EdgeConv进行优化：使用注意力权重区分无向连通图中每个点的K个邻节点的重要程度，设计图注意力边卷积块Att
‑
EdgeConv；步骤3：利用图注意力边卷积块Att
‑
EdgeConv对城市场景三维地物目标进行建模，训练深度图注意力卷积神经网络模型，利用训练得到的模型对城市场景激光点云进行语义分割，得到城市场景点云语义初步分割结果；步骤4：对NetVLAD算法进行改进，提出NetVLAD++算法，设计NetVLAD++模块；步骤5：将NetVLAD++模块与Att
‑
EdgeConv块融合为一个特征提取块，与所述深度图注意力卷积神经网络模型构成一个完整的模型，进行端到端的训练；步骤6：利用训练得到的模型对城市场景激光点云进行语义分割，得到城市场景点云语义分割结果。2.根据权利要求1所述的基于图卷积的城市场景激光LiDAR点云语义分割方法，其特征在于，所述步骤2中，按照以下方式得到无向连通图：通过KNN算法计算城市场景激光点云中每个点与剩余所有点之间的距离，并按照升序的方式进行排序，选取前K个点作为每个点的K个最近邻，每个点与其K个邻节点构成边，从而形成无向连通图。3.根据权利要求1所述的基于图卷积的城市场景激光LiDAR点云语义分割方法，其特征在...

【专利技术属性】
技术研发人员：张蕊，孟晓曼，金玮，
申请(专利权)人：华北水利水电大学，
类型：发明
国别省市：