一种点云语义分割方法及系统技术方案

本发明专利技术涉及点云分割技术领域，具体涉及一种点云语义分割方法及系统；本发明专利技术方法包括获取用于模型训练的点云数据，所述用于模型训练的点云数据包含预先标记的体素信息，采用多特征融合模型利用所述用于模型训练的点云数据进行训练，通过多特征融合模型预测出的体素与对应的所述预先标记的体素信息进行对比，通过差异度调节所述多特征融合模型，通过所述多特征融合模型对点云进行语义分割；本发明专利技术将几何形状特征与高层语义特征进行有效融合，丰富了点云的全局

【技术实现步骤摘要】
一种点云语义分割方法及系统


[0001]本专利技术涉及点云分割
，具体涉及一种点云语义分割方法及系统
。

技术介绍

[0002]随着
3D
传感器的快速发展，
3D
点云的语义分割近年来倍受学术界和工业界关注，信息量大但可以详实地描述空间环境的大规模点云的语义分割更是倍受研究者关注的计算机视觉问题
。
[0003]由于
3D
点云信息的无结构与无序性，点云的语义分割是一个很有挑战性的任务，尤其是对于大规模点云的语义分割
。
近年来，大量基于深度神经网络的方法被用于点云的语义分割
。
现有的点云语义分割方法主要可以分为三类：基于空间投影的方法
、
基于空间离散化的方法和基于点处理的方法
。
基于空间投影的方法首先将
3D
点云投影至
2D
平面，然后利用
2D
语义分割方法实现分割，最后将
2D
分割结果反投影至
3D
空间
。
这类方法在投影过程中不可避免地存在信息丢失，而关键性细节信息的丢失不利于感知系统对环境的准确理解
。
基于空间离散化的方法首先将
3D
点云离散化为体素形式，进而基于体素进行后续的语义分割
。
这类方法存在离散化误差，最终的语义分割精度以及对环境的理解准确度受离散化程度的影响
。
同时，以上两类方法均需要额外的复杂点云空间处理步骤，如投影和离散化，其较高的计算复杂度使其无法处理大规模点云
。
因此，如何从大规模点云中提取更有效的特征是阻碍其在保证效率的前提下提升分割精度的关键问题
。

技术实现思路

[0004]针对上述现有技术的不足，本专利技术旨在提供一种点云语义分割方法及系统，以解决现有制备方法对点云数据处理复杂程度高且精度不高的问题
。
[0005]为了解决上述问题，本专利技术采用了如下的技术方案：第一方面，本专利技术提供一种点云语义分割方法，包括：获取用于模型训练的点云数据；所述用于模型训练的点云数据包含预先标记的体素信息；采用多特征融合模型利用所述用于模型训练的点云数据进行训练；所述多特征融合模型包括分类网络和分割网络；所述分类网络包括多层第一特征提取层，每层所述第一特征提取层包括局部边缘几何特征提取模块和点间语义特征提取模块，且所述局部边缘几何特征提取模块和点间语义特征提取模块的输出进行拼接后作为下一第一特征提取层中局部边缘几何特征提取模块的输入，点间语义特征提取模块的输出作为下一第一特征提取层中点间语义特征提取模块的输入；将各第一特征提取层提取的局部边缘几何特征和点间语义特征进行拼接，得到第一融合特征，将所述第一融合特征输入至共享全连接层进行最大池化聚合，得到全局特征描述符，再通过3个全连接层得到体素所属类别的
S
维向量；所述分割网络包括多层第二特征提取层，每层所述第二特征提取层包括局部边缘几何特征提取模块和全局特征提取模块，且所述局部边缘几何特征提取模块和全局特征提
取模块的输出进行拼接作为所述局部边缘几何特征提取模块的输入；将各第一特征提取层提取的局部边缘几何特征与全局特征进行拼接，得到第二融合特征，将所述第二融合特征进行卷积核最大池化得到全局特征描述符，并将提取的局部边缘几何特征映射到高维特征空间，得出高维特征的潜在几何形状特征，并与第二融合特征和全局特征进行拼接，再使用全连接层进行转换并采用空间注意力机制挖掘空间语义信息，再通过全连接层输出每个点属于体素某类别的概率；通过多特征融合模型预测出的体素与对应的所述预先标记的体素信息进行对比，通过差异度调节所述多特征融合模型；通过所述多特征融合模型对点云进行语义分割
。
[0006]作为一种可实施方式，所述局部边缘几何特征中边缘几何特征的提取，包括：对于点云中任意一点，利用
KNN
算法找到其多个近邻点，连接所述近邻点构成拓扑图，将中心点坐标及中心点和近邻点之间的相对位置信息映射到高维特征空间，从高维特征空间中学习点之间的几何相关性，获取点云的边缘几何特征
。
[0007]作为一种可实施方式，所述局部边缘几何特征中局部几何特征的提取，包括：利用
KNN
算法寻找某点的邻域点，建立以该点为中心的局部邻域图，构建协方差矩阵，然后采用奇异值分解协方差矩阵，得到多个特征值，再根据所述多个特征值得出该点的线状特征
、
面状特征
、
球形特征和各项异性特征作为低维几何特征，将所述低维几何特征映射到高维特征空间，得到局部几何特征的提取
。
[0008]作为一种可实施方式，所述全局特征采用
MLP
对点云提取全局特征
。
[0009]作为一种可实施方式，所述点间语义特征的提取，包括：对于某一特征，分别进行卷积生成两个新的特征，将所述两个新的特征进行矩阵相乘，得到自注意力权重矩阵，并生成归一化的空间注意力权重矩阵；针对该某一特征，在进行卷积生成又一新的特征，将所述又一新的特征与所述空间注意力权重矩阵和标度参数相乘后与该某一特征进行元素求和，得到该某一特征的输出
。
[0010]作为一种可实施方式，所述通过多特征融合模型预测出的体素与对应的所述预先标记的体素信息进行对比，通过差异度调节所述多特征融合模型，包括：通过多特征融合模型预测出的体素与对应的所述预先标记的体素信息进行对比，得出预测该体素正确的点数；计算预测该体素正确的点数与预先标记的体素的总点数的比值，得出差异度
。
[0011]第二方面，本专利技术提供一种点云语义分割系统，包括点云数据获取处理模块
、
多特征融合模型训练模块
、
预测调节模块和分割模块；所述点云数据获取处理模块，用于获取用于模型训练的点云数据；所述用于模型训练的点云数据包含预先标记的体素信息；所述多特征融合模型训练模块，用于采用多特征融合模型利用所述用于模型训练的点云数据进行训练；所述多特征融合模型包括分类网络和分割网络；所述分类网络包括多层第一特征提取层，每层所述第一特征提取层包括局部边缘几何特征提取模块和点间语义特征提取模块，且所述局部边缘几何特征提取模块和点间语义特征提取模块的输出进行拼接后作为下一第一特征提取层中局部边缘几何特征提取模块的输入，点间语义特征提取
模块的输出作为下一第一特征提取层中点间语义特征提取模块的输入；将各第一特征提取层提取的局部边缘几何特征和点间语义特征进行拼接，得到第一融合特征，将所述第一融合特征输入至共享全连接层进行最大池化聚合，得到全局特征描述符，再通过3个全连接层得到体素所属类别的
S
维向量；所述分割网络包括多层第二特征提取层，每层所述第二特征提取层包括局部边缘几何特征提取模块和全局特征提取模块，且所述局部边缘几何特征提取模块和全局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种点云语义分割方法，其特征在于，包括：获取用于模型训练的点云数据；所述用于模型训练的点云数据包含预先标记的体素信息；采用多特征融合模型利用所述用于模型训练的点云数据进行训练；所述多特征融合模型包括分类网络和分割网络；所述分类网络包括多层第一特征提取层，每层所述第一特征提取层包括局部边缘几何特征提取模块和点间语义特征提取模块，且所述局部边缘几何特征提取模块和点间语义特征提取模块的输出进行拼接后作为下一第一特征提取层中局部边缘几何特征提取模块的输入，点间语义特征提取模块的输出作为下一第一特征提取层中点间语义特征提取模块的输入；将各第一特征提取层提取的局部边缘几何特征和点间语义特征进行拼接，得到第一融合特征，将所述第一融合特征输入至共享全连接层进行最大池化聚合，得到全局特征描述符，再通过3个全连接层得到体素所属类别的
S
维向量；所述分割网络包括多层第二特征提取层，每层所述第二特征提取层包括局部边缘几何特征提取模块和全局特征提取模块，且所述局部边缘几何特征提取模块和全局特征提取模块的输出进行拼接作为所述局部边缘几何特征提取模块的输入；将各第一特征提取层提取的局部边缘几何特征与全局特征进行拼接，得到第二融合特征，将所述第二融合特征进行卷积核最大池化得到全局特征描述符，并将提取的局部边缘几何特征映射到高维特征空间，得出高维特征的潜在几何形状特征，并与第二融合特征和全局特征进行拼接，再使用全连接层进行转换并采用空间注意力机制挖掘空间语义信息，再通过全连接层输出每个点属于体素某类别的概率；通过多特征融合模型预测出的体素与对应的所述预先标记的体素信息进行对比，通过差异度调节所述多特征融合模型；通过所述多特征融合模型对点云进行语义分割
。2.
根据权利要求1所述的点云语义分割方法，其特征在于，所述局部边缘几何特征中边缘几何特征的提取，包括：对于点云中任意一点，利用
KNN
算法找到其多个近邻点，连接所述近邻点构成拓扑图，将中心点坐标及中心点和近邻点之间的相对位置信息映射到高维特征空间，从高维特征空间中学习点之间的几何相关性，获取点云的边缘几何特征
。3.
根据权利要求1所述的点云语义分割方法，其特征在于，所述局部边缘几何特征中局部几何特征的提取，包括：利用
KNN
算法寻找某点的邻域点，建立以该点为中心的局部邻域图，构建协方差矩阵，然后采用奇异值分解协方差矩阵，得到多个特征值，再根据所述多个特征值得出该点的线状特征
、
面状特征
、
球形特征和各项异性特征作为低维几何特征，将所述低维几何特征映射到高维特征空间，得到局部几何特征的提取
。4.
根据权利要求1所述的点云语义分割方法，其特征在于，所述全局特征采用
MLP
对点云提取全局特征
。5.
根据权利要求1所述的点云语义分割方法，其特征在于，所述点间语义特征的提取，包括：对于某一特征，分别进行卷积生成两个新的特征，将所述两个新的特征进行矩阵相乘，得到自注意力权重矩阵，并生成归一化的空间注意力权重矩阵；
针对该某一特征，在进行卷积生成又一新的特征，将所述又一新的特征与所述空间注意力权重矩阵和标度参数相乘后与该某一特征进行元素求和，得到该某一特征的输出
。6.
根据权利要求1所述的点云语义分割方法，其特征在于，所述通过多特征融合模型预测出的体素与对应的所述预先标记的体素信息进行对比，通过差异度调节所述多特征融合模型，包括：通过多特征融合...

【专利技术属性】
技术研发人员：向煜，华媛媛，韩熙，黄志，黄令，李奎君，何波，唐时荞，孟云豪，向谭先，宦臣，袁帅，张江，余腾飞，毛阆，
申请(专利权)人：重庆数字城市科技有限公司，
类型：发明
国别省市：