一种基于动态聚合的三维点云语义分割方法及系统技术方案

本发明专利技术涉及一种基于动态聚合的三维点云语义分割方法，该方法通过构建包括采样模块、级联的动态聚合模块构成的编码器和特征传播模块构成的解码器的三维点云语义分割模型，通过动态聚合模块对采样模块输出的点云数据进行特征动态聚合输出特征图，并通过特征传播模块传输至全连接层，输出类别。与现有技术相比，本发明专利技术具有语义分割精度高的优点。本发明专利技术具有语义分割精度高的优点。本发明专利技术具有语义分割精度高的优点。

【技术实现步骤摘要】
一种基于动态聚合的三维点云语义分割方法及系统


[0001]本专利技术涉及图像处理领域，尤其是涉及一种基于动态聚合的三维点云语义分割方法及系统。

技术介绍

[0002]近年来，随着深度传感器硬件和深度学习技术的发展，基于深度学习的三维点云语义分割技术逐渐成为了研究的热点，并且广泛应用于自动驾驶、三维场景重建、机器人等方面。
[0003]三维点云数据通常是由激光雷达等3D扫描设备获得的一系列点的集合，其中包含三维空间信息(空间中X、Y、Z坐标)，还可能还有物体信息(如颜色、强度值)、反射值等特征。三维点云数据表示形式简单、紧凑、信息丰富，因此在三维深度学习中作为主流三维数据被广泛采用。但是三维点云数据也有相对应的缺点，如相比于二维数据的稀疏性、无序性和非结构化，这些问题也使得关于三维点云的研究面临巨大的挑战。
[0004]三维点云语义分割是指对输入的每一个点云数据，分配一个类别，进而分割三维场景中的每个物体。目前主流的语义分割范式多层感知机与编码器
‑
解码器架构相结合，在编码器阶段首先使用采样算法若干选取局部区域，然后利用共享权重的多层感知机提取每个区域中三维点云数据的特征，利用对称函数聚合局部特征并缩小分辨率，最后将所有局部区域重新组合为整体，重复上述步骤并逐步减小分辨率；在解码器阶段，利用插值的方式逐步扩展到高分辨率的特征空间中，最后得到一个密集的预测结果。这一方式相比于早期将三维点云数据手工转换为体素网格或多视角图像，具有特征损失小，计算量少的优点，速度快的优点。但仍然具有如下不足：
[0005]1)多层感知机的权重共享导致特征的提取能力有限，这限制了模型捕获大规模场景中空间语义信息的能力。
[0006]2)三维点云数据相比二维图像更为稀疏，直接对原始三维点云数据训练，其语义特征的权重变化不稳定，影响模型性能；
[0007]3)在编码器中，聚合操作通常采用选取非学习的最大值、平均值等方式选取每个局部区域的代表特征，局部区域内的语义特征捕捉能力不足，还有巨大的性能提升空间。

技术实现思路

[0008]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供了一种语义分割精度高的基于动态聚合的三维点云语义分割方法及系统。
[0009]本专利技术的目的可以通过以下技术方案来实现：
[0010]根据本专利技术的第一方面，提供了一种基于动态聚合的三维点云语义分割方法，该方法包括以下步骤：
[0011]步骤S1、获取原始点云数据集并进行预处理；
[0012]步骤S2、构建三维点云语义分割模型，包括采样模块、级联的动态聚合模块构成的
编码器和特征传播模块构成的解码器；通过动态聚合模块对采样模块输出的点云数据进行特征动态聚合输出特征图F
out
，并通过特征传播模块传输至全连接层，输出类别；
[0013]步骤S3、通过三维点云语义分割模型的损失函数及优化器，对三维点云语义分割模型进行训练优化，逐步调整网络参数；
[0014]步骤S4、使用验证集对当前三维点云语义分割模型的性能进行评估，如果性能优于之前保存的最佳模型的性能，则保存当前模型为最佳模型，否则重复步骤S2～S3直至训练轮次达到最大训练轮次epoch；得到训练后的三维点云语义分割模型；
[0015]步骤S5、将测试集输入至训练后的三维点云语义分割模型中，获得每个点的类别预测，得到最终的分割结果。
[0016]优选地，所述步骤S1具体为：
[0017]获取原始点云数据集{P
i
|i＝1，...，n}，其中n为点云数据集中点的数量，每一个点P
i
的数据包含该点的三维坐标以及相对应的物体的标签数据；将原始点云数据集按比重随机分为训练集R和测试集T；所述训练集R中按预定比重划分出验证集V。
[0018]优选地，所述训练集R比重为70％，所述验证集T比重为30％；所述训练集R中划分比重10％为验证集V。
[0019]优选地，所述步骤S2具体包括以下步骤：
[0020]步骤S21、对点云数据进行随机降采样处理，将每个场景的点云数量减少至预设点数；
[0021]步骤S22、采样模块采用K最近邻算法进行数据采样，得到特征图F
in
；
[0022]步骤S23、利用动态聚合模块进行特征聚合，通过权重分支计算每个点对于局部中心点空间特征的联结性，利用函数∈为点云中的每个特征分配不同的权重；通过动态聚合MLP分支，基于动态卷积生成和特征提取聚合，获取输出特征图F
out
；
[0023]步骤S24、特征传播模块使用基于PointNet++的特征广播算法，将编码器输出的特征图F
out
传输至全连接层，输出特征为类别。
[0024]优选地，所述步骤S22中的采样模块采用K最近邻算法进行数据采样，具体为：以每个点为中心，选取其周围最近的k个点，形成局部云块；对每个局部云块进行显示空间编码，计算最近邻点P
i
(x
i
，y
i
，z
i
)与中心点P(x，y，z)的空间关系(x
i
‑
x，y
i
‑
y，z
i
‑
z)，并拼接到原有特征图中，得到特征图F
in
。
[0025]优选地，所述步骤S23包括以下子步骤：
[0026]步骤S231、获取采样模块输出的特征图F
in
，取前6维关于空间距离的特征图F
in
′
，利用多层感知机捕获局部点云块之间的空间信息得到特征图F，其中F＝{f
i，j
|i＝1，2...N}，i表示局部点云块的数量，j表示每个局部点云块中包含的点云数量；将特征f
i，j
输入至∈函数计算局部点云块i对其中每个特征的权重∈(f
i，j
)；
[0027]步骤S232、采用高斯分布初始化生成动态卷积W
i
(i＝1，2，...，k)，并通过θ函数得到聚合后的动态卷积W：
[0028]W＝α1W1+
…
+α
k
W
k
[0029]其中，权重α
i
(i＝1，2，...，k)采用Softmax函数生成；
[0030]步骤S233、将采样模块输出的特征图F
in
输入到由聚合后的动态卷积W作为权重的第一多层感知机中，输出F
mid
；所述F
mid
的输出维度与权重的输出维度相同；
[0031]步骤S234、在局部点云块中，根据点云与点云之间的空间关系，调整语义特征的特征强度，表达式为：
[0032]F
′
mid
＝F
mid
⊙
∈(f
i，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态聚合的三维点云语义分割方法，其特征在于，该方法包括以下步骤：步骤S1、获取原始点云数据集并进行预处理；步骤S2、构建三维点云语义分割模型，包括采样模块、级联的动态聚合模块构成的编码器和特征传播模块构成的解码器；通过动态聚合模块对采样模块输出的点云数据进行特征动态聚合输出特征图F
out
，并通过特征传播模块传输至全连接层，输出类别；步骤S3、通过三维点云语义分割模型的损失函数及优化器，对三维点云语义分割模型进行训练优化，逐步调整网络参数；步骤S4、使用验证集对当前三维点云语义分割模型的性能进行评估，如果性能优于之前保存的最佳模型的性能，则保存当前模型为最佳模型，否则重复步骤S2～S3直至训练轮次达到最大训练轮次epoch；得到训练后的三维点云语义分割模型；步骤S5、将测试集输入至训练后的三维点云语义分割模型中，获得每个点的类别预测，得到最终的分割结果。2.根据权利要求1所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S1具体为：获取原始点云数据集{P
i
|i＝1，...，n}，其中n为点云数据集中点的数量，每一个点P
i
的数据包含该点的三维坐标以及相对应的物体的标签数据；将原始点云数据集按比重随机分为训练集R和测试集T；所述训练集R中按预定比重划分出验证集V。3.根据权利要求2所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述训练集R比重为70％，所述验证集T比重为30％；所述训练集R中划分比重10％为验证集V。4.根据权利要求1所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S2具体包括以下步骤：步骤S21、对点云数据进行随机降采样处理，将每个场景的点云数量减少至预设点数；步骤S22、采样模块采用K最近邻算法进行数据采样，得到特征图F
in
；步骤S23、利用动态聚合模块进行特征聚合，通过权重分支计算每个点对于局部中心点空间特征的联结性，利用函数∈为点云中的每个特征分配不同的权重；通过动态聚合MLP分支，基于动态卷积生成和特征提取聚合，获取输出特征图F
out
；步骤S24、特征传播模块使用基于PointNet++的特征广播算法，将编码器输出的特征图F
out
传输至全连接层，输出特征为类别。5.根据权利要求4所述的一种基于动态聚合的三维点云语义分割方法，其特征在于，所述步骤S22中的采样模块采用K最近邻算法进行数据采样，具体为：以每个点为中心，选取其周围最近的k个点，形成局部云块；对每个局部云块进行显示空间编码，计算最近邻点P
i
(x
i
，y
i
，z
i
)与中心点P(x，y，z)的空间关系(x
i
‑
x，y
i
‑
y，z
i
‑
z)，并拼接到原有特征图...

【专利技术属性】
技术研发人员：赵生捷，褚徐涛，张林，
申请(专利权)人：同济大学，
类型：发明
国别省市：