激光雷达点云分割方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种激光雷达点云分割方法、装置、设备及存储介质，用于解决现有的点云数据分割方案对计算资源消耗较大，且分割准确度较低的技术问题。该方法通过获取目标场景的三维点云和二维图像，并对二维图像进行图块化处理，得到多个图像块，从多个图像块中随机选择一个输出至预设的二维特征提取网络中特征提取，生成多尺度二维特征，利用预设的三维特征提取网络，基于三维点云进行特征提取，生成多尺度三维特征，根据多尺度二维特征和多尺度三维特征进行融合处理，得到融合特征，对融合特征进行单向模态保持的蒸馏，得到单模态语义分割模型；基于单模态语义分割模型以三维点云作为输入进行判别，得到语义分割标签对目标场景进行分割。进行分割。进行分割。

【技术实现步骤摘要】
激光雷达点云分割方法、装置、设备及存储介质


[0001]本专利技术涉及图像
，尤其涉及一种激光雷达点云分割方法、装置、设备及存储介质。

技术介绍

[0002]语义分割算法在大规模户外场景理解中起着至关重要的作用，在自动驾驶和机器人技术中有着广泛的应用。在过去的几年里，科研学者投入了大量精力来使用相机图像或激光雷达（LiDAR）点云作为输入来理解自然场景。然而，由于所使用的传感器固有的限制，这些单模态方法不可避免地在复杂环境中面临挑战。具体来说，相机提供了密集的颜色信息和细粒度的纹理，但它们在深度感应方面不明确，在弱光条件下也不可靠。相比之下，无论光照变化如何，LiDAR 都能可靠地提供准确和广泛的深度信息，但只能捕获稀疏和无纹理的数据。
[0003]目前，通过提供融合策略的方式来对相机和激光雷达这两个互补的传感器的信息进行改进，但是基于融合策略提高分割准确度的方法具有以下不可避免的局限性：1）由于相机和 LiDAR 之间的视野（field of views，FOV）不同，无法为图像平面外的点建立点到像素的映射。通常，LiDAR和相机的FOV仅在一小部分区域重叠，这极大地限制了基于融合的方法的应用。
[0004]2）基于融合的方法消耗更多的计算资源，因为它们在运行时同时处理图像和点云，这给实时应用带来了很大的负担。

技术实现思路

[0005]本专利技术的主要目的在于提供了一种激光雷达点云分割方法、装置、设备及存储介质，以解决现有的点云数据分割方案对计算资源消耗较大，且分割准确度较低的技术问题。
[0006]本专利技术第一方面提供了一种激光雷达点云分割方法，所述激光雷达点云分割方法包括：获取目标场景的三维点云和二维图像，并对所述二维图像进行图块化处理，得到多个图像块；从多个所述图像块中随机选择一个输出至预设的二维特征提取网络中特征提取，生成多尺度二维特征；利用预设的三维特征提取网络，基于所述三维点云进行特征提取，生成多尺度三维特征；根据多尺度二维特征和多尺度三维特征进行融合处理，得到融合特征；对所述融合特征进行单向模态保持的蒸馏，得到单模态语义分割模型；获取待分割的场景三维点云，将其输入至所述单模态语义分割模型中进行语义判别，得到语义分割标签，并基于所述语义分割标签对所述目标场景进行分割。
[0007]可选的，所述预设的二维特征提取网络至少包括二维卷积编码器；所述从多个所
述图像块中随机选择一个输出至预设的二维特征提取网络中进行特征提取，生成多尺度二维特征，包括：利用随机算法从多个所述图像块中确定目标图像块，并基于所述目标图像块构建二维特征图；通过所述二维卷积编码器，基于不同尺度对所述二维特征图进行二维卷积计算，得到多尺度二维特征。
[0008]可选的，所述预设的二维特征提取网络还包括全卷积解码器；在所述通过所述二维卷积编码器，基于不同尺度对所述二维特征图进行二维卷积计算，得到多尺度二维特征之后，还包括：提取多尺度二维特征中属于所述二维卷积编码器中最后一层卷积层的二维特征；通过所述全卷积解码器，采用向上采样策略对最后一层卷积层的二维特征进行逐步采样，得到解码特征图；利用所述二维卷积编码器中的最后一层卷积层，对所述解码特征图进行卷积计算，得到新的多尺度二维特征。
[0009]可选的，所述预设的三维特征提取网络至少包括采用稀疏卷积构造的三维卷积编码器；所述利用预设的三维特征提取网络，基于所述三维点云进行特征提取，生成多尺度三维特征，包括：利用所述三维卷积编码器，提取所述三维点云中的非空体素，并对所述非空体素进行卷积计算，得到三维卷积特征；利用向上采样策略对所述三维卷积特征进行上采样操作，得到解码特征；若采样到的特征的尺寸与原始特征的尺寸相同时，将所述三维卷积特征与所述解码特征进行拼接，得到多尺度三维特征。
[0010]可选的，在所述利用预设的三维特征提取网络，基于所述三维点云进行特征提取，生成多尺度三维特征之后，在所述根据多尺度二维特征和多尺度三维特征进行融合处理，得到融合特征之前，还包括：利用返卷积操作，将多尺度二维特征的分辨率调整至所述二维图像的分辨率；基于调整后的多尺度二维特征，利用透视投影法计算其与对应的点云之间的映射关系，生成点到像素映射关系；基于所述点到像素映射关系确定对应的二维真值标签；利用预设的体素化函数，构建所述三维点云中各点云点体素映射关系；根据所述点体素映射关系对多尺度三维特征进行随机线性插值，得到各点云的三维特征。
[0011]可选的，所述根据多尺度二维特征和多尺度三维特征进行融合处理，得到融合特征，包括：利用基于GRU启发的融合，将所述点云的三维特征转换为二维特征；利用多层感知机制感知所述二维特征对应的其他卷积层得到的点云的三维特，并计算两者之间的差距，以及将所述二维特征与在解码特征图中对应的二维特征进行拼接；基于所述差距和拼接的结果，得到融合特征。
[0012]可选的，所述对所述融合特征进行单向模态保持的蒸馏，得到单模态语义分割模
型，包括：将所述融合特征和转换后的二维特征依次输入至所述维特征提取网络中的全连接层获得对应的语义分数；基于所述语义分数确定蒸馏损失；根据所述蒸馏损失，对所述融合特征进行单向模态保持的蒸馏，得到单模态语义分割模型。
[0013]本专利技术第二方面提供了激光雷达点云分割装置，包括：采集模块，用于获取目标场景的三维点云和二维图像，并对所述二维图像进行图块化处理，得到多个图像块；二维提取模块，用于从多个所述图像块中随机选择一个输出至预设的二维特征提取网络中特征提取，生成多尺度二维特征；三维提取模块，用于利用预设的三维特征提取网络，基于所述三维点云进行特征提取，生成多尺度三维特征；融合模块，用于根据多尺度二维特征和多尺度三维特征进行融合处理，得到融合特征；模型生成模块，用于对所述融合特征进行单向模态保持的蒸馏，得到单模态语义分割模型；分割模块，用于获取待分割的场景三维点云，将其输入至所述单模态语义分割模型中进行语义判别，得到语义分割标签，并基于所述语义分割标签对所述目标场景进行分割。
[0014]可选的，所述预设的二维特征提取网络至少包括二维卷积编码器；所述二维提取模块包括：构建单元，用于利用随机算法从多个所述图像块中确定目标图像块，并基于所述目标图像块构建二维特征图；第一卷积单元，用于通过所述二维卷积编码器，基于不同尺度对所述二维特征图进行二维卷积计算，得到多尺度二维特征。
[0015]可选的，所述预设的二维特征提取网络还包括全卷积解码器；所述二维提取模块还包括第一解码单元，其具体用于：提取多尺度二维特征中属于所述二维卷积编码器中最后一层卷积层的二维特征；通过所述全卷积解码器，采用向上采样策略对最后一层卷积层的二维特征进行逐步采样，得到解码特征图；利用所述二维卷积编码器中的最后一层卷积层，对所述解码特征图进行卷积计算，得到新的多尺度二维特征。
[0016]可选的，所述预设的三维特征提取网络至少包括采用稀疏卷积构造的三维卷积编码器；所述三维提取模块包括：第二卷积单元，用于利用所述三维卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达点云分割方法，其特征在于，所述激光雷达点云分割方法包括：获取目标场景的三维点云和二维图像，并对所述二维图像进行图块化处理，得到多个图像块；从多个所述图像块中随机选择一个输出至预设的二维特征提取网络中特征提取，生成多尺度二维特征；利用预设的三维特征提取网络，基于所述三维点云进行特征提取，生成多尺度三维特征；根据多尺度二维特征和多尺度三维特征进行融合处理，得到融合特征；对所述融合特征进行单向模态保持的蒸馏，得到单模态语义分割模型；获取待分割的场景三维点云，将其输入至所述单模态语义分割模型中进行语义判别，得到语义分割标签，并基于所述语义分割标签对所述目标场景进行分割。2.根据权利要求1所述的激光雷达点云分割方法，其特征在于，所述预设的二维特征提取网络至少包括二维卷积编码器；所述从多个所述图像块中随机选择一个输出至预设的二维特征提取网络中进行特征提取，生成多尺度二维特征，包括：利用随机算法从多个所述图像块中确定目标图像块，并基于所述目标图像块构建二维特征图；通过所述二维卷积编码器，基于不同尺度对所述二维特征图进行二维卷积计算，得到多尺度二维特征。3.根据权利要求2所述的激光雷达点云分割方法，其特征在于，所述预设的二维特征提取网络还包括全卷积解码器；在所述通过所述二维卷积编码器，基于不同尺度对所述二维特征图进行二维卷积计算，得到多尺度二维特征之后，还包括：提取多尺度二维特征中属于所述二维卷积编码器中最后一层卷积层的二维特征；通过所述全卷积解码器，采用向上采样策略对最后一层卷积层的二维特征进行逐步采样，得到解码特征图；利用所述二维卷积编码器中的最后一层卷积层，对所述解码特征图进行卷积计算，得到新的多尺度二维特征。4.根据权利要求1所述的激光雷达点云分割方法，其特征在于，所述预设的三维特征提取网络至少包括采用稀疏卷积构造的三维卷积编码器；所述利用预设的三维特征提取网络，基于所述三维点云进行特征提取，生成多尺度三维特征，包括：利用所述三维卷积编码器，提取所述三维点云中的非空体素，并对所述非空体素进行卷积计算，得到三维卷积特征；利用向上采样策略对所述三维卷积特征进行上采样操作，得到解码特征；若采样到的特征的尺寸与原始特征的尺寸相同时，将所述三维卷积特征与所述解码特征进行拼接，得到多尺度三维特征。5.根据权利要求1
‑
4中任一项所述的激光雷达点云分割方法，其特征在于，在所述利用预设的三维特征提取网络，基于所述三维点云进行特征提取，生成多尺度三维特征之后，在所述根据多尺度二维特征和多尺度三维特征进行融合处理，得到融合...

【专利技术属性】
技术研发人员：李镇，颜旭，高建焘，郑超达，崔曙光，
申请(专利权)人：香港中文大学深圳未来智联网络研究院，
类型：发明
国别省市：