【技术实现步骤摘要】
本专利技术涉及智能识别，尤其涉及一种基于球面投影的稀疏点云语义占据预测方法、装置、设备及介质。
技术介绍
1、在自动驾驶和移动机器人等许多应用中，准确且全面的环境感知至关重要，它为下游的路径规划、运动控制等模块提供周围环境信息。语义占据预测是实现环境感知的一项重要任务，它将三维环境划分为规则的体素网格，要求深度神经网络处理输入的传感器数据并判断每个体素网格的占据状态及语义类别。
2、现有的语义占据预测方法可分为：基于摄像头的方法和基于激光雷达的方法。基于摄像头的方法以rgb图像为输入，提取丰富的外观信息用于生成三维场景表示，但由于缺乏深度信息，其精度遭遇瓶颈。基于激光雷达的方法通常有着更好的精度，这得益于点云准确的空间信息。由于单帧点云固有的稀疏性和不规则分布，现有方法往往堆叠连续的多帧点云来构建稠密的空间信息，以促进场景的语义表示学习，但它们可能会遭遇运行效率和鲁棒性的挑战，阻碍了在实际场景中的应用。尽管单帧点云语义占据预测是一种更好的选择，但稀疏点云的空间信息和上下文内容是不连续的，这为语义占据预测带来困难。为了缓解稀疏点云的不连续问题，球面投影被研究应用，它将三维点云映射到二维平面上得到空间信息连续且上下文内容紧凑的范围图像。然而，从范围图像重建三维场景存在两个主要问题：1)原始点云的几何表示是稀疏且离散的，难以有效保留范围图像的语义信息；2)球面投影固有的“多对一”映射关系导致重建结果的语义和几何的模糊性。因此，如何基于球面投影实现稀疏点云的高效语义占据预测目前仍有待解决。
技术实
1、为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于球面投影的稀疏点云语义占据预测方法、装置、设备及介质。
2、本专利技术所采用的第一技术方案是：
3、一种基于球面投影的稀疏点云语义占据预测方法，包括以下步骤：
4、获取激光雷达的点云数据；
5、对获得的点云数据进行球面投影，获得点云的范围视图表示；
6、将点云的范围视图表示输入到训练后的语义占据预测模型，对范围视图表示进行特征提取，得到多尺度的范围视图特征；
7、对多尺度的范围视图特征进行特征聚合，得到三维场景的体素特征；
8、对三维场景的体素特征进行细化和增强，并生成逐体素分类概率，以实现三维场景的语义占据预测。
9、进一步地，所述对获得的点云数据进行球面投影，获得点云的范围视图表示，包括：
10、通过球面投影公式对所述点云数据的逐点三维坐标(x,y,z)进行映射，得到在范围图像上的像素坐标(u,v)；其中，球面投影公式为：
11、
12、式中，w和h分别表示投影图像的宽度和高度，表示投影点云的深度值，fv＝|fup|+|fdown|表示激光雷达的垂直视场角，|fup|表示水平向上方向的视场角，|fdown|表示水平向下方向的视场角。
13、进一步地，所述语义占据预测模型通过以下方式构建获得：
14、利用卷积层、批量归一化层、线性整流层、池化层和线性层，构建语义占据预测模型；其中，构建的语义占据预测模型包括特征提取器、可变形注意力模块、渐进式解码器；
15、所述特征提取器用于对范围视图表示进行特征提取，得到多尺度的范围视图特征；
16、所述可变形注意力模块用于结合预定义的体素查询，对多尺度的范围视图特征进行特征聚合，得到三维场景的体素特征；
17、所述渐进式解码器用于对三维场景的体素特征进行细化和增强，并生成逐体素分类概率。
18、进一步地，所述可变形注意力模块的工作方式为：
19、在体素空间中定义体素网格形状的体素查询，每一个体素查询通过可变形注意力机制在多尺度的范围视图特征上动态地捕获感兴趣的特征，从而得到三维场景的体素特征。
20、进一步地，所述渐进式解码器包括稠密体素特征提取器、稀疏体素特征提取器和占据预测分类器；
21、所述稠密体素特征提取器用于提取稠密体素特征，再将提取的稠密体素特征输入到占据预测分类器中，生成占据预测结果
22、所述稀疏体素特征提取器用于提取稀疏体素特征，再将提取的稀疏体素特征输入到占据预测分类器中，生成占据预测结果
23、进一步地，用于训练所述语义占据预测模型的总体目标损失为：
24、
25、式中，o表示体素标签，和表示渐进式解码器的预测结果；为目标损失函数。
26、进一步地，所述目标损失函数的表达式为：
27、
28、式中，表示加权交叉熵损失，表示lovasz-softmax损失，和表示场景-类别亲和力损失。
29、本专利技术所采用的第二技术方案是：
30、一种基于球面投影的稀疏点云语义占据预测装置，包括：
31、采集模块，用于获取激光雷达的点云数据；
32、映射模块，用于对获得的点云数据进行球面投影，获得点云的范围视图表示；
33、处理模块，用于将点云的范围视图表示输入到训练后的语义占据预测模型，对范围视图表示进行特征提取，得到多尺度的范围视图特征；对多尺度的范围视图特征进行特征聚合，得到三维场景的体素特征；对三维场景的体素特征进行细化和增强，并生成逐体素分类概率，以实现三维场景的语义占据预测。
34、本专利技术所采用的第三技术方案是：
35、一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如上所述的一种基于球面投影的稀疏点云语义占据预测方法。
36、本专利技术所采用的第四技术方案是：
37、一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的一种基于球面投影的稀疏点云语义占据预测方法。
38、本专利技术所采用的第五技术方案是：
39、一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法。
40、本专利技术与现有技术相比，其有益效果在于：本专利技术将空间信息不连续和上下文内容不紧凑的稀疏点云投影到球面坐标系中得到连续且紧凑的范围视图表示；通过预训练的特征提取器提取多尺度的范围视图特征，从全局和局部的角度上捕捉场景中的物体信息；通过可变形注意力模块将二维的范围视图语义特征传递到体素空间中得到三维场景的体素表示；通过渐进式解码器对体素特征加以细化和增强，并生成语义占据预测结果。本专利技术有效提高稀疏点云语义占据预测的准确度，缓解了本文档来自技高网...
【技术保护点】
1.一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，所述对获得的点云数据进行球面投影，获得点云的范围视图表示，包括：
3.根据权利要求1所述的一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，所述语义占据预测模型通过以下方式构建获得：
4.根据权利要求3所述的一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，所述可变形注意力模块的工作方式为：
5.根据权利要求1所述的一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，所述渐进式解码器包括稠密体素特征提取器、稀疏体素特征提取器和占据预测分类器；所述稠密体素特征提取器用于提取稠密体素特征，再将提取的稠密体素特征输入到占据预测分类器中，生成占据预测结果
6.根据权利要求1或5所述的一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，用于训练所述语义占据预测模型的总体目标损失为：
7.根据权利要求6所述的一种基于球面投影的稀疏点云语义占据预测方
8.一种基于球面投影的稀疏点云语义占据预测装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如权利要求1至7任一所述的一种基于球面投影的稀疏点云语义占据预测方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的一种基于球面投影的稀疏点云语义占据预测方法。
...【技术特征摘要】
1.一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，所述对获得的点云数据进行球面投影，获得点云的范围视图表示，包括：
3.根据权利要求1所述的一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，所述语义占据预测模型通过以下方式构建获得：
4.根据权利要求3所述的一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，所述可变形注意力模块的工作方式为：
5.根据权利要求1所述的一种基于球面投影的稀疏点云语义占据预测方法，其特征在于，所述渐进式解码器包括稠密体素特征提取器、稀疏体素特征提取器和占据预测分类器；所述稠密体素特征提取器用于提取稠密体素特征，再将提取的稠密体素特征输入到占据预测分类器中，生成占据预测结果
6.根据权利要求1或5所述的一种基于球面投影的稀疏点云...
【专利技术属性】
技术研发人员：谭明奎，陈思涛，庄壮伟，罗辉，刘立钊，吴庆耀，杜卿，
申请(专利权)人：超级机器人研究院黄埔，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。