【技术实现步骤摘要】
本专利技术涉及计算机感知领域，尤其涉及一种面向低算力平台的激光多任务感知方法和系统。
技术介绍
1、在自动驾驶场景下，voxel、pillar、range view是激光雷达感知模型在面向部署时常用的几种点云表达方式。基于voxel的模型往往涉及到3d卷积和较大的输入输出特征量，会消耗巨大计算资源和计算时间，无法在低成本小算力平台高效部署并满足自动驾驶实时感知的需求。基于pillar的模型的计算资源消耗相对较少，能满足低算力平台的部署需求，但对于点云语义分割任务，高度上的统一划分使其无法对单一pillar内的不同语义类型点云进行区分。range view把点云根据其扫描特性重构成稠密伪图像，可以使用2d卷积进行高效推理，并能对每个点进行细粒度的语义分割，但相对于bev，rang view在3d目标检测任务上性能较差。voxel、pillar都能直接压缩到bev特征图，bev是自动驾驶中常用的空间表达方式，比range view更适合进行多传感器融合和特征时序融合。
2、对于计算资源有限的低算力部署平台，把多个任务合并到单个网络模型，共用部分网络结构已经成为一种趋势。但对于点云语义分割和点云3d目标检测任务，语义分割任务需要更精细的空间划分(计算量随着空间划分粒度变小而大量增长)，3d目标检测任务则不需要如此细粒度的空间表达。因此，面向自动驾驶使用场景，需要更好地权衡计算量和计算任务性能。
3、因此，需要能够改进现有技术中的缺陷的方法和系统。
技术实现思路
1
2、针对以上问题，本专利技术使用多任务共享网络结构以及多标签的点云bev语义分割结果来平衡多任务性能和整个系统的计算效率。
3、在本专利技术的技术方案中，首先使用点云随机采样算法对原始点云进行降采样，然后把采样后的点云输入多任务感知模型，以得到3d目标检测结果和粗粒度的bev网格多标签语义分割结果。最后经由多标签后处理模块对粗粒度语义信息进行细化，完成地面/可行驶空间提取任务、路沿检测任务和非标准障碍物检测任务。
4、具体而言，在本专利技术的一个实施例中，公开了一种用于面向低算力平台的激光多任务感知的方法，该方法包括：
5、接收原始点云并对该原始点云进行点云降采样；
6、对经点云降采样的点云进行bev编码以生成bev特征图；
7、对该bev特征图进行特征降采样以生成经降采样的bev特征图；
8、对该经降采样的bev特征图执行第一特征解码操作以生成第一特征图；
9、对该第一特征图执行bev多标签语义分割以输出多标签bev语义网格结果；
10、对该经降采样的bev特征图执行第二特征解码操作以生成第二特征图；以及
11、对该第二特征图执行3d目标检测以输出3d目标检测框。
12、在本专利技术的一个实施例中，对该原始点云进行点云降采样进一步包括：
13、对该原始点云的各pillar内部的点云进行降采样；以及
14、当pillar内部的点云超过阈值时，执行局部随机化操作，其中：
15、该阈值为该pillar内降采样后的点数量n乘以膨胀系数k，该膨胀系数k的设定根据该原始点云数据的随机程度来调整，并且
16、该局部随机化操作是从第n+1个点开始，以设定概率p随机取代这n个点中的任意一个点。
17、在本专利技术的一个实施例中，该bev编码包括将bev下的一个pillar内的点云输入特征从3d空间压缩到2d bev空间。
18、在本专利技术的一个实施例中，对该bev特征图进行特征降采样进一步包括控制卷积层的步长以便对该bev特征图进行特定倍数的下采样，该特定倍数基于该步长。
19、在本专利技术的一个实施例中，该第一特征解码操作包括对该经降采样的bev特征图进行上采样，由此第一特征图包括经上采样的特征图，并且该第二特征解码操作包括对该经降采样的bev特征图进行池化、上采样和拼接，由此第二特征图包括经拼接的特征图，其中该第一特征图具有比该第二特征图更细的粒度。
20、在本专利技术的一个实施例中，对该第一特征图执行bev多标签语义分割进一步包括在相对于单标签网络结构不变的情况下在模型训练阶段采用多标签语义分割损失函数来监督点云语义分割任务的输出。
21、在本专利技术的一个实施例中，该方法进一步包括对该多标签bev语义网格结果进行多标签后处理以完成需要更细粒度的点云语义分割的后续任务，其中该后续任务包括路沿检测任务、非标准障碍物检测任务、以及地面/可行驶空间提取任务。
22、在本专利技术的上述实施例中，该多标签后处理包括基于该多标签bev语义网格结果和点空间信息进行细化处理，其中：
23、该路沿检测任务包括结合存在路沿的网格和路沿的高度跳变信息进行路沿线性提取以输出精细路沿，
24、该非标准障碍物检测任务包括结合障碍物语义和点的空间对地高度来输出障碍物特征点语义，其中当网格内存在多种障碍物语义时，结合聚类信息和相邻网格语义进行区分，并且
25、该地面/可行驶空间提取任务包括结合地面元素语义类别和pillar内最低点高度进行地面拟合，然后结合障碍物特征点和地面提取结果输出可行驶空间。
26、在本专利技术的上述实施例中，完成该后续任务进一步包括执行异构标签数据小批次交错训练，包括：
27、将训练数据分为具有3d目标检测标注的数据、具有点云语义分割标注的数据、同时具有两种标注的数据；以及
28、将这三种标注数据以一个batch为最小单位进行小批次轮询，直到数据量最大的数据组完成全部数据遍历。
29、在本专利技术的另一个实施例中，公开了一种用于面向低算力平台的激光多任务感知的系统，该系统包括：
30、点云降采样模块，其被配置成接收原始点云并对该原始点云进行点云降采样；
31、bev编码模块，其被配置成：
32、对经点云降采样的点云进行bev编码以生成bev特征图；以及
33、对该bev特征图进行特征降采样以生成经降采样的bev特征图；
34、特征解码模块，其被配置成：
35、对该经降采样的bev特征图执行第一特征解码操作以生成第一特征图；
36、对该第一特征图执行bev多标签语义分割以输出多标签bev语义网格结果；
37、对该经降采样的bev特征图执行第二特征解码操作以生成第二特征图；
38、以及
39、对该第二特征图执行3d目标检测以输出3d目标检测框。
40、在本专利技术的一个实施例中，该点云降采样模块被进一步配置成通过以下操作对该原始点云进行点云降采样：
4本文档来自技高网...
【技术保护点】
1.一种用于面向低算力平台的激光多任务感知的方法，所述方法包括：
2.如权利要求1所述的方法，其中对所述原始点云进行点云降采样进一步包括：
3.如权利要求1所述的方法，其中：
4.如权利要求1所述的方法，其中所述方法进一步包括对所述多标签BEV语义网格结果进行多标签后处理以完成需要更细粒度的点云语义分割的后续任务，其中所述后续任务包括路沿检测任务、非标准障碍物检测任务、以及地面/可行驶空间提取任务。
5.如权利要求4所述的方法，其中所述多标签后处理包括基于所述多标签BEV语义网格结果和点空间信息进行细化处理，其中：
6.如权利要求4所述的方法，其中完成所述后续任务进一步包括执行异构标签数据小批次交错训练，包括：
7.一种用于面向低算力平台的激光多任务感知的系统，所述系统包括：
8.如权利要求6所述的系统，其中所述点云降采样模块被进一步配置成通过以下操作对所述原始点云进行点云降采样：
9.如权利要求6所述的系统，其中：
10.如权利要求6所述的系统，其中所述系统进一步多标签后
11.如权利要求10所述的系统，其中所述多标签后处理模块被进一步配置成通过以下操作来进行所述多标签后处理：基于所述多标签BEV语义网格结果和点空间信息进行细化处理，其中：
12.如权利要求10所述的系统，其中所述多标签后处理模块被进一步配置成通过以下操作来完成所述后续任务：执行异构标签数据小批次交错训练，包括：
13.一种计算机可读存储介质，其上存储有用于面向低算力平台的激光多任务感知的指令，所述指令被处理器执行时实现权利要求1至6中任一项所述的方法。
...【技术特征摘要】
1.一种用于面向低算力平台的激光多任务感知的方法，所述方法包括：
2.如权利要求1所述的方法，其中对所述原始点云进行点云降采样进一步包括：
3.如权利要求1所述的方法，其中：
4.如权利要求1所述的方法，其中所述方法进一步包括对所述多标签bev语义网格结果进行多标签后处理以完成需要更细粒度的点云语义分割的后续任务，其中所述后续任务包括路沿检测任务、非标准障碍物检测任务、以及地面/可行驶空间提取任务。
5.如权利要求4所述的方法，其中所述多标签后处理包括基于所述多标签bev语义网格结果和点空间信息进行细化处理，其中：
6.如权利要求4所述的方法，其中完成所述后续任务进一步包括执行异构标签数据小批次交错训练，包括：
7.一种用于面向低算力平台的激光多任务感知的系统，所述系统包括：
8.如权利要求6所述的系统，其中所述点云降采样模块被进一步配置成通过以下...
【专利技术属性】
技术研发人员：汪明明，崔峰，王建强，苏煜，朱宏锋，
申请(专利权)人：上海蚕丛机器人科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。