基于多尺度ROI投影的物体检测任务BEV特征提取方法及系统技术方案

本发明专利技术公开了基于多尺度ROI投影的物体检测任务BEV特征提取方法及系统，属于机器视觉技术领域。该方法包括将原始点云进行转换操作得到增强点云，利用3D骨干网络分别对原始点云和增强点云进行BEV特征转换；根据待检测物体的目标尺度将原始BEV特征图和增强BEV特征图划分成多个子区域；计算每个子区域的ROI得分，基于ROI得分确定ROI候选子区域，将对应BEV特征确定为对比学习实例；利用对比实例进行物体检测模型预训练，对预训练模型进行优化更新。本发明专利技术能够使得BEV空间上的ROI区域与物体检测任务更加相关，有利于大场景点云对比学习模型的训练，减少了人工标注成本。减少了人工标注成本。减少了人工标注成本。

【技术实现步骤摘要】
基于多尺度ROI投影的物体检测任务BEV特征提取方法及系统


[0001]本专利技术涉及机器视觉
，尤其涉及基于多尺度ROI投影的物体检测任务BEV特征提取方法及系统。

技术介绍

[0002]激光雷达传感器可以提供比传统二维相机更高的定位精度，使其成为自动驾驶视觉感知系统的一种理想的补充。基于激光雷达的三维(3D)物体检测可以从原始激光雷达点云中估计出物体的位置、方向和语义类别，近年来在产业中得到了广泛应用。
[0003]然而，室外激光雷达点云具有稀疏性、遮挡和分布不均等自然属性。使得从大场景点云中进行物体检测是存在挑战性的。在近年来公开的大规模自动驾驶数据集(如Waymo、nuScenes和KITTI等)的基础上，基于激光雷达点云的3D检测任务取得了巨大进展。然而，传统的3D检测器都是建立在足够规模的标注数据之上的。尽管随着激光雷达的普及，3D数据采集变得更加容易，但大规模点云数据的精准标注则需要耗费大量人工成本和时间成本。而且即使采用这种高成本的标注数据进行3D检测器的训练，不同地理环境或不同传感器配置所导致的雷达数据域差异也会导致在一个数据集上训练的检测器通常在另一个数据集上表现欠佳。因此，如何从大量未标注的室外点云数据中学习到具有泛化性、迁移性的点云特征，从而提高物体检测精度，是实现自动驾驶的安全性的关键问题。
[0004]为了高效利用大规模未标注数据，自监督学习提供了一种可行的技术方案。目前，面向大场景点云的自监督学习通常有两种范式，即基于重构的方法和基于对比学习的方法。理想的自监督学习技术应当能够有效地提高少量有标注数据的下游任务性能，并且在未标注的同类数据上实现较合理的迁移性能。
[0005]其中，在基于对比学习的方法中需要考虑两个关键问题，即如何确定对比学习中的对比实例，以及如何提高检测器在未标注数据上的定位精度。在对比实例的确定方面，现有的对比学习方法通常将整个视图(例如整张图像或整场点云)描述为一个全局特征，这类方法更适合于物体实例级别的分类任务。对于户外检测任务，它需要从稀疏和不均匀分布的点云中定位和识别出各种运动物体。因而，它需要更加细粒度的区分实例。已有的基于对比学习的大场景点云预训练方法通常从原始输入空间(坐标空间)中采集子区域作为对比实例。具体而言，将原始点云划分为具有固定大小和固定数量的实例(如球状的或长方体状的)。然而，具有固定尺寸的坐标空间实例难以平衡局部细节和全场景信息，并且可能忽略不同子区域之间的语义关联性。
[0006]在提高模型的检测精度方面，现有的面向大场景点云的对比学习没有考虑到与检测任务相关的预训练目标。这类方法可以学习到有区分性的点云特征，但其学习到的特征与具体的物体检测任务关系并不明显。其次，随机从原始空间采集子区域作为对比样本的方法可能给模型的训练带来模糊性干扰。因为具有相似几何特征的子区域也可能被分配为负样本；并且随机采集样本的方法很可能采集到大量简单的背景样本，不利于挖掘到有助于训练的困难样本。此外，固定尺寸和固定数量的样本定义难以平衡大尺度目标(如汽车)
与细粒度目标(如行人)的检测。

技术实现思路

[0007]本专利技术提出了一种针对大场景点云物体检测的基于多尺度ROI投影的物体检测任务BEV特征提取方法，旨在提供面向自动驾驶场景的物体检测预训练框架，减少人工标注成本，并且使3D检测器在不同自动驾驶数据集上更加有效。
[0008]本专利技术在第一方面提供了一种基于多尺度ROI投影的物体检测任务BEV特征提取方法，包括：
[0009]将原始点云进行转换操作得到增强点云，利用3D骨干网络分别对所述原始点云和所述增强点云进行BEV特征转换，得到原始BEV特征图和增强BEV特征图；
[0010]根据待检测物体的目标尺度，将原始BEV特征图和增强BEV特征图划分成多个子区域，所述子区域的大小与所述目标尺度正相关；
[0011]计算每个子区域的ROI得分，基于所述ROI得分，从所述子区域中确定ROI候选子区域，将所述ROI候选子区域对应的BEV特征确定为对比学习中的对比实例；
[0012]利用所述对比实例进行物体检测模型预训练，并基于联合损失函数对预训练的模型进行优化更新。
[0013]优选地，所述计算每个子区域的ROI得分，基于所述ROI得分，从所述子区域中确定ROI候选子区域，进一步包括：
[0014]将所述原始BEV特征图和增强BEV特征图中分别输入投影层和全连接层，得到每个子区域的ROI得分，分别形成原始得分图和增强得分图(S
o
，S
a
)，获取所述得分图(S
o
，S
a
)中最大的K个ROI得分对应的子区域，作为所述ROI候选子区域，其中K为预定义的候选子区域数量。
[0015]优选地，确定所述物体检测模型的联合损失函数，进一步包括：
[0016]计算所述原始得分图和增强得分图(S
o
，S
a
)之间的二元交叉熵损失，作为ROI损失函数：
[0017]L
ROI
＝BCE(S
o
，S
a
)。
[0018]根据所述对比实例计算对比损失函数L
CL
：
[0019][0020]其中为所述原始BEV特征图中的对比实例，为所述原始BEV特征图中的对比实例，为预测器对的预测后的实例；
[0021]根据所述ROI损失函数和对比损失函数来计算所述物体检测模型的所述联合损失函数：
[0022]Loss＝αL
ROI
+βL
CL
；
[0023]其中α，β为所述联合损失函数的平衡参数。
[0024]本专利技术在第二方面提供了一种基于多尺度ROI投影的物体检测任务BEV特征提取系统，包括：
[0025]BEV特征提取模块，用于将原始点云进行转换操作得到增强点云，利用3D骨干网络
分别对所述原始点云和所述增强点云进行BEV特征转换，得到原始BEV特征图和增强BEV特征图；
[0026]多尺度ROI投影模块，根据待检测物体的目标尺度，将原始BEV特征图和增强BEV特征图划分成多个子区域，所述子区域大小与所述目标尺度正相关；
[0027]ROI区域感知对比学习模块，计算每个子区域的ROI得分，基于所述ROI得分，从所述子区域中确定ROI候选子区域，将所述ROI候选子区域对应的BEV特征确定为对比学习中的对比实例；
[0028]模型训练更新模块，利用所述对比实例进行物体检测模型预训练，并基于联合损失函数对预训练的模型进行优化更新。
[0029]本专利技术又一方面提供了一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行前述第一方面的方法。
[0030]本专利技术又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度ROI投影的物体检测任务BEV特征提取方法，其特征在于，包括：将原始点云进行转换操作得到增强点云，利用3D骨干网络分别对所述原始点云和所述增强点云进行BEV特征转换，得到原始BEV特征图和增强BEV特征图；根据待检测物体的目标尺度，将原始BEV特征图和增强BEV特征图划分成多个子区域，所述子区域的大小与所述目标尺度正相关；计算每个子区域的ROI得分，基于所述ROI得分，从所述子区域中确定ROI候选子区域，将所述ROI候选子区域对应的BEV特征确定为对比学习中的对比实例；利用所述对比实例进行物体检测模型预训练，确定所述物体检测模型的联合损失函数，并基于所述联合损失函数对预训练的模型进行优化更新。2.根据权利要求1所述的基于多尺度ROI投影的物体检测任务BEV特征提取方法，其特征在于，所述计算每个子区域的ROI得分，基于所述ROI得分，从所述子区域中确定ROI候选子区域，进一步包括：将所述原始BEV特征图和增强BEV特征图中分别输入投影层和全连接层，得到每个子区域的ROI得分，分别形成原始得分图和增强得分图(S
o
，S
a
)，获取所述得分图(S
o
，S
a
)中最大的K个ROI得分对应的子区域，作为所述ROI候选子区域，其中K为预定义的候选子区域数量。3.根据权利要求2所述的基于多尺度ROI投影的物体检测任务BEV特征提取方法，其特征在于，所述确定所述物体检测模型的联合损失函数，进一步包括：计算所述原始得分图和增强得分图(S
o
，S
a
)之间的二元交叉熵损失，作为ROI损失函数：L
ROI
＝BCE(S
o
，S
a
)；根据所述对比实例计算对比损失函数L
CL
：其中为所述原始BEV特征图中的对比实例，为所述原始BEV特征图中的对比实例，为预测器对的预测后的实例；根据所述ROI损失函数和对比损失函数来计算所述联合损失函数：Loss＝αL
ROI
+βL
CL
；其中α，β为所述联合损失函数的平衡参数。4.一种基于多尺度ROI投影的物体检测任务BEV特征提取系统，其特征在于，包括：BEV特征提取模块，用于将原始点云进行转换操作得到增强点云，利用3D骨干网络分别对所述原始点云和所述增强点云进行BEV特征转换，得...

【专利技术属性】
技术研发人员：唐路路，韩乔岳，崔玉峰，黄铁军，
申请(专利权)人：北京智源人工智能研究院，
类型：发明
国别省市：