【技术实现步骤摘要】
本专利技术涉及基于计算机视觉的三维目标检测，特别是涉及一种基于精细化特征提取的图像点云三维目标检测方法。
技术介绍
1、近年来，自动驾驶因其在减轻驾驶员负担、提高行车安全方面的潜力而受到越来越多的关注。在现代自动驾驶汽车系统中，可将其分为三个模块：感知、规划和控制。其中，感知模块负责环境感知和定位，其输出的感知结果为下游规划和控制模块提供可靠的数据源。感知模块包括许多常见的视觉任务，例如目标检测和分割、车道线检测、语义和实例分割等。在这些视觉任务中，三维目标检测是感知系统最不可或缺的任务之一，其旨在检测驾驶环境中关键目标的位置、大小和类别，最终以三维目标检测框的形式输出。
2、而三维目标检测任务常用的传感器有激光雷达和摄像头，激光雷达可获取360度周遭视野，以及准确的深度信息，最终以点云形式呈现，每个点包含空间坐标(x,y,z)和反射强度r；摄像头则以包含语义信息的rgb图像呈现周围环境。最初，仅使用基于激光雷达或摄像头的单模态方法迅速发展，然而，仅使用点云或图像的这种模式有其固有的缺陷，因为点云无法提供目标互相遮挡的信息以及纹理信息，在远距离处更是点云稀疏；相反，基于图像的方法提供了充足的语义信息，但缺乏几何信息。因此，为了解决单一模态的固有限制，已有大量研究学者开展了激光雷达与摄像头的图像点云融合三维目标检测方法。
3、基于图像点云融合的三维目标检测方法大致可以分为三类，前融合，中融合和后融合。(1)前融合，即在数据层面融合图像和点云。例如mv3d融合了rgb图像和点云鸟瞰图和点云前视图，通过特征提取
4、在现有点云图像融合模型中，pointaugmenting提出利用图像特征而非像素级语义信息，通过相机和激光雷达外参矩阵投影点云到图像平面，实现对应点云体素特征与图像特征的融合。但其缺陷在于。这种投影方式产生的对齐关系存在多值映射和未能充分利用图像特征的缺陷，融合精度低。同时，其基线模型centerpoint在降维三维体素特征得到二维bev特征时，使用的是展平操作，这样会丢失大量三维几何信息，不利于后续检测框的回归。
技术实现思路
1、为了解决现有图像点云融合三维目标检测在特征提取时存在的粗粒度问题，本专利技术提出一种基于精细化特征提取的图像点云三维目标检测方法，通过可变形交叉注意力机制聚合点云领域内的图像特征，构建三维特征空间分布权重图，自适应聚合高度维度特征，并引入一条额外的多尺度bev特征融合分支，实现了更优的检测效果。
2、本专利技术至少通过如下技术方案之一实现。
3、一种基于精细化特征提取的图像点云三维目标检测方法，包括以下步骤：
4、获得多个环视相机采集的二维图像并对所述二维图像进行特征提取，得到多个二维图像特征图；
5、获得点云图并使用体素编码网络对所述点云图进行特征编码，得到点云体素特征；
6、根据点云图像空间投影关系，使用可变形交叉注意力机制，提取点云体素中心点，并投影至图像后对应点附近的二维图像特征；
7、将所述点云体素特征与相对应的所述二维图像特征相加，得到融合后的多模态特征；
8、将所述多模态特征送入点云三维目标检测骨干网络，在降采样的同时，引入特征权重图聚合高度维度特征，得到多个不同尺度的bev特征；
9、使用卷积和相加操作将所述多个不同尺度的bev特征融合至特定尺度，得到融合后的bev特征；
10、将融合后的bev特征送入rpn网络，生成高分辨率特征图；
11、根据高分辨率特征图生成三维目标检测框，得到目标的具体位置和类别。
12、进一步地，所述对二维图像进行特征提取，得到多个二维图像特征图，具体包括：
13、使用coco数据集上预训练好的deeplabv3检测器的resnet50骨干网络提取所述二维图像的图像特征。
14、进一步地，对点云图使用体素编码网络得到点云体素特征，具体包括：
15、将点云所在空间划分成大小相同的体素，将点云数据按照其坐标分配到对应的体素中，根据点云的稀疏性，体素为不包含点云的空体素和包含点云的体素，对包含点云的体素使用稀疏三维卷积提取体素特征。
16、进一步地，将点云图划分为多个体素，在对体素进行特征编码和特征提取，得到每个体素点云的特征，具体包括：
17、将所述点云图所占的整个三维空间划分成多个体素，并根据点云的三维坐标进行空间归类，将点云归类到相应的体素内，
18、筛选点云数据，在三维视角下将整个空间划分为多个体素，划分的分辨率为d×w×h，其中，d、w、h分别表示被划分空间的深度，宽度和高度；根据三维坐标对点云进行体素归类，将点云归类到相应的体素内，只保留点云点数大于零的非空体素；
19、对于所述体素中超过点数t的体素，随机筛选出t个点云，对于不足点数t的体素，用零填充，实现不规则点云的结构化处理；对于超过点数t的体素，随机筛选出t个点，对于不足点数t的体素，用零填充；
20、聚合所述体素内所有点，用点云坐标均值表示初始体素特征，使用稀疏三维卷积块提取体素特征fp(n,c)，其中n表示划分体素内有效点云点数，c表示特征通道数。
21、进一步地，根据点云图像空间投影关系，提取点云体素中心点投影至图像后对应点附近的二维图像特征，并与体素特征相加得到多模态特征，具体包括：
22、根据标定好的激光雷达外参和相机内外参，得到点云-图像的坐标变换矩阵；
23、根据坐标变换矩阵，将体素中心点的点云坐标投影至对应的图像，得到对应图像的坐标位置，利用双线性插值获取对应坐标位置的图像特征；
24、根据所述图像特征生成注意力矩阵和偏移量，利用双线性插值获取图像偏移量位置处的图像特征，生成图像特征矩阵；
25、将所述注意力矩阵作用于图像特征矩阵，并经过一层全连接层，得到加权聚合后的图像特征；
26、将点云体素特征与相对应的所述图像特征相加，得到融合后的多模态特征。
27、进一步地，将所述多模态特征送入点云三维目标检测骨干网络，在降采样的同时，引入特征权重图聚合高度维度特征，得本文档来自技高网...
【技术保护点】
1.一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，所述对二维图像进行特征提取，得到多个二维图像特征图，具体包括：
3.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，对点云图使用体素编码网络得到点云体素特征，具体包括：
4.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，将点云图划分为多个体素，在对体素进行特征编码和特征提取，得到每个体素点云的特征，具体包括：
5.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，根据点云图像空间投影关系，提取点云体素中心点投影至图像后对应点附近的二维图像特征，并与体素特征相加得到多模态特征，具体包括：
6.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，将所述多模态特征送入点云三维目标检测骨干网络，在降采样的同时，引入特征权重图聚合高度维
7.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，使用卷积和相加操作将所述多个不同尺度的BEV特征融合至特定尺度，得到融合后的BEV特征，具体包括：
8.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，将融合后的BEV特征送入RPN网络，生成高分辨率特征图，具体包括：
9.根据权利要求1～8任一项所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，根据高分辨率特征图生成三维目标检测框，得到目标的具体位置和类别，具体包括：
10.根据权利要求9所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，每个大类的检测结果包括表征目标中心点位置及种类的热图、目标中心点的水平偏移量、目标中心点的高度、目标的尺寸和朝向。
...【技术特征摘要】
1.一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，所述对二维图像进行特征提取，得到多个二维图像特征图，具体包括：
3.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，对点云图使用体素编码网络得到点云体素特征，具体包括：
4.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，将点云图划分为多个体素，在对体素进行特征编码和特征提取，得到每个体素点云的特征，具体包括：
5.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在于，根据点云图像空间投影关系，提取点云体素中心点投影至图像后对应点附近的二维图像特征，并与体素特征相加得到多模态特征，具体包括：
6.根据权利要求1所述的一种基于精细化特征提取的图像点云三维目标检测方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。