一种优化小目标的点云三维目标检测方法和系统技术方案

本发明专利技术公开了一种优化小目标的点云三维目标检测方法和系统，首先采集点云数据，进行过滤后再体素化得到体素特征；构造并训练融合神经网络和目标检测神经网络，待测原始点云数据基于训练好的融合特征神经网络和目标检测神经网络进行推理测试，目标检测神经网络的输出为三维目标检测结果。其中，目标检测神经网络包括骨干网络、基于Anchor Free的检测头和后处理。本发明专利技术采用基于Bev图和Voxel结合的方法，保证了效率的同时，大幅度提升小目标检测精度。精度。精度。

【技术实现步骤摘要】
一种优化小目标的点云三维目标检测方法和系统


[0001]本专利技术属于目标检测
，尤其涉及一种优化小目标的点云三维目标检测方法和系统。

技术介绍

[0002]目标检测技术尤其是基于点云的三维目标检测技术是环境感知中最重要的任务之一。现阶段基于点云的目标检测方法包括基于Bev图的三维目标检测、基于Voxel的三维目标检测、基于3D卷积的三维目标检测以及基于PointNet的三维目标检测等。后两种方法的经典方法包括《PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud》、《PV
‑
RCNN: Point
‑
Voxel Feature Set Abstraction for 3D Object Detection》等，具有精度更高，但具有效率较低，算子复杂不容易量化部署等缺点。基于Bev图的三维目标检测以及基于Voxel的三维目标检测的经典方法包括《PointPillars: Fast Encoders for Object Detection from Point Clouds》、《SE
‑
SSD: Self
‑
Ensembling Single
‑
Stage Object Detector From Point Cloud》、专利CN112731339A《一种基于激光点云的三维目标检测系统及其检测方法》、CN112288709A《一种基于点云的三维目标检测方法》等，上述方法基于体素化的方法效率很高，基于汽车等大目标检测精度较高，基于行人、交通锥等小目标精度较差。

技术实现思路

[0003]本专利技术的目的在于针对现有技术的不足，提供一种优化小目标的点云三维目标检测方法和系统。
[0004]本专利技术的目的是通过以下技术方案来实现的：一种优化小目标的点云三维目标检测方法，包括以下步骤：（1）采集点云数据PC1，进行过滤得到点云数据PC2，再进行体素化得到体素特征T_pre；（2）构造融合神经网络，其中融合神经网络是对每个网格的体素进行特征融合，采用尺寸为M_fusion*1的条形卷积核组成的卷积神经网络进行特征融合，输入为T_pre；（3）构造目标检测神经网络，输入为融合神经网络的输出T_fusion，输出为三维目标检测结果，其中目标检测神经网络减少下采样算子，提高检测头检测特征的分辨率，提升小目标检测的召回率和准确率；（4）训练步骤（2）构造的融合特征神经网络和步骤（3）构造的目标检测神经网络；（5）基于步骤（4）训练好的融合特征神经网络和目标检测神经网络，对待测原始点云数据进行推理测试，得到最终三维目标检测结果。
[0005]进一步地，步骤（1）包括：（1.1）将点云数据PC1按照检测范围进行过滤，得到过滤后的点云数据PC2；（1.2）将点云数据PC2先按照X、Y轴网格化，再按照Z轴分层；其中，网格化后的包围
盒矩形的形状大小为H*W；每个网格包含K层，每层记为一个体素；每个体素内的特征包含体素内点云的均值x_v_ave、y_v_ave、z_v_ave，体素内点云相对于所在网格的密度D_grid和体素内点云的全局密度D_global；其中，x_v_ave、y_v_ave、z_v_ave为点云X、Y、Z轴坐标分别求和再除以体素内点云点的个数N_voxel；得到体素特征T_pre，形状大小为5*K*(H*W)。
[0006]进一步地，步骤（1.2）中：D_grid= Min( F_M(N_voxel+ 1) / F_M(N_grid)， 1)D_global= Min( F_M(N_voxel+ 1) / F_M(N_laser)， 1)其中，N_grid为网格内点云点的个数，F_M( )为单调正函数；N_laser为采集点云数据的传感器的线数。
[0007]进一步地，步骤（2）中，融合神经网络由卷积核尺寸为M_fusion*1的一系列卷积层和一个形状大小为K*1的池化层组成；融合神经网络的输出为形状大小为C_fusion*H*W的特征向量T_fusion；其中，C_fusion为预设的特征通道数。
[0008]进一步地，步骤（3）中，目标检测神经网络包括骨干网络、检测头和后处理；骨干网络的第一层是形状大小为C_fusion*H_f1*W_f1*C_f1的卷积核；其中，H_f1、W_f1、C_f1分别为卷积核的长、宽和输出通道数；骨干网络中的下采样倍数为1倍或者2倍；检测头的输出包含目标的中心点坐标center_u,center_v、目标中心点偏移量center_u_offset,center_v_offset、目标的长宽高l,w,h、目标中心点在C1坐标系下的Z轴坐标center_z、目标航向角yaw的正余弦值sin_yaw,cos_yaw；其中，目标航向角yaw为目标朝向与C1坐标系的X轴的夹角，其中C1坐标系为以相对于大地的固定预设坐标原点的笛卡尔正交坐标系；T_fusion输入目标检测神经网络，经过骨干网络、3D检测头和后处理，得到K_detec*9的特征张量T_detec，作为三维目标检测结果；其中，K_detec为目标检测置信度超过预设阈值的目标的个数；9为目标三维信息的特征的长度；目标三维信息的特征包括目标中心点的X,Y,Z轴坐标、目标的长宽高、目标的航向角、目标的类别以及目标的置信度分数。
[0009]进一步地，目标检测神经网络的检测头为基于Anchor Free的检测头。
[0010]进一步地，步骤（4）中，针对于目标中心点的检测采用Focal_loss损失函数；针对目标航向角的检测，回归其正弦值与余弦值，并采用L1_loss损失函数；针对目标中心点的偏移量的回归采用L1_Loss损失函数；针对目标的长宽高以及Z轴坐标的回归采用SmoothL1_loss损失函数；不同检测分支的损失分配不同的权重。
[0011]进一步地，步骤（5）包括：将待测原始点云数据经过步骤（1）的预处理后，得到特征张量T_pre*以及Index_grid；其中，Index_gird的形状大小为H*W，记录点云网格化后的索引；T_pre*的形状大小为5*K*HW_use，HW_use为包含点云的网格的数量；再将T_pre*送入步骤（4）训练好的融合特征神经网络，得到C_fusion*HW_use的特征张量T_fusion*，通过Index_gird将特征张量T_fusion*映射到特征张量T_fusion中，再送入步骤（4）训练好的目标检测神经网络，得到最终三维目标检测结果。
[0012]一种优化小目标的点云三维目标检测系统，包括：点云预处理模块、融合特征神经网络模块、目标检测神经网络模块；所述点云预处理模块的输入为点云数据，对其进行过滤
和体素化后输出特征T_pre；所述融合特征神经网络模块包括卷积神经网络，输入为点云预处理模块的输出，输出为特征张量T_fusion；所述目标检测神经网络模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种优化小目标的点云三维目标检测方法，其特征在于，包括以下步骤：（1）采集点云数据PC1，进行过滤得到点云数据PC2，再进行体素化得到体素特征T_pre；（2）构造融合神经网络，其中融合神经网络是对每个网格的体素进行特征融合，采用尺寸为M_fusion*1的条形卷积核组成的卷积神经网络进行特征融合，输入为T_pre；（3）构造目标检测神经网络，输入为融合神经网络的输出T_fusion，输出为三维目标检测结果，其中目标检测神经网络减少下采样算子，提高检测头检测特征的分辨率，提升小目标检测的召回率和准确率；（4）训练步骤（2）构造的融合特征神经网络和步骤（3）构造的目标检测神经网络；（5）基于步骤（4）训练好的融合特征神经网络和目标检测神经网络，对待测原始点云数据进行推理测试，得到最终三维目标检测结果。2.如权利要求1所述优化小目标的点云三维目标检测方法，其特征在于，步骤（1）包括：（1.1）将点云数据PC1按照检测范围进行过滤，得到过滤后的点云数据PC2；（1.2）将点云数据PC2先按照X、Y轴网格化，再按照Z轴分层；其中，网格化后的包围盒矩形的形状大小为H*W；每个网格包含K层，每层记为一个体素；每个体素内的特征包含体素内点云的均值x_v_ave、y_v_ave、z_v_ave，体素内点云相对于所在网格的密度D_grid和体素内点云的全局密度D_global；其中，x_v_ave、y_v_ave、z_v_ave为点云X、Y、Z轴坐标分别求和再除以体素内点云点的个数N_voxel；得到体素特征T_pre，形状大小为5*K*(H*W)。3.如权利要求2所述优化小目标的点云三维目标检测方法，其特征在于，步骤（1.2）中：D_grid= Min( F_M(N_voxel+ 1) / F_M(N_grid)， 1)D_global= Min( F_M(N_voxel+ 1) / F_M(N_laser)， 1)其中，N_grid为网格内点云点的个数，F_M( )为单调正函数；N_laser为采集点云数据的传感器的线数。4.如权利要求1所述优化小目标的点云三维目标检测方法，其特征在于，步骤（2）中，融合神经网络由卷积核尺寸为M_fusion*1的一系列卷积层和一个形状大小为K*1的池化层组成；融合神经网络的输出为形状大小为C_fusion*H*W的特征向量T_fusion；其中，C_fusion为预设的特征通道数。5.如权利要求4所述优化小目标的点云三维目标检测方法，其特征在于，步骤（3）中，目标检测神经网络包括骨干网络、检测头和后处理；骨干网络的第一层是形状大小为C_fusion*H_f1*W_f1*C_f1的卷积核；其中，H_f1、W_f1、C_f1分别为卷积核的长、宽和输出通道数；骨干网络中的下采样倍数为1倍或者2倍；检测头的输出包含...

【专利技术属性】
技术研发人员：马也驰，华炜，邱奇波，张顺，
申请(专利权)人：之江实验室，
类型：发明
国别省市：