一种基于前景强化知识蒸馏的点云3D目标检测方法技术

本发明专利技术公开了一种基于前景强化知识蒸馏的点云3D目标检测方法。首先，构建已知数据集中各帧点云对应的网络输入点云；接着构建PAD

【技术实现步骤摘要】
一种基于前景强化知识蒸馏的点云3D目标检测方法


[0001]本专利技术涉及目标检测
的一种点云3D目标检测方法，特别是涉及了一种基于前景强化知识蒸馏的点云3D目标检测方法。

技术介绍

[0002]自动驾驶场景的目标检测是无人车辆感知环境的重要任务。随着深度学习技术的发展，目标检测的方法有了较大的改进。从之前的人工提取特征转变成卷积神经网络自动提取信息，通过端到端的方式极大的提升了检测的质量。激光雷达因其能够提供精确的三维信息，成为3D目标检测中广泛使用的传感器。
[0003]基于单帧点云的3D目标检测方案按照对点云编码方式的不同可分成三个类别：基于空间体素的检测、基于原始点云的检测、点云
‑
体素融合的检测。空间体素的方案包括使用3D卷积的VoxelNet，使用稀疏3D卷积的SECOND，高度上不进行区分的体素柱编码方案PointPillars；基于空间体素的检测方案包括融合点云分割的二阶段检测网络PointRCNN，融合欧氏空间距离和特征空间距离采样策略的3DSSD，融合类别感知采样和质心感知采样两种面向任务采样策略的IA
‑
SSD；点云
‑
体素融合的检测方案包括基于体素编码获得高质量3D候选框，再利用原始点云获得更加精细的局部特征的PV
‑
RCNN，添加前景分割、目标中心点估计两个辅助任务使主干网络具有较好的结构感知能力的SA
‑
SSD，引入图神经网络建模局部邻域图中目标边界关联性的BADet。
[0004]激光雷达点云具有稀疏性，对距离较远、遮挡严重目标扫到的点云数量较少，检测器对这类困难目标的漏检较为严重。基于此问题，目前主要有两种解决方案：一是融合多传感器的多模态检测器，如MV3D、PointPainting、DeepFusion和TransFusion等。提取图像特征运算量较大导致实时性较差，多模态特征的融合又对传感器标定质量有较高的要求；二是基于时序点云输入的多帧方案，这类算法能够一定程度弥补激光雷达点云稀疏的问题，同时不依赖于其他传感器。通过合理的设计网络，多帧检测器的实时性也能得到保证，在自动驾驶场景落地前景较大。此外，多帧输入包含场景中的运动信息，合理的提取运动特征可以实现对未来时刻的预测，实现多个任务的相互促进。
[0005]YOLO4D在YOLO3D的基础上使用LSTM结构提取多帧特征，FAF将历史帧的点云通过坐标变换对齐到当前帧，之后将时序点云分别体素化并沿着时间的维度拼接，变成4D的张量；PointFlowNet将前后两帧的特征级联输入到后续的卷积层中，3D
‑
MAN使用注意力机制融合时序帧的候选框，SDP
‑
Net使用场景流估计任务输出的像素级偏移量指导特征搬移对齐。以上方法需要使用时序结构或搬移对齐操作，网络结构较复杂，实时性弱。

技术实现思路

[0006]为了解决
技术介绍
中存在的问题，本专利技术的目的在于提供了一种基于前景强化知识蒸馏的点云3D目标检测方法，适用于实时检测系统。本专利技术使用单帧检测网络框架，使用前景对齐点云提取的丰富特征指导未对齐点云提取特征，能够有效克服单帧点云固有的稀
疏性缺陷，对遮挡严重、距离较远的困难目标的检测效果较好，整体检测性能优于对应的单帧检测器。网络参数量少，实时性强。
[0007]本专利技术采用的技术方案如下：
[0008]1)构建已知数据集中各帧点云对应的网络输入点云；
[0009]2)构建前景点云对齐蒸馏网络PAD
‑
Net，前景点云对齐蒸馏网络PAD
‑
Net由教师检测网络、学生检测网络和特征蒸馏模块组成，教师检测网络和学生检测网络之间通过特征蒸馏模块相连，将已知数据集中各帧点云对应的网络输入点云输入到前景点云对齐蒸馏网络PAD
‑
Net的教师检测网络和学生检测网络中对前景点云对齐蒸馏网络PAD
‑
Net进行训练，获得训练好的前景点云对齐蒸馏网络，将训练好的前景点云对齐蒸馏网络中的学生检测网络作为最终前景点云检测网络；
[0010]3)激光雷达实时采集点云并叠加保存的历史时刻点云，获得实时输入点云序列，将实时输入点云序列输入最终前景点云检测网络中，预测获得当前时刻所有目标的类别和定位信息。
[0011]所述1)中，对于已知数据集的每帧点云，对每帧点云与对应的历史帧点云进行标注关联，计算获得当前帧点云中目标的水平平移和水平旋转，根据目标的水平平移和水平旋转将历史帧点云中目标点云经过刚体变换对齐后添加到当前帧点云中，以及将历史帧点云中背景点云直接添加到当前帧点云后，获得当前帧点云对应的教师检测网络输入点云序列；
[0012]将历史帧点云直接添加至当前帧点云中后，获得当前帧点云对应的学生检测网络输入点云序列。
[0013]所述教师检测网络和学生检测网络的结构相同，学生检测网络包括体素化模块、特征提取模块和检测模块，学生检测网络的输入作为体素化模块的输入，体素化模块经特征提取模块后与检测模块相连，特征提取模块的输出输入到特征蒸馏模块中，检测模块的输出作为学生检测网络的输出。
[0014]所述特征蒸馏模块中，首先，将学生检测网络的特征提取模块的输出经卷积层后，获得蒸馏最终特征图，再根据学生检测网络的输出中的回归值，生成学生检测网络的输出中置信度大于预设锚框置信度阈值th
anchor_keep
的锚框对应的3D包围框，当前3D包围框与当前帧点云检测真值框级联后获得特征蒸馏框，接着将特征蒸馏框投影到鸟瞰视角，获得鸟瞰蒸馏框，鸟瞰蒸馏框所在区域作为重点区域，将蒸馏最终特征图上位于鸟瞰蒸馏框内的像素点的特征蒸馏损失权重置为1，否则置为0，由所有为1的特征蒸馏损失权重组成重点区域权重，利用重点区域权重对蒸馏最终特征图进行特征蒸馏。
[0015]所述学生检测网络的总损失函数由目标分类损失函数、参数定位回归损失函数和特征蒸馏损失函数组成，公式如下：
[0016][0017]其中，L表示学生检测网络总损失，M为分类为正负样本的锚框的数量，L
cls，m
为第m个锚框的分类损失，N为分类为正样本的锚框的数量，L
loc，n
为第n个锚框的回归损失，P为重点区域像素点的数量，L
feat_dist，p
为第p个像素点的特征距离损失，λ0为当前帧目标分类损失
可调权重，λ1为当前帧目标回归损失可调权重，λ2为特征蒸馏损失可调权重。
[0018]所述第m个锚框的分类损失的计算公式如下：
[0019][0020]其中，α和γ为第一、第二可调参数；c
obj
为锚框分类置信度，gt
anchor
为置信度对应的监督信号；若锚框为正样本，gt
anchor
＝1，否则gt
anchor
＝0。
[0021]所述第n个锚框的回归损失包括质心三维坐标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于前景强化知识蒸馏的点云3D目标检测方法，其特征在于，包括如下步骤：1)构建已知数据集中各帧点云对应的网络输入点云；2)构建前景点云对齐蒸馏网络PAD
‑
Net，前景点云对齐蒸馏网络PAD
‑
Net由教师检测网络、学生检测网络和特征蒸馏模块组成，教师检测网络和学生检测网络之间通过特征蒸馏模块相连，将已知数据集中各帧点云对应的网络输入点云输入到前景点云对齐蒸馏网络PAD
‑
Net的教师检测网络和学生检测网络中对前景点云对齐蒸馏网络PAD
‑
Net进行训练，获得训练好的前景点云对齐蒸馏网络，将训练好的前景点云对齐蒸馏网络中的学生检测网络作为最终前景点云检测网络；3)激光雷达实时采集点云并叠加保存的历史时刻点云，获得实时输入点云序列，将实时输入点云序列输入最终前景点云检测网络中，预测获得当前时刻所有目标的类别和定位信息。2.根据权利要求1所述的一种基于前景强化知识蒸馏的点云3D目标检测方法，其特征在于，所述1)中，对于已知数据集的每帧点云，对每帧点云与对应的历史帧点云进行标注关联，计算获得当前帧点云中目标的水平平移和水平旋转，根据目标的水平平移和水平旋转将历史帧点云中目标点云经过刚体变换对齐后添加到当前帧点云中，以及将历史帧点云中背景点云直接添加到当前帧点云后，获得当前帧点云对应的教师检测网络输入点云序列；将历史帧点云直接添加至当前帧点云中后，获得当前帧点云对应的学生检测网络输入点云序列。3.根据权利要求1所述的一种基于前景强化知识蒸馏的点云3D目标检测方法，其特征在于，所述教师检测网络和学生检测网络的结构相同，学生检测网络包括体素化模块、特征提取模块和检测模块，学生检测网络的输入作为体素化模块的输入，体素化模块经特征提取模块后与检测模块相连，特征提取模块的输出输入到特征蒸馏模块中，检测模块的输出作为学生检测网络的输出。4.根据权利要求1所述的一种基于前景强化知识蒸馏的点云3D目标检测方法，其特征在于，所述特征蒸馏模块中，首先，将学生检测网络的特征提取模块的输出经卷积层后，获得蒸馏最终特征图，再根据学生检测网络的输出中的回归值，生成学生检测网络的输出中置信度大于预设锚框置信度阈值th
anchor_keep
的锚框对应的3D包围框，当前3D包围框与当前帧点云检测真值框级联后获得特征蒸馏框，接着将特征蒸馏框投影到鸟瞰视角，获得鸟瞰蒸馏框，鸟瞰蒸馏框所在区域作为重点区域，将蒸馏最终特征图上位于鸟瞰蒸馏框内的像素点的特征蒸馏损失权重置为1，否则置为0，由所有为1的特征蒸馏损失权重组成重点区域权重，利用重点区域权重对蒸馏最终特征图进行特征蒸馏。5.根据权利要求1所述的一种基于前景强化知识蒸馏的点云3D目标检测方法，其特征在于，所述学生检测网络的总损失函数由目标分类损失函数、参数定位回归损失函数和特征蒸馏损失函数组成，公式如下：其中，L表示学生检测网络总损失，M为分类为正负样本的锚框的数量，L
cls，m
为第m个锚框的分类损失，N为分类为正样本的锚框的数量，L
loc，n
为第n个锚框的回归损失，P为重点区
域像素点的数量，L
feat_dist，p
为第p个像素点的特征距离损失，λ0为当前帧目标分类损失可调权重，λ1为当前帧目标回归损失可调权重，λ2为特征蒸馏损失可调权重。6.根据权利要求5所述的一种基于前景强化知识蒸馏的点云3D目标检测方法，其特征在于，所述第m个锚框的分类损失的计算公式如下：其中，α和γ为第一、第二可调参数；c
obj
为锚框分类置信度，gt
anchor
为置信度对应的监督信号；若锚框为正样本，gt
anchor
＝1，否则gt
anchor
＝0。7.根据权利要求5所述的一种基于前景强化知识蒸馏的点云3D目标检测方法，其特征在于，所述第n个锚框的回...

【专利技术属性】
技术研发人员：赵攀，项志宇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：