【技术实现步骤摘要】
本专利技术涉及三维点云理解，尤其是涉及一种基于跨尺度蒸馏的半监督三维目标检测方法、装置及介质。
技术介绍
1、三维目标检测是在三维场景中自动识别物体位置、形状和尺寸的任务，其在自动驾驶、机器人等领域中已得到广泛应用。由于三维场景的标注成本居高不下，大规模、高质量三维点云标注数据的稀缺成为当前基于深度学习的三维目标检测方法面临的关键挑战。如何使用更少的标注数据达到与全监督三维目标检测相同的性能，已经成为现有技术的突破难点，因此，半监督三维目标检测已经成为三维目标检测中一个备受关注的问题。
2、文献《sess:self-ensembling semi-supervised 3d object detection》提出了半监督三维目标检测领域的开创性工作，设计了适用于三维场景的非对称数据增强与在教师和学生模型预测之间的三种一致性损失。文献《3dioumatch:leveraging iouprediction for semi-supervised 3d object detection》设计了iou感知的votenet作为学生和教师模型的基础结构，并通过设置不同类型的置信度阈值过滤伪标签中的低质量预测。文献《dqs3d:densely-matched quantization-aware semi-supervised 3ddetection》提出了基于密集匹配方式的量化感知半监督三维目标检测方法，减少了将点云转变为体素过程中的量化误差。
3、上述工作存在共同的缺陷，它们未考虑三维物体尺度方差引起的学习不平衡
技术实现思路
1、本专利技术的目的是为了提供一种无标签训练数据利用效率高、性能强的基于跨尺度蒸馏的半监督三维目标检测方法、装置及介质。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于跨尺度蒸馏的半监督三维目标检测方法，包括以下步骤：
4、步骤1：构建多尺度点云输入的平均教师半监督学习框架，所述平均教师半监督学习框架包括有标签分支与无标签分支，分别对应有标签点云数据与无标签点云数据的学习，其中，有标签分支利用有标签点云数据的真值标签监督学生模型，无标签分支利用教师模型监督学生模型；
5、步骤2：对教师模型与学生模型的多尺度输出进行尺度对齐并输入至跨尺度蒸馏模块；
6、步骤3：在跨尺度蒸馏模块中进行体素锚点匹配，在匹配的体素锚点对之间执行双重一致性学习；
7、步骤4：构建有标签数据损失函数与无标签数据损失函数，训练学生模型；
8、步骤5：将待检测的点云场景输入训练好的三维目标检测学生模型，得到预测出物体边界框的点云场景。
9、所述步骤1中，无标签三维点云场景xu经过非对称数据增强后，转换为强数据增强点云场景和弱数据增强点云场景分别作为学生模型和教师模型的原始输入，强数据增强点云场景进行尺度变换后的结果作为学生模型额外的一路输入，其中rescale(·)表示尺度变换函数。
10、所述步骤2中，根据蒸馏目标的不同，跨尺度蒸馏模块分为跨尺度内部蒸馏模块与跨尺度外部蒸馏模块；
11、对于同个无标签点云场景的不同尺度输入，教师模型和学生模型的输出中包含对应尺度的体素锚点，以及每个体素锚点对应的特征与预测；
12、根据尺度转换参数将学生模型两组不同尺度下的体素锚点转换至相同尺度，并输入跨尺度内部蒸馏模块；
13、根据初始的强、弱数据增强参数将教师模型的输出转换至与学生模型输出相同的视图，并根据尺度转换参数转换至相同尺度，将其与学生模型进行尺度转换后的输出一同输入跨尺度外部蒸馏模块。
14、所述步骤3中，体素锚点匹配具体为：在源体素锚点集合vs和目标体素锚点集合vt之间进行一对一的密集匹配，利用k近邻算法为每个源体素锚点vs匹配距离最近的目标体素锚点vt，得到一一匹配的体素锚点对，其中计算距离时采用欧式距离度量方式，具体公式如下：
15、
16、其中φ(·)是体素锚点的坐标表示。
17、所述步骤3中，在获得n个一对一匹配的体素锚点对后，利用目标体素锚点对应预测的中心得分和分类得分来剔除低置信度的匹配体素锚点对当中心得分大于中心得分阈值τcen且分类得分大于分类得分阈值τcls时，该匹配体素锚点对被认为有效并保留，否则进行剔除。
18、所述步骤3中，在匹配体素锚点对之间执行双重一致性学习，所述双重一致性学习包括预测一致性学习与特征一致性学习。
19、所述步骤3中，对于匹配的体素锚点对(vs,vt)，与源体素锚点vs对应的预测和特征分别表示为和fs，和分别代表源体素锚点对应预测中的三维检测框参数、中心得分和分类得分，与目标体素锚点vt对应的预测和特征分别表示为和ft，和分别代表匹配的目标体素锚点对应预测中的三维检测框参数、中心得分和分类得分；
20、分别构建预测一致性学习损失函数和特征一致性学习损失函数，并对二者进行加权求和得到双重一致性学习损失函数，用于对模型进行训练，其中，
21、预测一致性学习损失函数的公式如下：
22、
23、其中lbox、lcen和lcls分别表示huber损失、l2损失和kl散度；
24、特征一致性学习损失函数的公式如下：
25、
26、双重一致性学习损失函数ldual的公式如下：
27、
28、其中μ代表预测一致性学习损失和特征一致性学习损失之间的平衡系数。
29、所述步骤4中，有标签数据损失函数ll根据有标签训练数据的真值标签计算得到，无标签数据损失函数lu由跨尺度内部蒸馏损失和跨尺度外部蒸馏损失相加得到：
30、
31、其中，跨尺度内部蒸馏损失和跨尺度外部蒸馏损失分别为跨尺度内部蒸馏模块和跨尺度外部蒸馏模块的双重一致性学习损失；
32、基于有标签数据损失函数和无标签数据损失函数确定平均教师半监督学习框架整体的损失函数如下：
33、l＝ll+λlu
34、其中λ是有标签损失ll和无标签损失lu之间的加权系数。
35、一种基于跨尺度蒸馏的半监督三维目标检测装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
36、一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
37、与现有技术相比，本专利技术具有以下有益效果：
38、一、本专利技术提出了面向半监督三维目标检测的跨尺度蒸馏模块，利于学生模型学习单一尺度下无法感知到的物体信息并将不同尺度的知识进行互补增强，增强学生模型对于物体尺度方差的鲁棒性与提高其检测的尺度一致性能力。
39、二、本专利技术提出了双重一致性学习范式，集成了特征层级和预测层级的一致性学习过程本文档来自技高网...
【技术保护点】
1.一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤1中，无标签三维点云场景xu经过非对称数据增强后，转换为强数据增强点云场景和弱数据增强点云场景分别作为学生模型和教师模型的原始输入，强数据增强点云场景进行尺度变换后的结果作为学生模型额外的一路输入，其中rescale(·)表示尺度变换函数。
3.根据权利要求2所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤2中，根据蒸馏目标的不同，跨尺度蒸馏模块分为跨尺度内部蒸馏模块与跨尺度外部蒸馏模块；
4.根据权利要求1所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤3中，体素锚点匹配具体为：在源体素锚点集合Vs和目标体素锚点集合Vt之间进行一对一的密集匹配，利用K近邻算法为每个源体素锚点vs匹配距离最近的目标体素锚点vt，得到一一匹配的体素锚点对，其中计算距离时采用欧式距离度量方式，具体公式如下：
5.根据权利要求1所述的一种基于跨尺度蒸
6.根据权利要求1所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤3中，在匹配体素锚点对之间执行双重一致性学习，所述双重一致性学习包括预测一致性学习与特征一致性学习。
7.根据权利要求6所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤3中，对于匹配的体素锚点对(vs,vt)，与源体素锚点vs对应的预测和特征分别表示为和fs，和分别代表源体素锚点对应预测中的三维检测框参数、中心得分和分类得分，与目标体素锚点vt对应的预测和特征分别表示为和ft，和分别代表匹配的目标体素锚点对应预测中的三维检测框参数、中心得分和分类得分；
8.根据权利要求1所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤4中，有标签数据损失函数Ll根据有标签训练数据的真值标签计算得到，无标签数据损失函数Lu由跨尺度内部蒸馏损失和跨尺度外部蒸馏损失相加得到：
9.一种基于跨尺度蒸馏的半监督三维目标检测装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
...【技术特征摘要】
1.一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤1中，无标签三维点云场景xu经过非对称数据增强后，转换为强数据增强点云场景和弱数据增强点云场景分别作为学生模型和教师模型的原始输入，强数据增强点云场景进行尺度变换后的结果作为学生模型额外的一路输入，其中rescale(·)表示尺度变换函数。
3.根据权利要求2所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤2中，根据蒸馏目标的不同，跨尺度蒸馏模块分为跨尺度内部蒸馏模块与跨尺度外部蒸馏模块；
4.根据权利要求1所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤3中，体素锚点匹配具体为：在源体素锚点集合vs和目标体素锚点集合vt之间进行一对一的密集匹配，利用k近邻算法为每个源体素锚点vs匹配距离最近的目标体素锚点vt，得到一一匹配的体素锚点对，其中计算距离时采用欧式距离度量方式，具体公式如下：
5.根据权利要求1所述的一种基于跨尺度蒸馏的半监督三维目标检测方法，其特征在于，所述步骤3中，在获得n个一对一匹配的体素锚点对后，利用目标体素锚点对应预测的中心得分和分类得分来剔除低置信度的匹配体素锚点对当中心得分大于中心得分阈值τcen且分类得分大于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。