一种基于时序帧主动学习的跨域目标检测方法及装置制造方法及图纸

本申请提供一种基于时序帧主动学习的跨域目标检测方法及装置，该方法包括：获取待检测目标域的时序点云信息，将时序点云信息分成单帧点云数据；将单帧点云数据输入训练好的时序帧主动学习三维目标检测模型中，得到点云场景中每个物体的类别及标记框；其中，时序帧主动学习三维目标检测模型采用带标注的时序帧数据集进行训练，带标注的时序帧数据集通过基于时空连续帧主动学习采样策略，从全量无标注的时序帧中返回最具价值的时序帧，对最具价值的时序帧进行标注得到，从而降低标注团队的标注成本。该方案大幅降低了自动驾驶感知模型对于海量时序帧标注的需要。于海量时序帧标注的需要。于海量时序帧标注的需要。

【技术实现步骤摘要】
一种基于时序帧主动学习的跨域目标检测方法及装置


[0001]本专利技术属于无人驾驶
，特别涉及一种基于时序帧主动学习的跨域目标检测方法及装置。

技术介绍

[0002]3D目标检测技术是自动驾驶领域中发挥非常关键的作用，能够帮助自动驾驶的车辆感知周围的环境。到目前为止，最先进的基于LiDAR的3D目标检测方法通常在单个数据集中进行训练和评估，很少涉及到跨域数据集的研究。然而，在自动驾驶的许多现实场景中，由于不同厂商往往采用不同参数的激光雷达，并且不同城市的环境差异巨大，跨数据集的3D目标检测方案成为自动驾驶中亟待解决的问题。
[0003]主动域适应(Active Domain Adaptation,ADA)任务是一种从目标域中选择出具有代表力的子集数据，并进行人工标注的一种方法。在AADA(参考Jong
‑
Chyi Su,Yi
‑
Hsuan Tsai,Kihyuk Sohn,Buyu Liu,Subhransu Maji,and Manmohan Chandraker.Active adversarial domain adaptation.In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision,pages 739
–
748,2020)、TQS(参考Bo Fu,Zhangjie Cao,Jianmin Wang,and Mingsheng Long.Transferable query selection for active domain adaptation.In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages 7272
–
7281,2021)、CLUE(参考Viraj Prabhu,Arjun Chandrasekaran,Kate Saenko,and Judy Hoffman.Active domain adaptation via clustering uncertainty
‑
weighted embeddings.In Proceedings of the IEEE/CVF International Conference on Computer Vision,pages8505
–
8514,2021)等2D自然图像场景中，ADA方法已经得到了充分的探索。然而，在3D点云数据的研究中仍是空白。
[0004]一些研究者试图通过无监督域适应(Unsupervised Domain Adaptation,UDA)技术来解决这种跨数据集性能下降的问题。SPG(参考Qiangeng Xu,Yin Zhou,Weiyue Wang,Charles R Qi,and Dragomir Anguelov.Spg:Unsupervised domain adaptation for 3d object detection via semantic point generation.In Proceedings of the IEEE/CVF International Conference on Computer Vision,pages 15446
–
15456,2021)设计了一种语义点生成方法，并尝试恢复给定前景实例的缺失区域。ST3D(参考Jihan Yang,Shaoshuai Shi,Zhe Wang,Hongsheng Li,and Xiaojuan Qi.St3d:Self
‑
training for unsupervised domain adaptation on 3d object detection.In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages 10368
–
10378,2021)设计了一个基于自监督训练的框架，将预先训练好的检测器从源域数据集适应到新的目标域数据集。LiDAR Distillation(参考Yi Wei,Zibu Wei,Yongming Rao,Jiaxin Li,Jie Zhou,and Jiwen Lu.Lidar distillation:Bridging the beaminduced domain gap for 3d object detection.arXiv preprint arXiv:2203.14956,2022)利用从高线束激光雷达
数据中获得的可迁移知识来蒸馏低线束激光雷达数据。虽然这些UDA检测方法在跨数据集任务中取得了成功，但它们与使用全量标注的监督学习之间仍有很大的检测精度差距。而为了验证基于2D图像的ADA方法对3D点云的可扩展性，我们将现有的基于2D图像的ADA方法(如TQS和CLUE)直接集成到许多典型的3D基线检测器中进行研究，但其在解决跨域数据集的差异方面并不能取得令人满意的结果。

技术实现思路

[0005]本说明书实施例的目的是提供一种基于时序帧主动学习的跨域目标检测方法及装置。
[0006]为解决上述技术问题，本申请实施例通过以下方式实现的：
[0007]第一方面，本申请提供一种基于时序帧主动学习的跨域目标检测方法，该方法包括：
[0008]获取待检测目标域的时序点云信息，将时序点云信息分成单帧点云数据；
[0009]将单帧点云数据输入训练好的时序帧主动学习三维目标检测模型中，得到点云场景中每个物体的类别及标记框；
[0010]其中，时序帧主动学习三维目标检测模型采用带标注的时序帧数据集进行训练，带标注的时序帧数据集通过基于时空连续帧主动学习采样策略，从全量无标注的时序帧中返回最具价值的时序帧，对最具价值的时序帧进行标注得到。
[0011]在其中一个实施例中，基于时空连续帧主动学习采样策略从全量无标注的时序帧中返回最具价值的时序帧，包括：
[0012]获取若干无标注时序帧；
[0013]无标注时序帧输入多粒度时序域判别器，得到时序帧的域得分；
[0014]将时序帧的域得分进行降序排序，选取排序中前预设比例对应的时序帧作为最具价值的时序帧。
[0015]在其中一个实施例中，无标注时序帧输入多粒度时序域判别器，得到时序帧的域得分，包括：
[0016]无标注时序帧输入检测器，得到时序
‑
场景级显著性描述特征图；
[0017]根据时序
‑
场景级显著性描述特征图，得到时序帧的域得分。
[0018]在其中一个实施例中，无标注时序帧输入检测器，得到时序
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于时序帧主动学习的跨域目标检测方法，其特征在于，所述方法包括：获取待检测目标域的时序点云信息，将所述时序点云信息分成单帧点云数据；将所述单帧点云数据输入训练好的时序帧主动学习三维目标检测模型中，得到所述点云场景中每个物体的类别及标记框；其中，所述时序帧主动学习三维目标检测模型采用带标注的时序帧数据集进行训练，所述带标注的时序帧数据集通过基于时空连续帧主动学习采样策略，从全量无标注的时序帧中返回最具价值的时序帧，对所述最具价值的时序帧进行标注得到。2.根据权利要求1所述的方法，其特征在于，所述基于时空连续帧主动学习采样策略从全量无标注的时序帧中返回最具价值的时序帧，包括：获取若干无标注时序帧；所述无标注时序帧输入多粒度时序域判别器，得到时序帧的域得分；将所述时序帧的域得分进行降序排序，选取排序中前预设比例对应的时序帧作为所述最具价值的时序帧。3.根据权利要求2所述的方法，其特征在于，所述无标注时序帧输入多粒度时序域判别器，得到时序帧的域得分，包括：所述无标注时序帧输入检测器，得到时序
‑
场景级显著性描述特征图；根据所述时序
‑
场景级显著性描述特征图，得到所述时序帧的域得分。4.根据权利要求3所述的方法，其特征在于，所述无标注时序帧输入检测器，得到时序
‑
场景级显著性描述特征图，包括：所述无标注时序帧输入三维骨干网络，得到三维特征描述；将所述三维特征描述映射到提取鸟瞰图特征，得到鸟瞰图特征映射；将所述鸟瞰图特征映射输入二维骨干网络，得到二维特征描述；将所述二维特征描述通过区域建议网络，得到目标得分；根据所述目标得分，确定所述时序
‑
场景级显著性描述特征图。5...

【专利技术属性】
技术研发人员：张铂，石博天，李怡康，窦民，闫翔超，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：