本发明专利技术实施例提供了一种视觉3D目标检测算法在线评估方法和系统，其中，所述方法包括：获取视觉3D目标检测算法的样本数据集，样本数据集包含频率大于2赫兹且携带标注信息的原始样本图像；将样本数据集的第一原始样本图像输入视觉3D目标检测算法输出检测结果；将检测结果与样本数据集中当前时刻的第二原始样本图像的标注信息进行指标评估。本发明专利技术实施例的原始样本图像的频率高于数据集nuScenes中样本数据的频率，提高了视觉3D目标检测算法的样本频率。在视觉3D目标检测算法的运行时间稳定的情况下，提高样本频率，相当于降低目标对象在两个样本图像之间的位移偏差，视觉3D目标检测算法的指标评估更符合实时性的要求。算法的指标评估更符合实时性的要求。算法的指标评估更符合实时性的要求。
【技术实现步骤摘要】
目标检测算法在线评估方法、系统和电子设备及存储介质
[0001]本专利技术涉及计算机
，特别是涉及一种视觉3D目标检测算法在线评估方法、一种视觉3D目标检测算法在线评估系统以及一种电子设备和一种计算机可读存储介质。
技术介绍
[0002]近年来，以视觉为中心的感知算法在各种自主驾驶任务中蓬勃发展，包括3维(3Dimensional，简称3D)检测、语义地图构建、运动预测和深度估计。然而，以视觉为中心的感知算法的延迟对于实际部署来说太高了(例如，大多数基于相机的3D检测器的运行时间大于300ms)。为了弥合理想研究和现实世界应用之间的差距，有必要对性能和效率之间的权衡进行量化。
[0003]但是，现有的基于相机的3D检测算法性能评估方案主要在开源的数据集nuScenes上进行评估。而数据集nuScenes只标注了2赫兹的样本数据，2赫兹的样本数据无法满足实时性评估。
技术实现思路
[0004]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视觉3D目标检测算法在线评估方法和相应的一种视觉3D目标检测算法在线评估系统。
[0005]为了解决上述问题，本专利技术实施例公开了一种视觉3D目标检测算法在线评估方法，所述方法包括：获取待评估的视觉3D目标检测算法的样本数据集，所述样本数据集包含多个预设频率且携带标注信息的原始样本图像，所述预设频率大于2赫兹；将所述样本数据集中的第一原始样本图像输入所述视觉3D目标检测算法，输出检测结果；将所述检测结果与所述样本数据集中的第二原始样本图像的标注信息进行指标评估；其中，所述第二原始样本图像为输出所述检测结果的时刻对应的所述原始样本图像。
[0006]可选地，所述获取待评估的视觉3D目标检测算法的样本数据集，包括：获取所述视觉3D目标检测算法样本数据集中的多个频率为2赫兹的关键帧样本图像；根据所述关键帧样本图像的标注信息扩展得到所述原始样本图像的标注信息；将所述原始样本图像和所述原始样本图像的标注信息作为所述样本数据集。
[0007]可选地，所述根据所述关键帧样本图像的标注信息扩展得到所述原始样本图像的标注信息，包括：对所述关键帧样本图像的标注信息进行插值处理得到所述原始样本图像的插值标注数据集；根据所述样本数据集中的原始样本点云和关键帧样本点云以及预设检测器构建所述原始样本图像的时序标注数据集；根据所述插值标注数据集和所述时序标注数据集生成所述原始样本图像的标注信息。
[0008]可选地，所述对所述关键帧样本图像的标注信息进行插值处理得到所述原始样本图像的插值标注数据集，包括：当所述关键帧样本图像中的目标对象同时出现在相邻的两
个所述关键帧样本图像中时，根据相邻的两个所述关键帧样本图像的标注信息生成所述插值标注数据集。
[0009]可选地，所述根据所述样本数据集中的原始样本点云和关键帧样本点云以及预设检测器构建所述原始样本图像的时序标注数据集，包括：根据所述关键帧样本点云对所述预设检测器进行训练；利用训练完毕的所述预设检测器对所述原始样本点云进行检测得到所述原始样本点云的时序标注数据集；从所述原始样本点云的时序标注数据集中采样得到所述原始样本图像的时序标注数据集。
[0010]可选地，所述根据所述插值标注数据集和所述时序标注数据集生成所述原始样本图像的标注信息，包括：计算所述插值标注数据集中的标注信息与所述时序标注数据集中的标注信息的交并比；若所述交并比小于交并比阈值，则将所述时序标注数据集中与所述交并比对应的所述标注信息合并到所述插值标注数据集中，得到所述原始样本图像的标注信息。
[0011]可选地，所述方法应用于测试平台，所述方法还包括：获取所述视觉3D目标检测算法在所述测试平台的预设硬件资源下的运行时间分布图；从所述运行时间分布图中采样得到所述视觉3D目标检测算法的运行时间；根据所述运行时间和所述样本数据集中的目标原始样本图像的输入时刻，计算所述视觉3D目标检测算法在仿真硬件资源下针对所述目标原始样本图像的检测结果输出时间；在所述样本数据集中获取与所述检测结果输出时间相邻的相邻原始样本图像；根据所述检测结果输出时间和所述相邻原始样本图像计算所述视觉3D目标检测算法在所述仿真硬件资源下的平均精度均值。
[0012]可选地，所述获取所述视觉3D目标检测算法在所述测试平台的预设硬件资源下的运行时间分布图，包括：在所述测试平台的预设硬件资源下运行目标感知算法的情况下，获取所述运行时间分布图。
[0013]可选地，所述关键帧样本点云的频率为2赫兹，所述原始样本点云的频率为20赫兹，所述原始样本图像的频率为12赫兹，所述关键帧样本图像的频率为2赫兹。
[0014]本专利技术实施例还公开了一种视觉3D目标检测算法在线评估系统，所述系统包括：样本获取模块，用于获取待评估的视觉3D目标检测算法的样本数据集，所述样本数据集包含多个预设频率且携带标注信息的原始样本图像，所述预设频率大于2赫兹；输入输出模块，用于将所述样本数据集中的第一原始样本图像输入所述视觉3D目标检测算法，输出检测结果；指标评估模块，用于将所述检测结果与所述样本数据集中的第二原始样本图像的标注信息进行指标评估；其中，所述第二原始样本图像为输出所述检测结果的时刻对应的所述原始样本图像。
[0015]可选地，所述样本获取模块，包括：关键帧样本图像获取模块，用于获取所述视觉3D目标检测算法样本数据集中的多个频率为2赫兹的关键帧样本图像；标注信息扩展模块，用于根据所述关键帧样本图像的标注信息扩展得到所述原始样本图像的标注信息；样本数据集确定模块，用于将所述原始样本图像和所述原始样本图像的标注信息作为所述样本数据集。
[0016]可选地，所述标注信息扩展模块，包括：插值模块，用于对所述关键帧样本图像的标注信息进行插值处理得到所述原始样本图像的插值标注数据集；构建模块，用于根据所述样本数据集中的原始样本点云和关键帧样本点云以及预设检测器构建所述原始样本图
像的时序标注数据集；生成模块，用于根据所述插值标注数据集和所述时序标注数据集生成所述原始样本图像的标注信息。
[0017]可选地，所述插值模块，用于当所述关键帧样本图像中的目标对象同时出现在相邻的两个所述关键帧样本图像中时，根据相邻的两个所述关键帧样本图像的标注信息生成所述插值标注数据集。
[0018]可选地，所述构建模块，包括：训练模块，用于根据所述关键帧样本点云对所述预设检测器进行训练；检测模块，用于利用训练完毕的所述预设检测器对所述原始样本点云进行检测得到所述原始样本点云的时序标注数据集；采样模块，用于从所述原始样本点云的时序标注数据集中采样得到所述原始样本图像的时序标注数据集。
[0019]可选地，所述生成模块，包括：计算模块，用于计算所述插值标注数据集中的标注信息与所述时序标注数据集中的标注信息的交并比；合并模块，用于若所述交并比小于交并比阈值，则将所述时序标注数据集中与所述交并比对应的所述标注信息合并到所述插值标注数据集本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视觉3D目标检测算法在线评估方法，其特征在于，所述方法包括：获取待评估的视觉3D目标检测算法的样本数据集，所述样本数据集包含多个预设频率且携带标注信息的原始样本图像，所述预设频率大于2赫兹；将所述样本数据集中的第一原始样本图像输入所述视觉3D目标检测算法，输出检测结果；将所述检测结果与所述样本数据集中的第二原始样本图像的标注信息进行指标评估；其中，所述第二原始样本图像为输出所述检测结果的时刻对应的所述原始样本图像。2.根据权利要求1所述的方法，其特征在于，所述获取待评估的视觉3D目标检测算法的样本数据集，包括：获取所述视觉3D目标检测算法样本数据集中的多个频率为2赫兹的关键帧样本图像；根据所述关键帧样本图像的标注信息扩展得到所述原始样本图像的标注信息；将所述原始样本图像和所述原始样本图像的标注信息作为所述样本数据集。3.根据权利要求2所述的方法，其特征在于，所述根据所述关键帧样本图像的标注信息扩展得到所述原始样本图像的标注信息，包括：对所述关键帧样本图像的标注信息进行插值处理得到所述原始样本图像的插值标注数据集；根据所述样本数据集中的原始样本点云和关键帧样本点云以及预设检测器构建所述原始样本图像的时序标注数据集；根据所述插值标注数据集和所述时序标注数据集生成所述原始样本图像的标注信息。4.根据权利要求3所述的方法，其特征在于，所述对所述关键帧样本图像的标注信息进行插值处理得到所述原始样本图像的插值标注数据集，包括：当所述关键帧样本图像中的目标对象同时出现在相邻的两个所述关键帧样本图像中时，根据相邻的两个所述关键帧样本图像的标注信息生成所述插值标注数据集。5.根据权利要求3所述的方法，其特征在于，所述根据所述样本数据集中的原始样本点云和关键帧样本点云以及预设检测器构建所述原始样本图像的时序标注数据集，包括：根据所述关键帧样本点云对所述预设检测器进行训练；利用训练完毕的所述预设检测器对所述原始样本点云进行检测得到所述原始样本点云的时序标注数据集；从所述原始样本点云的时序标注数据集中采样得到所述原始样本图像的时序标注数据集。6.根据权利要求3所述的方法，其特征在于，所述根据所述插值标注数据集和所述时序标注数据集生成所述原始样本图像的标注信息，包括：计算所述插值标注数据集中的标注信息与所述时序标注数据集中的标注信息...
【专利技术属性】
技术研发人员：王啸峰，朱政，叶云，黄冠，都大龙，
申请(专利权)人：北京鉴智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。