针对多视频帧的标注方法、装置、设备和存储介质制造方法及图纸

本申请提供一种针对多视频帧的标注方法、装置、设备和存储介质，涉及图像处理技术领域。其中，一种针对多视频帧的标注方法，包括：获取针对相同区域采集的多个视频帧；根据所述多个视频帧进行三维重建，得到所述区域对应的三维重建场景；基于所述三维重建场景进行标注，得到所述三维重建场景中的标注信息；将所述三维重建场景中的标注信息投影至多个所述视频帧中，得到多个所述视频帧中的标注信息。上述方法能够实现视频帧的批量化标注，可以有效提高多视频帧的标注效率，以及降低标注工作的人力成本。成本。成本。

【技术实现步骤摘要】
针对多视频帧的标注方法、装置、设备和存储介质


[0001]本申请涉及图像处理
，尤其涉及一种针对多视频帧的标注方法、装置、设备和存储介质。

技术介绍

[0002]在无人驾驶
中，图像感知算法作为核心算法得到广泛应用，其能够基于无人驾驶设备采集的连续图像帧，采用机器学习的方式进行定位和障碍物的识别等。在机器学习的训练过程中，需要对训练样本数据所对应的图像帧中的目标物体进行标注。
[0003]目前，大多数用于图像感知算法中的标注都来源于人工标注，并且标注人员只在单帧图像上进行标注。这样的标注方式会耗费大量的人力物力，并且自动驾驶领域需要进行连续帧的标注，这样又大幅增加了标注工作量和标注成本。
[0004]鉴于上述问题，需要提供一种能够提高多视频帧的标注效率的方案。

技术实现思路

[0005]本申请实施例的目的是提供一种针对多视频帧的标注方法、装置、设备和存储介质，以至少解决如何提高多视频帧的标注效率的问题。
[0006]为解决上述技术问题，本申请实施例提供如下技术方案：
[0007]本申请第一方面提供一种针对多视频帧的标注方法，所述方法包括：
[0008]获取针对相同区域采集的多个视频帧；
[0009]根据所述多个视频帧进行三维重建，得到所述区域对应的三维重建场景；
[0010]基于所述三维重建场景进行标注，得到所述三维重建场景中的标注信息；
[0011]将所述三维重建场景中的标注信息投影至多个所述视频帧中，得到多个所述视频帧中的标注信息。
[0012]本申请第二方面提供一种针对多视频帧的标注装置，所述装置包括：
[0013]视频帧获取模块，用于获取针对相同区域采集的多个视频帧；
[0014]三维重建模块，用于根据所述多个视频帧进行三维重建，得到所述区域对应的三维重建场景；
[0015]三维标注模块，用于基于所述三维重建场景进行标注，得到所述三维重建场景中的标注信息；
[0016]标注投影模块，用于将所述三维重建场景中的标注信息投影至多个所述视频帧中，得到多个所述视频帧中的标注信息。
[0017]本申请第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现本申请第一方面所述的方法。
[0018]本申请第四方面提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本申请第一方面所述的方法。
[0019]本申请第一方面提供的一种针对多视频帧的标注方法，通过获取针对相同区域采集的多个视频帧，根据所述多个视频帧进行三维重建，得到所述区域对应的三维重建场景，然后基于所述三维重建场景进行标注，得到所述三维重建场景中的标注信息，再将所述三维重建场景中的标注信息投影至多个所述视频帧中，得到多个所述视频帧中的标注信息，相较于现有技术中需对每张视频帧分别人工标注的方式，用户只需要在三维重建场景中进行标注，即可自动将标注信息反向投影到多个视频帧中，实现视频帧的批量化标注，可以有效提高多视频帧的标注效率，以及降低标注工作的人力成本。
[0020]本申请第二方面提供的针对多视频帧的标注装置、第三方面提供的一种电子设备和第四方面提供的计算机可读存储介质，与本申请第一方面提供的针对多视频帧的标注方法出于相同的专利技术构思，与其具有相同的有益效果。
附图说明
[0021]通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，相同或对应的标号表示相同或对应的部分，其中：
[0022]图1示意性地示出了本申请的一些实施方式所提供的一种针对多视频帧的标注方法的第一种流程图；
[0023]图2示意性地示出了本申请的一些实施方式所提供的针对多视频帧的标注方法的第二种流程图；
[0024]图3示意性地示出了本申请的一些实施方式所提供的针对多视频帧的标注方法的第三种流程图；
[0025]图4示意性地示出了本申请的一些实施方式所提供的针对多视频帧的标注方法的第四种流程图；
[0026]图5示意性地示出了本申请的一些实施方式所提供的针对多视频帧的标注方法的第五种流程图；
[0027]图6示意性地示出了本申请的一些实施方式所提供的针对多视频帧的标注方法的第六种流程图；
[0028]图7示意性地示出了本申请的一些实施方式所提供的一种基于视频帧进行标注的示意图；
[0029]图8示意性地示出了本申请的一些实施方式所提供的一种基于俯视图进行标注的示意图；
[0030]图9示意性地示出了本申请的一些实施方式所提供的一种针对多视频帧的标注装置的示意图；
[0031]图10示意性地示出了本申请的一些实施方式所提供的一种电子设备的示意图；
[0032]图11示意性地示出了本申请的一些实施方式所提供的一种计算机可读存储介质的示意图。
具体实施方式
[0033]下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公
开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0034]需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
[0035]下面，对本申请实施例用到的部分术语进行解释如下：
[0036]四维(4D)标注：区别于传统的二维(2D)标注，4D标注会把标注的静态物映射到真实世界坐标系中，进而保留对于真实世界中真实物体的标注。可以利用这些真实物体的标注通过对应关系反向投影回2D图片中，进而添加标注。这样仅需标注一次，对于此路段的所有图片都可以用上述方式添加标注。
[0037]像素坐标系：2D图片的坐标系，只包含x轴、y轴，即无深度，远点为图片左上角。
[0038]相机坐标系：以摄像机的光心为原点的坐标系，包含x轴、y轴、z轴。
[0039]世界坐标系：真实世界里面的坐标系，可以以视频的第一帧的位置作为基准点，包含x轴、y轴、z轴。
[0040]另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0041]本申请实施例提供了一种针对多视频帧的标注方法、装置、设备和存储介质，以至少解决如何提高多视频帧的标注效率的问题。下面结合附图进行示例性说明。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对多视频帧的标注方法，其特征在于，包括：获取针对相同区域采集的多个视频帧；根据所述多个视频帧进行三维重建，得到所述区域对应的三维重建场景；基于所述三维重建场景进行标注，得到所述三维重建场景中的标注信息；将所述三维重建场景中的标注信息投影至多个所述视频帧中，得到多个所述视频帧中的标注信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述多个视频帧进行三维重建，得到所述区域对应的三维重建场景，包括：确定每个所述视频帧分别对应的相机位置信息；根据每个所述视频帧分别对应的相机位置信息和所述视频帧进行三维重建，得到所述区域的三维重建场景。3.根据权利要求2所述的方法，其特征在于，所述根据每个所述视频帧分别对应的相机位置信息和所述视频帧进行三维重建，得到所述区域的三维重建场景，包括：根据每个所述视频帧分别对应的相机位置信息和所述视频帧中各像素点的像素位置信息，采用稠密重建算法确定每个所述像素点对应于世界坐标系中的三维点的位置信息，并根据所述三维点构成的三维点云确定所述区域的三维重建场景。4.根据权利要求1所述的方法，其特征在于，所述基于所述三维重建场景进行标注，得到所述三维重建场景中的标注信息，包括：确定每个所述视频帧中的像素点与所述三维重建场景中三维点的对应关系；响应于用户针对所述视频帧中像素点的第一标注操作，根据所述对应关系将所述第一标注操作转换为针对所述三维重建场景中三维点的第二标注操作，并根据所述第二标注操作生成所述三维重建场景中的标注信息。5.根据权利要求1所述的方法，其特征在于，所述方法所标注的对象位于地面，所述视频帧包括相机俯向地面拍摄的俯视图；所述基于所述三维重建场景进行标注，得到所述三维重建场景中的标注信息，包括：响应于用户针对所述俯视图中像素点的第三标注操作，根据拍摄所述俯视图的相机对应的相机坐标系与所述三维重建场景对应的世界坐标系之间的坐标转换关系，将所述第三标注操作转换为针对所述三维重建场景中三维点的第四标注操作，并根据所述第四标注操作生成所述三维重建场景中的标注信息。6.根据权利要求1所述的方法，其特征在于，所述将所述三维重建场景中的标注信息投影至多个所述视频帧中，得到多个所述视频帧中的标注信息，包括：将所述三维重建场景中的标注信息，根据每个所述视频帧分别对应的相机位置信息和拍摄时间信息，投影至多个所述视频帧中，得到多个所述视频帧中的标注信息，其中，投影的每个所述视频帧中包含的拍摄对象包括所述标注信息所标注的对象。7.根据权利要求1所述的方法，其特征在于，所述获取针对相同区域采集的多个视频帧，包括：获取多个车辆在相同车道采集的多组连续视频帧；所述根据所述多个视频帧进行三维重建，得到所述区域对应的三维重建场景，包括：根据所述多组连续视频帧对所述车道上的静态物体进行三维重建，得到所述车道的三
维重建场景；所述基于所述三维重建场景进行标注，得到所述三维重建场景中的标注信息，包括：基于所述三维重建场景，对所述三维重建场景中的静态物体进行标注，得到所述三维重建场景中静态物体的标注信息。8.一种针对多视频帧的标注装置，其特征在于，包括：视频帧获取模块，用于获取针对相同区域采集的多个视频帧；三维重...

【专利技术属性】
技术研发人员：石佳，侯文博，李翔，李俊桥，
申请(专利权)人：北京车和家信息技术有限公司，
类型：发明
国别省市：