一种对象标注方法及装置制造方法及图纸

本发明专利技术提供了一种对象标注方法及装置，包括：确定背景图像帧包含的深度信息，并根据背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；确定前景图像帧中的待标注对象及待标注对象的深度信息，并根据待标注对象的深度信息确定待标注对象在第一三维坐标系下的空间坐标；确定显示道具，并确定显示道具在第一三维坐标系下的空间坐标，该显示道具用于对待标注对象进行标注；根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；根据遮挡状态对待标注对象进行标注。采用本发明专利技术提供的技术方案，有效模拟了遮挡效果，使得对象的标注更加生动，大大提高了显示质量。

【技术实现步骤摘要】
一种对象标注方法及装置
本专利技术涉及视频分析处理
，特别涉及一种对象标注方法及装置。
技术介绍
目前，在安防监控、会展等领域中，有时需要对视频中的动态对象进行标注，一方面为大数据分析提供数据，另一方面标注的对象能够更加直观地展示。例如，动态对象为人，那么首先需要在视频中检测到人，然后通过一些方法对人进行标注。现有技术中，标注的方法主要是采用boundingbox，即对包含人的区域在二维图像上进行矩形框标注。使用矩形框只能近似的将人等前景物体所占的像素进行标注，把认为是人的区域包含在矩形内部，而不能准确显示和标定人体的细节信息和与周围环境及其他人的关系，即不能直观的表达人和人、人和背景之间的空间位置关系；另外，矩形框内部除了人身体以外，还必将有一部分属于背景或其他前景物体，这本不是想要的，只是因为现有技术无法在这个范围内判断哪些像素属于人的身体，哪些像素属于背景，把不属于要显示的内容完全去除，只能近似地画矩形框，把它们全部当作识别的人的结果显示给用户，用户对于这样的显示结果往往还需要一些判断和处理，并不直观。现有技术的不足在于：现有技术中采用的矩形框标注的技术方案，叠加大量不必需的信息，使得标注结果不直观。
技术实现思路
本专利技术实施例中提供了一种对象标注方法及装置，用以解决现有技术中标注结果不直观的问题。本专利技术实施例中提供了一种对象标注方法，包括步骤：确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；根据所述显示道具的遮挡状态对所述待标注对象进行标注。本专利技术实施例中提供了一种对象标注装置，包括：背景确定模块，用于确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；前景确定模块，用于确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；道具确定模块，用于确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；显示确定模块，用于根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；标注模块，用于根据所述显示道具的遮挡状态对所述待标注对象进行标注。本专利技术的有益效果是：本专利技术实施例提供的技术方案中，有效模拟了遮挡效果，使得对象的标注不再像传统二维图像显示技术一样仅在二维图像上进行粗略显示，而使显示结果更加生动、逼真，大大提高了显示质量。附图说明下面将参照附图描述本专利技术的具体实施例，其中：图1为本专利技术实施例中对象标注方法实施的流程示意图；图2为本专利技术实施例中对象标注装置的结构示意图。具体实施方式为了使本专利技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本专利技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是所有实施例的穷举。针对现有技术的不足，本专利技术实施例中提供了一种对象标注方法及装置，来使对象标注更形象，提高显示质量。下面进行说明。图1为本专利技术实施例中对象标注方法实施的流程示意图，如图所示，可以包括步骤：步骤101、确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；步骤102、确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；步骤103、确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；步骤104、根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；步骤105、根据所述显示道具的遮挡状态对所述待标注对象进行标注。本专利技术实施例提供的技术方案中，根据背景图像帧的深度信息对真实场景进行三维重建，并还原场景中待标注对象的真实空间存在，由于有效模拟了遮挡效果，使得对象的标注不再像传统二维图像显示技术一样仅在二维图像上进行粗略显示，而使显示结果更加生动、逼真，大大提高了显示质量。实施中，根据背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标，可以包括步骤：根据所述背景图像帧深度信息确定以镜头为中心的第二三维坐标系；确定以背景图像帧中地面为x-y平面的第一三维坐标系；根据第一三维坐标系与第二三维坐标系确定第二三维坐标系转换到第一三维坐标系下的转换矩阵；根据所述转换矩阵确定背景图像帧中各像素点在第一三维坐标系中的空间坐标。具体实施中，在对待标注对象进行检测和标注之前，可以对背景场景进行建模，例如，可以根据背景图像帧(包含深度信息)计算以镜头为中心的三维坐标系(第二三维坐标系)，然后通过检测背景图像帧中的地面，计算以镜头为中心的三维坐标系(第二三维坐标系)到以地面为x-y平面的真实三维坐标系(第一三维坐标系)的转换矩阵。通过该转换矩阵可以将背景图像帧中各像素点转换到真实的三维坐标系(第一三维坐标系)下。利用建立坐标系和确定转换矩阵，可以将二维图像中的物体转换到三维坐标系下，从平面显示变为立体显示，显示的结果更加形象和准确，更接近人眼的视角。实施中，根据待标注对象的深度信息确定待标注对象在第一三维坐标系下的空间坐标，可以包括步骤：根据所述待标注对象深度信息确定在以镜头为中心的第二三维坐标系中的第一空间坐标；根据转换矩阵确定第一空间坐标在第一三维坐标系中的空间坐标。具体实施中，在对背景场景进行建模之后，可以对该背景场景中出现的待标注对象进行识别，并且对识别到的待标注对象，确定其在第一三维坐标系中的空间坐标。此时，待标注对象与背景场景的空间关系就可以建立了。通过建立待标注对象与背景场景的空间关系，能够判断待标注对象在特定视角下的显示内容，即待标注对象可能遮挡住背景的部分场景。利用该空间关系能够更好的以贴近现实的结果进行显示。实施中，确定显示道具在第一三维坐标系下的空间坐标，可以包括步骤：在待标注对象上确定对其进行标注的的标注点，所述标注点用于确定显示道具进行标注的位置；根据待标注对象在第一三维坐标系下的空间坐标确定所述标注点在第一三维坐标系下的空间坐标；根据所述标注点在第一三维坐标系下的空间坐标及确定的显示道具确定显示道具在第一三维坐标系下的空间坐标。具体实施中，可以根据待标注对象的第一三维坐标系下的空间坐标(该对象在真实空间中的空间位置)，人工或者自动选取待标注对象上某一点作为标注点(第一三维坐标系下三维坐标点)，若显示道具为圆环，那么可以以该标注点为圆环中心进行标注。另外，显示道具可以是圆环、透明蒙板、圆柱等，通过更换不同的显示道具，可以满足不同条件下的显示需求。确定待标注对象上的标注点可以使得在图像帧变换，即在视频播放过程中，显示道具本文档来自技高网...

【技术保护点】
一种对象标注方法，其特征在于，包括如下步骤：确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；根据所述显示道具的遮挡状态对所述待标注对象进行标注。

【技术特征摘要】
1.一种对象标注方法，其特征在于，包括如下步骤：确定背景图像帧包含的深度信息，并根据所述背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标；确定前景图像帧中的待标注对象及所述待标注对象的深度信息，并根据所述待标注对象的深度信息确定所述待标注对象在第一三维坐标系下的空间坐标；确定显示道具，并确定所述显示道具在第一三维坐标系下的空间坐标，所述显示道具用于对所述待标注对象进行标注；根据背景图像帧中各像素点、待标注对象、以及显示道具的空间坐标确定显示道具的遮挡状态；根据所述显示道具的遮挡状态对所述待标注对象进行标注；其中，在确定显示道具之后，进一步包括：将所述显示道具进行切分为多个模块，在确定显示道具的遮挡状态时，确定所述各模块的遮挡状态；在根据所述显示道具的遮挡状态对所述待标注对象进行标注时，包括：确定显示道具各模块中未被遮挡的模块及所述未被遮挡的模块在第一三维坐标系下的空间坐标；根据第二三维坐标系转换到第一三维坐标系下的转换矩阵的逆矩阵将未被遮挡的模块在第一三维坐标系下的空间坐标转换为第二三维坐标系下的空间坐标；确定对待标注对象进行标注的标注点在第二三维坐标系下的空间坐标；根据所述未被遮挡的模块及标注点在第二三维坐标系下的空间坐标及背景图像帧深度信息确定显示道具中未被遮挡的模块及标注点在图像帧中的二维坐标；根据所述二维坐标在图像帧中进行标注并显示。2.如权利要求1所述的方法，其特征在于，所述根据背景图像帧深度信息确定背景图像帧中各像素点在第一三维坐标系中的空间坐标，包括步骤：根据所述背景图像帧深度信息确定以镜头为中心的第二三维坐标系；确定以背景图像帧中地面为x-y平面的第一三维坐标系；根据第一三维坐标系与第二三维坐标系确定第二三维坐标系转换到第一三维坐标系下的转换矩阵；根据所述转换矩阵确定背景图像帧中各像素点在第一三维坐标系中的空间坐标。3.如权利要求2所述的方法，其特征在于，所述根据待标注对象的深度信息确定待标注对象在第一三维坐标系下的空间坐标，包括步骤：根据所述待标注对象深度信息确定在以镜头为中心的第二三维坐标系中的第一空间坐标；根据转换矩阵确定第一空间坐标在第一三维坐标系中的空间坐标。4.如权利要求3所述的方法，其特征在于，所述确定显示道具在第一三维坐标系下的空间坐标，包括步骤：在待标注对象上确定对其进行标注的标注点，所述标注点用于确定显示道具进行标注的位置；根据待标注对象在第一三维坐标系下的空间坐标确定所述标注点在第一三维坐标系下的空间坐标；根据所述标注点在第一三维坐标系下的空间坐标及确定的显示道具确定显示道具在第一三维坐标系下的空间坐标。5.一种对象标注装置，其特征在于，包括：背景确定模块，用于确定背景图像帧包含...

【专利技术属性】
技术研发人员：张永杰，程士庆，
申请(专利权)人：北京格灵深瞳信息技术有限公司，
类型：发明
国别省市：北京;11