使用预捕获图像运动的场景分割制造技术

描述了系统、设备和方法，包括：使用在预捕获图像中出现的目标运动来执行场景的3D重建。可以使用诸如图像分割和/或目标识别之类的图像处理技术，在预捕获图像中对目标进行分割和跟踪。随后可以使用图像处理结果自动地对后续捕获的图像进行标记。此外，还可以使用该图像处理结果，在图像捕获之前，对成像设备的调焦装置进行交互式控制。

【技术实现步骤摘要】
【国外来华专利技术】使用预捕获图像运动的场景分割
技术介绍
图像分割是用于将静止图像中的场景里的目标彼此分离以及将目标与背景进行分离的处理，其对于包括自动图像标记、基于内容的图像检索、目标识别等等的很多应用来说都很重要。在图像分割时通常使用两种方法。在二维(2D)方法中，可以使用典型的彩色照相机来捕获三维(3D)场景的2D静止图像，随后可以主要基于该静止图像中的颜色信息来执行图像分割。但是，由于在捕获2D图像之后，场景信息的某些方面(例如，该场景中的各个目标的深度)丢失，并且由于场景中的不同目标和/或背景可能具有类似的颜色，因此这种基于颜色的2D图像分割存在不适定问题(ill-posed problem),并往往不能得到足够好的分辨质量。.在3D方法中，立体相机对或者彩色深度照相机(例如，结构光相机或者飞行时间相机)可以用于不仅捕获颜色，而且还获得深度信息。随后，可以在使用颜色信息或者不使用颜色信息的情况下，基于该深度信息来执行图像分割。与基于颜色的方法相比，这些基于深度的方法通常更加可靠，这是由于它们使用场景中潜在的几何信息。不幸的是，基于深度的图像分割通常需要特殊的硬件，例如，配备有深度感测技术的经校准和同步的照相机对或照相机，因此基于深度的图像分割不适用于普通的(不具备深度感测能力的)消费级照相机，例如，装备有照相机的移动设备。【附图说明】在附图中，通过示例的方式，而不是通过限制的方式描绘了本申请所描述的内容。为了说明的简化和清楚起见，在附图中描述的元素没有按比例进行描绘。例如，为了清楚说明起见，可以相对于其它元素，对一些元素的尺寸进行扩大。此外，在认为适当时，在附图之中重复一些附图标记以指示相应的或者类似的元素。在附图中:图1是一种示例系统的示意图；图2是描绘一种示例性自动图像标记处理的流程图；图3和图4是示例性预捕获图像方案的示意图；图5是描绘一种示例性目标跟踪处理的流程图；图6是描绘一种示例性交互式聚焦控制处理的流程图；图7是一种示例性交互式聚焦控制方案的示意图；[0011 ] 图8是一种不例性系统的不意图；图9描绘了一种示例性设备，其根据本申请的至少一些实现来布置。【具体实施方式】现在参照附图来描述一个或多个实施例或者实现方式。虽然讨论了特定的配置和方案，但应当理解的是，这仅仅只是用于示例性目的。本领域普通技术人员应当认识到，在不脱离本专利技术的精神和保护范围的基础上，可以使用其它配置和方案。对于本领域普通技术人员来说显而易见的是，本申请所描述的技术和/或方案还可以用于不同于本申请所描述的多种其它系统和应用。虽然下面的描述阐述了可以在诸如片上系统(SoC)体系结构之类的体系结构中出现的各种实现，但本申请所描述的技术和/或方案的实现并不限于特定的体系结构和/或计算系统，其可以通过用于类似目的的任何体系结构和/或计算系统来实现。例如，使用诸如多个集成电路(IC)芯片和/或封装的各种体系结构，和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费电子(CE)设备，可以实现本申请所描述的技术和/或方案。此外，虽然下面的描述阐述了诸如系统组件的逻辑实现、类型和相互关系、逻辑划分/综合选项等等之类的众多特定细节，但本专利技术的技术方案可以在不使用这些特定细节的情况下实现。在其它实例中，为了不对本申请所公开的内容造成混淆，没有详细地显示诸如控制结构和完整的软件指令序列之类的一些内容。本申请所公开的内容可以用硬件、固件、软件或者其任意组合来实现。此外，本申请所公开的内容还可以实现成在机器可读介质上存储的指令，其可以由一个或多个处理器读取和执行。机器可读介质可以包括用于存储或发送具有能由机器(例如，计算设备)读取的形式的信息的任何介质和/或机制。例如，机器可读介质可以包括:只读存储器(ROM)；随机存取存储器(RAM);磁盘存储介质；光存储介质；闪存设备；电、光、声或者其它形式的传播信号(例如，载波波形、红外信号、数字信号等)等等。说明书中提到的“一种实现”、“一个实现”、“一种示例性实现”等等，指示所描述的实现可以包括具体特征、结构或者特性，但并不需要每一种实现都包括该特定特征、结构或特性。此外，这种短语并不是必须地指代相同的实现。此外，当结合一种实现来描述特定的特征、结构或特性时，结合其它实现(无论本申请是否对其进行了明确描述)实施这种特征、结构或特性，也在本领域普通技术人员的知识范围之内。图1描绘了根据本专利技术的一种示例性系统100。在各种实现中，系统100可以包括成像设备102 (例如，具备视频能力的照相机)，成像设备102配置为以三维(3D)场景105的一系列二维(2D)图像的形式来生成预捕获图像107，其中当成像设备102相对于场景105运动(例如，如图所示的圆形移动)的同时，获得场景105的图像107。如本申请所使用的，术语“预捕获图像”可以指代:在用户操作设备102上的快门装置(没有示出)以专门捕获一幅或多幅图像(例如，静止或者视频图像)之前，成像设备102所获得的图像。根据本专利技术，成像设备102的用户可以使设备102瞄准场景105，并且在用户触发设备102上的快门装置之前，就可以获得预捕获图像107，并对其进行如下面更详细描述的各种类型的图像处理。例如，在设备102的用户完全地按下快门装置或者启动对一幅或多幅图像的捕获之前，该用户可以部分地按下快门装置或者将设备102设置在预定的成像模式。随后，用户可以相对于3D场景105移动成像设备102，使得预捕获图像107可以包括相对于场景107的不同透视。在各种实现中，设备102的快门装置可以是硬件装置、软件装置、或者其任意组合。例如，用户界面(如设备102所提供的图形用户界面(GUI))可以允许用户启动使用设备102来获得预捕获图像107的成像模式。在一些实现中，一种成像模式应用可以使用GUI，来提示用户在获得预捕获图像107时相对于场景105对设备102进行移动。根据本专利技术，系统100还包括图像处理模块108，图像处理模块108可以接收预捕获图像107，对这些预捕获图像执行图像分割，如下面所更详细描述的。图像处理模块108还可以接收当用户触发成像设备102的快门时所生成的一个或多个捕获的图像。随后，图像处理模块108可以使用从该预捕获图像的图像分割获得的目标信息，对该捕获的图像执行目标识别。在各种实现中，图像处理模块108包括图像分割模块110、图像标记模块112、聚焦控制模块114和数据库116。根据本专利技术，图像分割模块110可以进行对预捕获图像107的图像分割处理，以提取来自该场景的深度信息，并对预捕获图像107中的一个或多个目标(例如，人物)进行分割。随后，图像分割模块110可以使用目标跟踪算法，来跟踪预捕获图像107中的这些目标，如下面所更加详细解释的。为了对目标进行分割，图像分割模块110可以使用已知的图像分割技术来定位预捕获图像107中的目标。为此，图像分割模块110可以将每一幅预捕获图像分割成多个区域(分块)，其中每一个分块中的像素具有类似的特性或者属性(例如，颜色、亮度或者纹理)。随后，可以使用所识别的分块在预捕获图像帧之间的运动，来执行场景105的3D重建。当进行图像分割时，模块110可以使用各种已知技术，诸如聚类分析、基于压缩、基于本文档来自技高网...

【技术保护点】
一种计算机实现的方法，包括：接收场景的多个预捕获图像，所述预捕获图像已由成像设备生成，所述预捕获图像呈现目标运动；以及基于所述目标运动来执行图像分割，直到所述成像设备的快门装置被触发以捕获所述场景的图像为止。

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括: 接收场景的多个预捕获图像，所述预捕获图像已由成像设备生成，所述预捕获图像呈现目标运动；以及 基于所述目标运动来执行图像分割，直到所述成像设备的快门装置被触发以捕获所述场景的图像为止。2.根据权利要求1所述的方法，还包括: 使用所述图像分割的结果来识别和自动地标记在所捕获的图像中出现的目标。3.根据权利要求2所述的方法，其中，执行图像分割包括:生成与在所述多个预捕获图像中识别的目标相对应的目标掩模，并且其中，使用所述图像分割的结果来识别和自动地标记目标包括: 存储所述图像和所述目标掩模； 使用所述目标掩模在所述图像上执行目标识别；以及 使用所述目标识别的结果来标记在所述图像中出现的目标。4.根据权利要求3所述的方法，其中，标记在所述图像中出现的目标包括:存储与所述图像相关联的元数据 。5.根据权利要求1所述的方法，还包括: 使用所述图像分割的结果来交互式地控制所述成像设备的调焦装置。6.根据权利要求5所述的方法，其中，执行图像分割包括:对所述场景中的多个目标进行分割和跟踪，并且其中，使用所述图像分割的结果来交互式地控制所述调焦装置包括: 设置所述调焦装置以聚焦于所述多个目标中的第一目标；以及 重新设置所述调焦装置以聚焦于所述多个目标中的第二目标。7.根据权利要求6所述的方法，其中，重新设置所述调焦装置以聚焦于所述第二目标包括:响应于用户输入来重新设置所述调焦装置。8.根据权利要求6所述的方法，其中，设置所述调焦装置以聚焦于所述第一目标包括:相对于所述场景中的所述多个目标中的其它目标突出显示所述第一目标。9.根据权利要求8所述的方法，其中，相对于所述其它目标突出显示所述第一目标包括:清晰地显示所述第一目标，而模糊地显示所述其它目标。10.根据权利要求1所述的方法，其中，执行图像分割包括通过下面的操作来分割和跟踪所述场景中的目标: 对所述多个预捕获图像中的至少第一图像执行图像分割，以生成第一多个目标结果； 存储所述第一多个目标结果； 对所述多个预捕获图像中的第二图像执行图像分割，以生成第二多个目标结果；以及 将所述第二多个目标结果与所述第一多个目标结果进行比较。11.根据权利要求10所述的方法，其中，所述第一多个目标结果包括第一多个识别的目标，其中，所述第二多个目标结果包括第二多个识别的目标，并且其中，将所述第二多个目标结果与所述第一多个目标结果进行比较包括: 对所述第一多个识别的目标中的包括在所述第二多个识别的目标里的每一个目标的置信度值进行增加；以及 对所述第一多个识别的目标中的不包括在所述第二多个识别的目标里的每一个目标的置信度值进行减小。12.一种包括计算机程序产品的制品，所述计算机程序产品中存储有指令，当所述指令被执行时产生下面的操作: 接收场景的多个预捕获图像，所述预捕获图像已由成像设备生成，所述预捕获图像呈现目标运动；以及 基于所述目标运动来执行图像分割，直到所述成像设备的快门装置被触发以捕获所述场景的图像为止。13.根据权利要求12所述的制品，其中，所述计算机程序产品中还存储有当被执行时产生下面操作的指令: 使用所述图像分割的结果来识别和自动地标记在所捕获的图像中出现的目标。14.根据权利要求13所述的制品，其中，执行图像分割包括:生成与在所述多个预捕获图像中识别的目标相对应的目标掩模，并且其中，使用所述图像分割的结果来识别和自动地标记目标包括: 存储所述图像和所述目标掩模； 使用所述目标掩 模在所述图像上执行目标识别；以及 使用所述目标识别的结果来标记在所述图像中出现的目标。15.根据权利要求14所述的制品，其中，标记在所述图像中出现的目标包括:存储与所述图像相关联的元数据。16...

【专利技术属性】
技术研发人员：W·孙，K·德尔帕斯夸，H·豪斯科尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US