用于近距离动作跟踪的系统和方法技术方案

技术编号:8300618 阅读:172 留言:0更新日期:2013-02-07 03:50
描述了用于近距离目标跟踪的系统和方法。用深度传感器获得使用者的手和手指或者其它物件的近距离深度图像。用从该深度传感器获得的深度图像数据,识别和跟踪使用者的手和手指或者其它物件的动作,由此允许该使用者利用他的手和手指或者其它物件的位置和移动与显示在屏幕上的物件互动。

【技术实现步骤摘要】

本公开涉及用于目标跟踪的方法和装置,特别涉及提供改进的手段用于跟踪用户的手和手指移动,并用该跟踪数据控制该用户和装置互动的方法和设备。
技术介绍
在很大程度上,人与电子设备(如电脑,笔记本,和移动电话)互动需要物理操纵 控制,揿按钮,或者接触屏幕。例如,用户通过输入设备(如键盘和鼠标)与电脑互动。尽管键盘和鼠标对于一些功能(如输入文本和滚动浏览文件)是有效的,它们对于用户可以与电子设备互动的许多其它的方式并不有效。用户握鼠标的手被限定只能沿着二维(2D)表面移动,用鼠标通过三维的虚拟空间引导是难操纵的并且非直觉的。同样地,触摸屏的平面界面不容许用户传达任何深度概念。这些设备将全范围的可能的手和手指的动作限制为和技术限制相应的二维动作的有限子集。附图简述附图中示意了用于提供用户互动体验,以及用于自动定义和识别动作的系统和方法的实施例。这些实施例和附图是说明性的而非限制性。图I为示意图,其示范根据一些实施方式的近距离目标跟踪系统的实例组件。图2为作业流程图,其示范根据一些实施方式的通过近距离目标跟踪系统的动作跟踪过程的例子。图3A-3E显示了根据一些实施方式的可以被跟踪的手势的例子的图解说明。图4为作业流程图,其示范根据一些实施方式的通过近距离目标跟踪系统的动作跟踪过程的例子。图5为作业流程图,其示范根据一些实施方式的通过近距离目标跟踪系统的动作跟踪过程的另一个例子。详细说明描述了用于近距离目标跟踪的系统和方法。用深度传感器获得使用者的手和手指或者其它物件的近距离深度图像。用从该深度传感器获得的深度图像数据识别和跟踪使用者的手和手指或者其它物件的动作。该用户的手和手指或者其它物件可以被显示为屏幕上的显像,其中该显像被显示为执行和被识别的动作相当的姿势。该用户的手和手指或者其它物件的显像可以与该屏幕上显示的其它物件互动。现将描述本专利技术的多种形态和实例。以下说明提供了特定的细节。以便彻底了解这些实例,使其能够实现。然而,本领域技术人员将了解,本专利技术可以不具有许多这些细节而被实行。此外,一些众所周知的结构或者功能可能不作详细的显示或者描述,以免不必要地遮蔽相关的说明。以下介绍的用于本专利技术的术语应当以最宽的合理方式解释,即使其正被用于本技术某些特定实例的详细说明。某些词语可以被进一步强调于下;然而,欲以任何限制的方式解释的任何术语,将被公开地及特定地在此详细说明部分如此定义。物件动作的跟踪,例如,当用户与电子系统或者设备通过姿势控制互动时,需要该系统识别该用户或者物件做的动作或者(多个)姿势。出于此公开的目的,术语“姿势识别”指用于识别用户进行的特定动作或者姿态结构的方法。例如,姿势识别可以指识别在鼠标垫上以特定方向和具有特定速度的击打,手指在触摸屏上跟踪描绘特定的形状,或者手的摆动。该系统通过分析描述该用户与特定硬件/界面的互动资料判断特定的姿势是否被进行。亦即,应当有检测或者跟踪该被用于进行或者执行该姿势的物件的一些办法。在触摸屏的情况下,其为用于检测该用户在该屏幕上的触摸的硬件和软件技术的组合。在基于深度传感器的系统情况下,其通常为识别和跟踪该用户的关节和躯体部分所需的硬件和软 件的组合。在上述通过姿势控制,或者总体上通过目标跟踪的系统互动的例子中,跟踪组件使动作能够被识别和跟踪。姿势识别可以被认为不同于跟踪的过程,因为它通常从该跟踪组件取得数据输出,并处理该数据以确定预定姿势是否被执行。一旦该姿势被识别,其即被用于触发行为,例如,在电子设备上的一个应用中,或者在一个游戏中。使用姿势识别的例子可以是,用户在房间中摆动手来关灯时。对目标跟踪系统的输入可以是描述用户动作的数据,其来自许多不同的输入设备,如触摸屏(单点接触或多点接触),以2D(即红,绿,蓝,或者“RGB”)摄像机获取的用户的动作,和用深度传感器获取的用户的动作。在其它应用中,该目标跟踪系统可以使用来自用于动作或者姿势识别的加速度计和重量计的数据。2010年6月16日递交的名称为“用于由深度图给主体建模的方法和系统”的美国专利申请号12/817,102描述了用深度传感器跟踪游戏者并识别和跟踪用户躯体的关节。其在此被全文合并于本公开中。2012年4月6日递交的名称为“用于增强目标跟踪的系统和方法”的美国专利申请号13/441,271描述了用来自时间飞跃(time-of-flight,T0F)摄像机的深度数据和幅度数据的组合识别和跟踪用户的(多个)躯体部分的方法,其在此被全文合并于本公开中。剧烈的动作或者姿势识别可能相当难以完成。特别是该系统应能够准确地判读该用户的意图,针对不同用户之间的动作差异调整,并确定该动作适用的范围。与系统或者设备互动的变通的,自然的,以及直观的方式应是让该系统判读用户的手和手指在显示屏前的三维空间中的动作,由此允许支持全范围的人类手和手指的可能结构和动作。基本地,熟悉的二维触摸屏被扩展入更自由,更不受约束的,和更直观的三维互动空间,其支持的可能姿势和互动的范围更具表现力。为了实现这种更自然和更直观的互动类型,该系统应能充分地识别用户的手和手指的结构和动作。常规的摄像机,如RGB摄像机,不足以实现此目的,因为这些摄像机产生的数据难以准确和良好地判读。特别是,在该图像中的物件难以和背景区分,数据对照明条件敏感,并且在该图像中的不同物件之间发生闭合。相反的,用深度传感器在近距离跟踪手和手指及其它物件可以产生支持对该用户的手和手指进行高精确的良好跟踪的数据,以实现这种新的,直观的以及有效的方式,以和系统或者设备互动。深度传感器被定义为对被获取图像的每一个像素获得深度数据的传感器,其中深度指物件和传感器本身之间的距离。深度传感器采用几种不同的技术达到此目的。其中包括依赖于时间飞跃(包括扫描TOF或者阵列T0F)传感器,结构光,激光斑纹图案技术,立体摄像机,和活动立体摄像机的传感器。在各种情形下,这些摄像机均产生具有固定像素分辨率的图像,其中每一个像素与一值,通常为整数值相关,这些值和该物件从该传感器被投射在该图像区域上的距离相应。除深度数据之外,该传感器还可以产生颜色数据,方式和常规的彩色摄像机相同,并且此数据可以和该深度数据组合用于处理。深度传感器产生的数据具有若干超过常规“2D”摄像机生成数据的优点。该深度传感器数据极大地简化了分割背景和前景的问题,通常在光照条件上变化良好,并能被有效地用于识别闭合。用深度传感器能够实时识别和跟踪用户的手和他的手指两者。对用户的手和手指的位置数据的认识可以随之被用于实现虚拟的“3D”触摸屏,其中与设备的互动是天然和直观的。该手和手指的动作可以加强用户与各种不同系统,设备,和/或电子设备·的互动,例如电脑,笔记本,移动电话,手持式游戏控制台,和汽车的仪表板控制器。而且,此界面实现的这些应用和互动包括生产工具和游戏,以及娱乐系统控制器(如媒体中心),增强现实,和许多其它形式的人和电子设备之间的通讯。本公开的内容描述了深度传感器图像用于在近距离更准确地识别和跟踪物件并可靠地处理用户的动作和姿势的用途。在此应用时,术语“近距离”通常指基本上的个人空间或者区域,用户在其中与基本上的个人设备互动,例如,从物理接口与系统或者设备互动。因此,在一个实施方式中,近距离深度图像典型地,但不是必然地本文档来自技高网...
<a href="http://www.xjishu.com/zhuanli/55/201210214182.html" title="用于近距离动作跟踪的系统和方法原文来自X技术">用于近距离动作跟踪的系统和方法</a>

【技术保护点】
一种用于操作用户界面的方法,该方法包括:用深度传感器获取一部分用户躯体的近距离深度图像;识别在该用户躯体的该部分的选定区域内的该深度图像动作;跟踪在该部分用户躯体的该区域内的该动作;显示该用户的躯体的该部分作为屏幕上的第一物件,其中该屏幕上的该第一物件被显示为执行与该用户躯体的该部分的被识别动作相当的姿势。

【技术特征摘要】
...

【专利技术属性】
技术研发人员:革舜·库特李洛夫柳井亚隆艾米特·布莱维斯夏哈尔·弗莱斯曼约塔姆·李维尼乔纳森·爱普斯坦
申请(专利权)人:奥美可互动有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1