虚拟目标跟踪制造技术

目标跟踪方法包括用被配置为调整成多个不同的姿势的机器可读模型来表示人类目标，并从源接收观察到的该人类目标的深度图像。当模型的各部分从人类目标在观察到的深度图像中的轮廓移开时，向模型的一个或多个受力位置施加一个或多个推力矢量，以在XY平面中将模型推向人类目标在观察到的深度图像中的轮廓。当观察到的深度图像的各部分从模型的轮廓移开时，向模型的一个或多个受力位置施加一个或多个拉力矢量，以在XY平面中将模型拉向人类目标在观察到的深度图像中的轮廓。

【技术实现步骤摘要】
【国外来华专利技术】虚拟目标跟踪背景许多计算机游戏和其他计算机视觉应用利用复杂的控制来允许用户操纵游戏人物或应用的其他方面。这些控制可能难以学习，从而对许多游戏或其他应用造成了进入市场壁垒。此外，这些控制可能与这些控制所用于的实际游戏动作或其他应用动作非常不同。例如，使得游戏人物挥动棒球拍的游戏控制可能完全不类似于挥动棒球拍的实际运动。概述提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。 这里讨论了与视觉目标跟踪有关的各种实施例。所公开的一个实施例包括用被配置为调整成多个不同的姿势的机器可读模型来表示人类目标，并从源接收观察到的该人类目标的深度图像。当模型的各部分从人类目标在观察到的深度图像中的轮廓移开时，向模型的一个或多个受力位置施加一个或多个推力矢量，以在XY平面中将模型推向人类目标在观察到的深度图像中的轮廓。当观察到的深度图像的各部分从模型的轮廓移开时，向模型的一个或多个受力位置施加一个或多个拉力矢量，以在XY平面中将模型拉向人类目标在观察到的深度图像中的轮廓。附图简述图IA示出了跟踪玩拳击游戏的游戏玩家的示例性目标识别、分析和跟踪系统的实施例。图IB示出了图IA的游戏玩家挥出重拳，该重拳被跟踪并且被解释成致使玩家化身在游戏空间中挥出重拳的游戏控制。图2示意性地示出根据本公开的一实施例的计算系统。图3示出了用于表示人类目标的示例性身体模型。图4示出了用于表示人类目标的示例性骨架模型的基本上正面的视图。图5示出了用于表示人类目标的示例性骨架模型的斜视图。图6示出了用于表示人类目标的示例性网格模型。图7示出了在视觉上跟踪目标的示例方法的流程图。图8示出了示例性的观察到的深度图像。图9示出了示例性的合成深度图像。附图说明图10示意性地示出了构成合成深度图像的像素中的某一些。图IlA示意性地示出了向模型的受力位置施加力。图IlB示意性地示出了向图IlA的模型的受力位置施加力的结果。图12A示出了从图IlA的模型渲染的玩家化身。图12B示出了从图IlB的模型渲染的玩家化身。图13示意性地示出了将合成深度图像与相应的观察到的深度图像进行比较。图14示意性地示出了标识图13的比较的不匹配的合成像素的区域。图15示意性地示出了合成深度图像和相应的观察到的深度图像的另一比较，其中不匹配的像素的区域对应于各种像素例。图16示意性地示出了拉像素例(pull pixel case)的示例实施例。图17示意性地示出了推像素例(push pixel case)的示例实施例。图18示出了详细列出各种像素例和骨架模型关节之间的示例关系的表。图19示出了向表示目标的模型的约束的施 加。图20示出了向表示目标的模型的约束的另一施加。图21示出了向表示目标的模型的约束的又一施加。详细描述本公开涉及目标识别、分析和跟踪。具体来说，公开了使用深度相机或其他源来获取一个或多个目标的深度信息。如下文详细描述的，这些深度信息然后可被用于高效且准确地对一个或多个目标进行建模以及跟踪。这里所述的目标识别、分析和跟踪提供了一种健壮的平台，其中可以相对较快的帧率来一致地跟踪一个或多个目标，即使目标移动成已被认为是使用其他方法难于分析的姿态(例如，当两个或更多个目标部分地互相重叠和/或遮挡时；当目标的一部分自遮挡同一目标的另一部分时；当目标改变其局部解剖外观(如某人触摸他的或她的头)时，等等)。图IA示出目标识别、分析和跟踪系统10的一非限制性示例。具体而言，图IA示出了计算机游戏系统12，该计算机游戏系统12可以用于玩各种各样不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用。图IA还示出了高清晰度电视即HDTV16形式的显示器14，该高清晰度电视可以用于向诸如游戏玩家18之类的游戏玩家呈现游戏视觉。此外，图IA示出了深度相机20形式的捕获设备，其可以用于视觉地监视诸如游戏玩家18之类的一个或多个游戏玩家。图IA中所示的示例是非限制性的。如下面参考图2所述，在不偏离本公开的范围的情况下可以使用各种不同类型的目标识别、分析和跟踪系统。目标识别、分析和跟踪系统可以用于识别、分析和/或跟踪诸如游戏玩家18之类的一个或多个目标。图IA示出了一种场景，其中使用深度相机20跟踪游戏玩家18，使得游戏玩家18的移动可以被游戏系统12解释成可以用于影响由游戏系统12执行的游戏的控制。换言之，游戏玩家18可以使用他的移动来控制游戏。游戏玩家18的移动可以被解释成实际上任何类型的游戏控制。图IA中示出的示例场景示出了游戏玩家18正在玩正由游戏系统12执行的拳击游戏。游戏系统使用HDTV 16来在视觉上向游戏玩家18呈现拳击对手22。此外，游戏系统使用HDTV 16来在视觉上呈现游戏玩家18用他的移动控制的玩家化身24。如图IB中所示，游戏玩家18可以在物理空间中挥出重拳来作为对玩家化身24在游戏空间中挥出重拳的指令。游戏系统12和深度相机20可以用于识别和分析游戏玩家18在物理空间中的重拳，从而使得该重拳可以被解释成使得游戏化身24在游戏空间中挥出重拳的游戏控制。例如，图IB示出了 HDTV 16响应于游戏玩家18在物理空间中挥出重拳而在视觉上呈现游戏化身24挥出袭击拳击对手22的重拳。游戏玩家18的其他移动也可以被解释成其他控制，诸如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同力度的重拳等控制。此外，一些移动可以被解释成用于除了控制游戏化身24之外的目的的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。在某些实施例中，目标可包括人类和物体。在这些实施例中，例如，电子游戏的玩家可能正手持物体，从而玩家和物体的运动被用来调整和/或控制电子游戏的参数。例如，可以跟踪并利用手持球拍的玩家的运动来控制电子体育游戏中的屏幕上球拍。在另一示例中，可以跟踪并利用手持物体的玩家的运动来控制电子格斗游戏中的屏幕上武器。目标识别、分析和跟踪系统可以用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。实际上操作系统和/或诸如图IA和IB中所示的拳击游戏之类的应用的任何可控制的方面都可以由诸如游戏玩家18之类的目标的移动来控制。所示出的拳击场景是作为示例来提供的，但决不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。在此所述的方法和过程可以绑定到各种不同类型的计算系统。图IA和IB示出了 游戏系统12、HDTV 16和深度相机20形式的非限制性示例。作为另一更一般的示例，图2示意性地示出可以执行这里所述的目标识别、跟踪和分析方法和过程中的一个或多个的计算系统40。计算系统40可以采取各种不同的形式，尤其包括但不限于游戏控制台、个人计算游戏系统、军用跟踪和/或定标系统、以及提供绿屏或者运动捕获功能的特征采集系统。计算系统40可包括逻辑子系统42、数据保持子系统44、显示子系统46和/或捕捉设备48。计算系统可任选地包括未示出在图2中的组件，并且/或者示出在图2中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.12.07 US 12/632,6771.一种跟踪人类目标的方法，所述方法包括 用被配置为调整成多个不同的姿势的机器可读模型来表示所述人类目标； 将所述人类目标的所述机器可读模型光栅化成合成深度图像包括感兴趣的合成像素的一部分； 从源接收观察到的所述人类目标的深度图像，所述观察到的深度图像包括与所述感兴趣的合成像素相对应的观察到的像素。如果所述观察到的像素的观察到的深度值比所述感兴趣的合成像素的合成深度值小超过拉阈值量，则向所述模型的受力位置施加拉力矢量，以将所述模型拉向所述感兴趣的合成像素；或者 如果所述观察到的深度值比所述合成深度值大超过推阈值量，则向所述模型的受力位置施加推力矢量，以将所述模型推离所述感兴趣的合成像素。2.如权利要求I所述的方法，其特征在于，所述拉力矢量的大小与所述感兴趣的合成像素和所述模型的轮廓上的最近的合格像素间的拉偏移距离成比例。3.如权利要求2所述的方法，其特征在于，在屏幕空间中所述拉力矢量的大小(D2)为 D2=2*(Dl-0. 5像素)，其中Dl是用像素表示的拉偏移距离。4.如权利要求2所述的方法，其特征在于，所述拉力矢量的方向平行于从所述模型的轮廓上的最近的合格像素延伸到所述感兴趣的合成像素的矢量。5...

【专利技术属性】
技术研发人员：R·M·盖斯，
申请(专利权)人：微软公司，
类型：发明
国别省市：