用于为目标跟踪处理图像的系统和方法技术方案

本发明专利技术描述了用于为目标跟踪处理图像的系统和方法。可由设备接收、观察或捕捉诸如场景的深度图像等的图像。然后可处理该图像。例如，可以对图像进行降采样，可以确定图像中的阴影、噪声和/或丢失部分，可以确定图像中可在由与图像相关联的捕捉设备所定义的范围之外的像素、可以检测图像中与地板相关联的一部分。另外，可以确定并扫描图像中的目标。随后可基于已处理的图像来呈现细化的图像。然后可处理细化的图像来例如跟踪用户。

【技术实现步骤摘要】

技术介绍
诸如计算机游戏、多媒体应用程序等的许多计算应用程序使用控制命令来允许用 户操纵游戏角色或应用程序的其他方面。通常这些控制命令是使用例如，控制器、遥控器、 键盘、鼠标等来输入的。不幸的是，这些控制命令可能是难以学习的，由此造成了用户和这 些游戏及应用程序之间的障碍。此外，这些控制命令可能与这些控制命令所用于的实际游 戏动作或其他应用程序动作不同或者从其中进行抽象。例如，使得游戏角色旋转棒球拍的 游戏控制命令可能不与旋转棒球拍的实际动作相对应。
技术实现思路
本文公开了可用于跟踪场景中的一个或多个用户的处理场景的图像的系统和方 法。例如，可以接收或观察诸如场景的深度图像等的图像。随后可以处理该图像。例如，可 以对该图像进行降采样，可以确定图像中的阴影、噪声、和/或丢失部分和/或可以估计与 其相关联的值，可以确定可以在与图像相关联的捕捉设备所限定的范围之外的图像中的像 素，和/或可以检测与诸如地板、墙等的平坦表面相关联的图像的一部分。另外，可以分析 图像来判定目标是否可被包括在其中，且基于该判定，可以扫描目标。还可以通过例如从图 像中的诸如非目标对象等的环境中分割目标以便可以创建诸如目标的二进制掩码等的掩 码且可以移除或丢弃与该环境相关联的一个或多个像素来处理图像。还可以基于已处理的图像来呈现细化的图像。根据一实施例，细化的图像可以是 已移除和/或平滑了噪声、丢失部分、阴影等，已隔离了目标，已标识了诸如地板、墙等的平 坦表面，或已在其上执行了任何其他合适的处理的图像。在一实施例中，随后可以处理与目标相关联的细化的图像和/或诸如二进制掩码 等掩码。例如，目标识别、分析和跟踪系统可处理与目标相关联的细化的图像和/或二进制 掩码从而可以生成所捕捉的场景中的目标的模型，如骨架模型、网格模型等。提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本
技术实现思路
并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所 要求保护的主题的范围。此外，所要求保护的主题不限于解决在本专利技术的任一部分中提及 的任何或所有缺点的实现。附图说明图IA和IB示出伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。图2示出可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画 化目标识别、分析和跟踪系统所显示的化身或屏幕上人物的计算环境的示例实施例。图4示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画 化目标识别、分析和跟踪系统所显示的化身或屏幕上人物的计算环境的另一示例实施例。图5描绘了用于处理场景的图像来跟踪可被包括在该场景中的目标的示例方法4的流程图。图6示出可被捕捉或观察的深度图像的示例实施例。图7描绘了用于处理场景的图像来跟踪可被包括在该场景中的目标的示例方法 的流程图。图8示出可包括红外阴影的深度图像的示例实施例。图9示出可包括一个或多个丢失部分或孔洞的深度图像的示例实施例。图10示出可基于对可被捕捉或观察的图像的处理来呈现的细化的深度图像的示 例实施例。具体实施例方式图IA和IB示出伴随用户18玩拳击游戏的目标识别、分析和跟踪系统10的配置 的示例实施例。在一示例实施例中，目标识别、分析和跟踪系统10可用于识别、分析和/或 跟踪诸如用户18等的人类目标。如图IA所示，目标识别、分析和跟踪系统10可包括计算环境12。计算环境12可 以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/ 或软件组件，从而使得计算环境12可用于执行诸如游戏应用程序、非游戏应用程序等的应 用程序。在一实施例中，计算环境12可包括可执行各种指令的诸如标准化处理器、专用处 理器、微处理器等的处理器，这些指令包括，例如，接收图像的指令、处理图像来确定场景的 一个或多个特性的指令、基于场景的一个或多个特性来呈现细化的图像的指令、或任何其 他合适的指令，这些将在下面更详细地描述。如图IA所示，目标识别、分析和跟踪系统10还可包括捕捉设备20。捕捉设备20 可以是，例如可用于在视觉上监视诸如用户18等的一个或多个用户从而可以捕捉、分析并 跟踪一个或多个用户所执行的姿势和/或移动，来执行应用程序中的一个或多个控制命令 或动作和/或动画化化身或屏幕上人物的照相机，如将在下面更详细地描述的。根据一实施例，目标识别、分析和跟踪系统10可连接到可向诸如用户18等的用户 提供应用程序视觉形象和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV) 等。例如，计算环境12可包括可提供与游戏应用程序、非游戏应用程序等相关联的视听信 号的诸如图形卡等的视频适配器和/或诸如声卡等的音频适配器。视听设备16可从计算 环境12接收视听信号然后可向用户18输出与该视听信号相关联的游戏或应用程序视觉形 象和/或音频。根据一实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电 缆、DVI电缆、VGA电缆等连接到计算环境12。如图IA和IB所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸 如用户18等的人类目标。例如，可使用捕捉设备20来跟踪用户18，从而可以捕捉用户18 的姿势和/或移动来动画化化身或屏幕上人物，和/或可将用户18的姿势和/或移动解释 为可用于影响计算环境12所执行的应用程序的控制命令。因此，根据一实施例，用户18可 移动他的或她的身体来控制应用程序和/或动画化化身或屏幕上人物。如图IA和IB所示，在一示例实施例中，在计算环境12上执行的应用程序可以是 用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供 拳击对手38的视觉表示。计算环境12还可使用视听设备16来提供用户18可用他的或她的移动来控制的玩家化身40的视觉表示。例如，如图IB所示，用户18可在物理空间中用 拳猛击来使得玩家化身40在游戏空间中用拳猛击。因此，根据一示例实施例，目标识别、分 析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析物理空间中用户18的重 拳从而使得该重拳可被解释为对游戏空间中的玩家化身40的游戏控制和/或该重拳的运 动可用于动画化游戏空间中的玩家化身40。用户18的其他移动也可被解释为其他控制命令或动作，和/或用于动画化玩家化 身，如上下快速摆动、闪避、滑步、封堵、用拳猛击或挥动各种不同的有力重拳的控制命令。 此外，某些移动可被解释为可对应于除控制玩家化身40之外的动作的控制命令。例如，在 一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流 等。根据另一实施例，玩家可使用移动来从主用户界面选择游戏或其他应用程序。因此，在 示例实施例中，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用 程序进行交互。在示例实施例中，诸如用户18等的人类目标可具有对象。在这些实施例中，电子 游戏的用户可手持对象从而可以使用玩家的运动和对象来调整和/或控制游戏的参数。例 如，可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上球拍。在另一示 例实施例中，可以跟踪并利用玩家手持对象的运动来控制电子格斗游戏中的屏幕上武本文档来自技高网...

【技术保护点】
一种用于处理场景的图像的方法，所述方法包括：接收所述图像；处理所述图像来确定所述场景的一个或多个特性；以及基于所述场景的一个或多个特性来呈现细化的图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：Z·马特，C·C·马莱斯，C·佩珀，J·柏托尔拉米，R·M·盖斯，
申请(专利权)人：微软公司，
类型：发明
国别省市：US