界面控件的按压启动制造技术

本发明专利技术涉及界面控件的按压启动。计算系统将人类目标的手的世界空间位置转换为用户界面的屏幕空间光标位置。当光标覆盖用户界面中的按钮时，计算系统响应于手在世界空间中的、将光标位置沿着z轴改变深度阈值的移动来启动按钮，而不管光标的初始z轴位置。当按钮包括启动锁时，如果光标路径满足解锁准则，则计算系统在按钮启动之前解锁启动锁。

【技术实现步骤摘要】

本专利技术涉及界面控件的启动技木。
技术介绍
计算机技术允许人类以各种方式与计算机进行交互。一种这样的交互可在人类使用诸如鼠标、跟踪垫和游戏控制器之类的各种输入设备来启动计算设备的用户界面上的按钮时发生。
技术实现思路
可以将用户的手在世界空间内的三维位置转换成用户界面的屏幕空间光标位置。 当用户在世界空间中移动手时，光标在用户界面上到处移动。当手移动光标使得在该光标覆盖按钮时该光标的深度改变至少ー阈值量时可以启动用户界面的按钮，而不管光标在用户界面上的初始深度。提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进ー步描述的ー些概念。本
技术实现思路
并不g在标识所要求保护主题的关键特征或必要特征，也不g在用于限制所要求保护主题的范围。此外，所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。附图说明图I根据本专利技术的ー实施例示出查看所观察的场景的深度图像分析系统。图2在某种程度上示意性地示出在所观察的场景中的用示例骨架数据来建模的人类目标。图3示出在世界空间中的导致相应的屏幕空间光标移动的手移动的示例。图4示出启动用户界面的按钮的示例光标移动。图5示出示例光标移动的光标速度向量。图6示出光标速度响应于光标移动的改变的示例序列。图7示意性地示出根据本专利技术的一实施例的计算系统。具体实施例方式诸如3D视觉计算系统等深度图像分析系统可包括能够观察ー个或多个游戏玩家或其他计算机用户的深度相机。在深度相机捕捉所观察的场景内的游戏玩家或其他计算机用户的图像吋，那些图像可被解释并用一个或多个虚拟骨架来建摸。经建模的骨架的各个方面可用作到用户界面的输入命令。例如，计算系统可能能够基于玩家的经建模的手的移动来确定是否玩家正尝试按压用户界面的按钮。图I示出了深度图像分析系统10的非限制性示例。具体而言，图I示出了游戏系统12，该游戏系统12可以用于玩各种不同的游戏、播放ー个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。图I还示出了诸如电视机或计算机监视器之类的可用于向游戏玩家呈现游戏视觉的显示设备14。作为ー个示例，显示设备14可用于在视觉上呈现人类目标18用其移动来控制的虚拟化身16。深度图像分析系统10可包括捕捉设备，诸如在视觉上监视或跟踪所观察的场景24内的人类目标18的深度相机22。參考图7更详细地讨论深度相机22。人类目标18在此被示为所观察的场景24内的游戏玩家。人类目标18由深度相机22来跟踪，使得人类目标18的移动可被游戏系统12解释成可用于影响游戏系统12正在执行的游戏的控制。換言之，人类目标18可使用他或她的移动来控制游戏。人类目标18的移动可以被解释成基本上任何类型的游戏控制。人类目标18的某些移动可被解释成用于除控制虚拟化身16以外目的的控制。作为非限制性示例，人类目标18的移动可被解释成用户界面控制，诸如用于按压显示设备14所显示的虚拟用户界面的虚拟按钮的控制。深度相机22还可用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。操作系统和/或应用的基本上任何可控方面都可以由人类目标18的移动来控制。图 I中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景g在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。此处描述的方法和过程可以结合到各种不同类型的计算系统。图I示出了游戏系统12、显示设备14和深度相机22形式的非限制性示例。一般而言，深度图像分析系统可包括图7中以简化形式示出的计算系统160，该计算系统160将在下文更详细地讨论。图2示出了简化的处理流水线，其中所观察的场景24中的人类目标18被建模成虚拟骨架38，该虚拟骨架38可被用于在显示设备14上绘制虚拟化身16和/或用作控制游戏、应用、和/或操作系统的其他方面的控制输入。可以理解，与图2中所描绘的那些步骤相比，处理流水线可包括附加的步骤和/或替换步骤，而不背离本专利技术的范围。如图2所示，人类目标18和所观察的场景24中的其余部分可通过诸如深度相机22之类的捕捉设备来成像。深度相机可为每ー像素确定在所观察的场景中的表面相对于深度相机的深度。在不偏离本公开的范围的情况下，可以使用基本上任何深度寻找(depthfinding)技木。參考图7更详细地讨论了示例深度寻找技木。为每个像素确定的深度信息可用于生成深度图36。这样的深度图可采用基本上任何合适的数据结构的形式，包括但不限于包括所观察场景的每个像素的深度值的矩阵。在图2中，深度图36被示意性地示为人类目标18的轮廓的像素化网格。这一例示是出于理解简明的目的、而不是出于技术准确性的目的。可以理解，深度图一般包括所有像素(不仅是对人类目标18进行成像的像素)的深度信息，并且深度相机22的视角不会得到图2中所描绘的轮廓。虚拟骨架38可从深度图36导出，以提供人类目标18的机器可读表示。換言之，从深度图36导出虚拟骨架38以对人类目标18建模。虚拟骨架38可以按任何合适的方式从深度图中导出。在某些实施例中，可将ー个或多个骨架拟合算法应用于深度图。本专利技术与基本上任何骨架建模技术兼容。虚拟骨架38可包括多个关节，每ー关节对应于人类目标的一部分。在图2中，虚拟骨架38被示为十五个关节的线条画。这ー例示是出于理解简明的目的、而不是出于技术准确性的目的。根据本专利技术的虚拟骨架可包括基本上任何数量的关节，每个关节都可与基本上任何数量的參数(例如三维关节位置、关节旋转、对应身体部位的身体姿势(例如手张开、手合上等)等)相关联。应当理解，虚拟骨架可采取如下数据结构的形式该数据结构包括多个骨架关节中的每个关节的ー个或多个參数(例如包含每个关节的X位置、y位置、z位置和旋转的关节矩阵)。在一些实施例中，可使用其他类型的虚拟骨架(例如线框、一组形状图元等等)。 如图2所示，可将虚拟化身16作为虚拟骨架38的视觉表示呈现在显示设备14上。由于虚拟骨架38对人类目标18进行建摸，并且对虚拟化身16的呈递基于虚拟骨架38，因此虚拟化身16用作人类目标18的可查看的数字表示。由此，虚拟化身16在显示设备14上的移动反映人类目标18的移动。在一些实施例中，仅仅虚拟化身的部分将被呈现在显示设备14上。作为ー个非限制性示例，显示设备14可呈现人类目标18的第一人称视角，并因此可呈现能通过虚拟化身的虚拟眼睛来查看的虚拟化身的各部分(例如握有方向盘的伸出的手、握有步枪的伸出的手臂、抓住三维虚拟世界中的虚拟物体的伸出的手等)。尽管将虚拟化身16用作可经由深度图的骨架建模由人类目标的移动来控制的游戏的ー示例方面，但这并不g在为限制性的。人类目标可以用虚拟骨架来建摸，而虚拟骨架可用于控制除虚拟化身以外的游戏或其他应用的各方面。例如，即使虚拟化身没有被呈递到显示设备，人类目标的移动也可控制游戏或其他应用。代替显示人类目标的化身，可显示光标。图3示出其中手42在世界空间40中的位置被用于控制光标52在屏幕空间50中的位置的示例。可基于包括人类目标的世界空间场景的ー个或多个深度图像来跟踪该人类目标的手的移动。在因人类目标在世界空间40中到处移动而移动的交互区44中随时间跟踪手42在世界空间40中的移动。交互区44的位置和方向可基于人类目标的位置和方本文档来自技高网...

【技术保护点】

【技术特征摘要】
2011.02.16 US 13/028,9701.ー种计算系统(12，160)，包括 外围输入，它被配置成接收来自深度相机(22)的深度图像； 显示输出，它被配置成向显示设备(14)输出用户界面(60)，所述用户界面￠0)包括按钮(62)； 逻辑子系统(162)，它经由所述外围输入可操作性地连接至所述深度相机(22)并经由所述显示输出可操作性地连接至所述显示设备(14);以及 保持指令的数据保持子系统(164)，所述指令可被所述逻辑子系统(162)执行以便 从所述深度相机(22)接收包括人类目标(18)的世界空间场景(24)的ー个或多个深度图像； 将所述人类目标(18)的手(42)的世界空间位置(46)转换成所述用户界面(60)的屏幕空间光标位置(56)，使得所述手(42)在世界空间(40)中的移动导致光标(52)在屏幕空间(50)中的相应移动；以及 当所述光标(52)覆盖所述用户界面(60)中的所述按钮(62)时，响应于所述手(42)在世界空间(40)中的、将所述光标位置(56)沿着...

【专利技术属性】
技术研发人员：A·J·兰格里奇，
申请(专利权)人：微软公司，
类型：发明
国别省市：