用于视觉显示器的虚拟控制器制造技术

描述了用于视觉显示的虚拟控制器。在一个实现中，照相机捕捉相对于背景的手的图像。该图像被分割成手区域和背景区域。各种手和手指姿势将背景的各部分隔离成各独立区域，然后将用于操纵视觉显示的控制参数分配给这些区域。多个控制参数可以与由两个手形成的、用于高级控制的多个独立区域的属性相关联，该高级控制包括点击、选择、执行、水平移动、垂直移动、卷屏、拖拽、旋转移动、缩放、最大化、最小化、执行文件功能、以及执行菜单选项的同时发生的功能。

【技术实现步骤摘要】
【国外来华专利技术】用于视觉显示器的虚拟控制器些旦 冃豕手移动和手信号是人类表达和交流的自然形式。该知识对人机交互的应用 导致了允许人类手势作为计算机输入的基于视觉的计算机技术的开发。计算机 视觉是能够以捕捉一个人的手或身体的不受阻碍的运动为目标来实现人类手 势输入系统的技术。然而，当前正在开发的许多基于视觉的技术涉及需要非自 然手势和附加设备的难以使用的运用。这些技术可以是复杂且庞大的，从而导 致由于远离标准的计算机使用位置的重复的手移动而降低效率。当前计算机输入方法一般涉及使用键盘的文本输入和经由鼠标或指示笔 的光标操纵两者。键盘和鼠标之间的反复切换随着时间的推移降低了用户的效 率。计算机视觉技术已试图通过利用手移动作为输入来对人机输入任务的效率 低下进行改进。在检测发生在诸如键盘等计算机使用期间的常见手位置的情况 下，该利用将会是最有效的。许多现有的基于视觉的计算机技术将对定点或伸 出的手指的使用用作输入手势。由于定点手势与打字期间的自然手定位类似， 难以检测位于或在键盘位置附近的手势。大多数现有计算机视觉技术利用手势检测和跟踪范例来传感手势和移动。 这些检测和跟踪范例是复杂的，其使用复杂的模式识别技术来恢复手的形状和 位置。检测和跟踪受到若干因素的限制，包括难以实现合理的计算复杂性，由 于人类手移动和手势中的歧义而导致的实际检测中的问题，以及缺乏对允许多 于一个用户交互的技术的支持。6概述提供本概述以便介绍将在以下详细描述中进一步描述的用于视觉显示器 的虚拟控制器的简化概念。本概述并不旨在标识所要求保护的主题的必要特 征，也不旨在用于帮助确定所要求保护的主题的范围。在用于视觉显示器的虚拟控制器的一个实现中，照相机或其他传感器检测 相对于背景的一个或多个手的图像。该图像被分割成手区域和背景区域，并且 在各间隔处对在该图像中通过拇指和一手指做出封闭的环形成的不同的、独立 的背景区域一 "洞"进行计数(例如，每个手可创建一个洞)。拇指和食指在以此方式使用时被称作"拇指和食指接口" (TAFFI)。其他类型的手和手指 接口也是有可能的。至少一个控制参数然后被分配到每一个经识别的洞，或捕 捉到的图像中的独立背景区域，该控制参数通常允许用户的手操纵屏幕或监视 器上所显示的图像的某一方面。例如，鼠标点击功能可以在手的拇指和食指互 相接触以创建在视觉上独立的背景区域时被分配为控制参数。可以分配控制参 数以使得显示的图像与同该控制参数相关联的独立区域的形状和/或位置的每 一改变相关地，或与正在形成或展开(拇指和食指接触时的高状态以及拇指和 食指打开时的低状态)的独立区域相关地改变。7附阅條;古 m w ibj在各附图中，使用相同的标号来指示相同的特征和组件附图说明图1是其中可实现用于视觉显示器的示例性虚拟控制器的示例性基于计算机的系统的图示。图2是示例性虚拟控制器系统的框图。图3是图2的虚拟控制器系统的示例性分割器中所使用的图像分割的图示。图4是示例性拇指和食指接口控制的图示。图5是用手和手指姿势来控制视觉显示器的示例性方法的流程图。8详细描述 概览本专利技术描述了用于视觉显示器的虚拟控制器。在一个实现中，示例性系统 通过利用应用于手和手指姿势的基于视觉的计算机技术来提供诸如计算机监 视器所特有的视觉用户界面等显示器的导航。在一个实现中，用户在键盘上打 字并且然后例如，通过暂停键盘键入并仅将一个手的拇指和食指碰在一起(犹如拿着一小指示笔)来调用"拇指和食指接口"即"TAFFI"。该示例性系统传感该事件并将控制参数分配给由该手指姿势形成的独立背景区域的各属性 以便控制虚拟显示器上的图像。"虚拟"或"虚拟控制器"指的是装置与用户的手缺少物理接触。因此， 在一个实现中，虚拟控制器由定位在手和键盘上方的照相机以及从用户的手的 视觉图像中导出一个或多个接口的相关联的逻辑组成。分割将手对象与背景(例如，包括键盘)分离开。如果用户将食指与拇指接触(上文中的TAFFI)， 则该系统识别由该手势创建的独立背景区域并将其制表。即，该系统识别背景 的一片段已通过拇指和食指接触以形成封入背景区域的椭圆形"环形洞"的完 全封闭的"环"而在视觉上与主背景的剩余部分隔离开。通过除了计算机照相 机之外的装置来检测视觉图像也是有可能的。例如，嵌入在键盘或桌子中的2D 电极或天线阵列可使用静电或射频技术来对手势"成像"并且以类似于从照相 机捕捉图像的方式来处理。在一个实现中，独立背景区域在其在视觉上由手区域或在一个变型中由图 像和/或图像边界中的手区域来与背景的其它部分断开或隔离开时被认为是不 同的视觉对象。当手和手指的图像是用于确定独立背景区域的边界的定界实体 时，于是在拇指和食指"闭合"(互相接触)时创建的手的拇指和食指之间的 椭圆区域就在大约拇指和食指接触的时刻被计作一新的独立背景区域。该新的 独立背景区域可被认为是连接分量分析技术中的"连接分量"。这些连接分量 或新的独立背景区域一 "洞" 一此处将被称为"独立背景区域"或仅为"独立 区域"。应当理解，该术语指的是例如，连接分量分析技术中的、被认为是不 同的视觉对象。当拇指和食指"打开"时，新形成的独立背景区域消失并再次变成较大的独立背景区域的一部分。就连接分量分析技术而言，连接分量是二值图像中具有类似属性的、由于 属性相似性而分组在一起的一组像素。每一个连接分量通常对应于如由人类观 察者观察到的不同的视觉对象。通过图像的手或手指区域的一部分而在视觉上 独立于背景的其他部分的该背景的每一部分都可被定义为独立区域，或者在连 接分量分析的语言中，被定义为与背景连接分量不同的新形成的连接分量。当然，其他实现可以使用手的其他手指的移动或接触来形成"洞"或"独立区域"。因此，"TAFFI"应被宽泛地解释为是指在视觉上将背景的一部分与一般背景的剩余部分隔离开的手指和手的配置。例如，人手的拇指和任何其他手指，或仅仅不是拇指的两个手指也可形成"TAFFI"接口。然而，为了简 化描述，各实现通常将按照"拇指和食指"来描述。一旦检测模块将新的独立背景区域与一般背景区域区分开来，系统就将该 新识别的独立区域与使得用户能够操纵视觉用户界面上所显示的图像的一个 或多个控制参数相关联。视觉用户界面上所显示的图像可以在跟踪独立背景区 域的位置、形状、以及甚至存在时经由控制参数来改变。在一个实现中， 一示例性系统能够检测多于一个独立区域，从而允许用户 通过其中一个或两个手可参与的多个控制参数来控制显示的图像。多个控制参 数与多个独立区域的关联使得对显示的图像的控制与每一检测到的独立区域 的形状、位置、和存在的改变相关。因此，对显示的图像的操纵可包括对点击、 选择、执行、水平移动、垂直移动、巻屏、拖拽、旋转移动、縮放、最大化和 最小化、文件功能、菜单部署和使用等的控制。此外，控制参数还可被分配给 多个识别出的独立区域之间的关系。即，例如，在两个独立区域相对于彼此移 动时，各种控制参数可被附加到它们之间的距离。例如，当每个手的独立区域 远离彼此移动时，图像可縮放或拉伸，或可以按其中独立区域之间的距离改变 的维度或向量拉伸。虽然所描述的用于虚拟控制器的系统和方法的特征和概念可以在许多不 同的环境中实现，但是虚拟控制器的实现是在以下示例本文档来自技高网...

【技术保护点】
一种方法，包括：　经由照相机检测相对于背景的一个或多个手的图像（５０２）；　将所述图像分割成手区域和背景区域（５０４）；　每隔一段时间对所述背景的多个独立区域进行计数（５０６），其中通过所述手区域中的一个的至少一部分而在视 觉上独立于所述背景的其他部分的所述背景的每一部分都被定义为独立区域；　将用于操纵用户界面上的显示的图像的控制参数与每一计数的独立区域相关联（５０８）；　经由所述控制参数与同所述控制参数相关联的所述独立区域的形状和／或位置的每一改 变相关地改变所述显示的图像（５１０）。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：AD威尔森，MJ辛格莱尔，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]