表面计算机用户交互制造技术

描述了表面计算机用户交互。在一个实施例中，捕捉正在与在表面计算设备的表面层上显示的用户界面进行交互的用户的手的图像。使用该图像来呈现手的相对应的表示。表示被显示在用户界面中，使得该表示被几何地与用户的手对齐。在各实施例中，表示是阴影或反射的表示。实时地执行过程，使得手的移动会导致表示相应地移动。在某些实施例中，确定手和表面之间的间隔距离，并将其用于控制在3D环境中呈现的对象在表面层上的显示。在某些实施例中，根据间隔距离来修改涉及对象的外观的至少一个参数。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
传统上，用户与计算机的交互是通过键盘和鼠标来进行的。已经开发出了允许用户使用指示笔进行输入的平板PC，还产生了允许用户通过触摸屏幕(例如，按下软按钮)来更直接地交互的触敏屏幕。然而，对指示笔或触摸屏的使用一般仅限于在任何一个时间对单个触摸点的检测。最近，已经开发出了允许用户使用多个手指直接与在计算机上显示的数字内容进行交互的表面计算机。计算机的显示器上的这样的多触摸输入给用户提供了直观的用户界面。一种进行多触摸检测的方法是在显示表面的上方或下方使用相机并使用计算机视觉算法来处理捕捉到的图像。支持多触摸的交互式表面是用于对3D虚拟世界进行直接操纵的期望的平台。一次感应多个指尖的能力允许对可用于对象操纵的自由度的扩展。例如，尽管可以使用单个手指来直接控制对象的2D位置，但是，可以启发式地解释两个或更多个手指的位置和相对运动，以便确定对象相对于虚拟底部的高度(或其他特性)。然而，学习和准确地执行诸如这样的技术之类的技术对于用户来说是麻烦的，并且复杂，因为手指移动和对象之间的映射是间接的。下面所描述的各实施例不限于解决已知表面计算设备的任何或全部缺点的实现。
技术实现思路
下面呈现了本专利技术的简要概述，以便向读者提供基本理解。本概述不是本专利技术的详尽概述，并且不标识本专利技术的关键/重要元素，也不描述本发明的范围。其唯一的目的是以简化形式呈现此处所公开的一些概念，作为稍后呈现的更详细的描述的序言。描述了表面计算机用户交互。在一个实施例中，捕捉正在与在表面计算设备的表面层上显示的用户界面进行交互的用户的手的图像。使用该图像来呈现手的相对应的表示。该表示被显示在用户界面中，使得该表示被几何地与用户的手对齐。在各实施例中，表示是阴影或反射的表示。实时地执行过程，使得手的移动会导致该表示相应地移动。在某些实施例中，确定手和表面之间的间隔距离，并将其用于控制在3D环境中呈现的对象在表面层上的显示。在某些实施例中，根据间隔距离来修改涉及对象的外观的至少一个参数。通过结合附图参考以下详细描述，可更易于领会并更好地理解许多附带特征。附图描述根据附图阅读以下详细描述，将更好地理解本专利技术，在附图中：图1示出了表面计算设备的示意图；图2示出了用于允许用户与表面计算设备上的3D虚拟环境进行交互的过程；图3示出了表面计算设备上呈现的手阴影；图4示出了表面计算设备上呈现的对于不同高度的手的手阴影；图5示出了表面计算设备上呈现的对象阴影；图6示出了渐隐到黑色对象呈现；图7示出了渐隐到透明对象呈现；图8示出了渐渐消隐(dissolve)对象呈现；图9示出了线框对象呈现；图10示出了使用透明背面投影屏幕的替换表面计算设备的示意图；图11示出了在表面计算设备上方使用照明的替换表面计算设备的示意图；图12示出了使用直接输入显示器的替换表面计算设备的示意图；以及图13示出了其中可以实现表面计算机用户交互的各实施例的示例性基于计算的设备。在各个附图中使用类似的附图标记来指代类似的部件。详细描述下面结合附图提供的详细描述旨在作为本专利技术示例的描述，并不旨在表示可以构建或使用本专利技术示例的唯一形式。本描述阐述了本专利技术示例的功能，以及用于构建和操作本专利技术示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。虽然本示例此处被描述为和示为是在表面计算系统中实现的，但是，所描述的系统是作为示例而不是限制来提供的。如本领域技术人员将理解的，本专利技术示例适用于应用在各种不同类型的基于触摸的计算系统中。图1示出了其中提供了用户与3D虚拟环境的交互的表面计算设备100的示例示意图。请注意，图1所示出的表面计算设备只是一个示例，也可以使用替换的表面计算设备布局。如下面所描述的，参考图10到12示出了进一步的替换的示例。术语“表面计算设备”此处被用来表示包括被用来显示图形用户界面和检测到计算设备的输入的表面的计算设备。表面可以是平面的，或者也可以是非平面的(例如，弯曲的或球状的)，并可以是刚性的或柔软的。到表面计算设备的输入可以，例如，通过用户触摸表面或通过使用对象(例如，对象检测或指示笔输入)来进行。所使用的任何触摸检测或对象检测技术都可以允许检测单触点或可以允许多触摸输入。还要注意，尽管在下面的描述中，使用了水平表面的示例，但是，表面可以是任何朝向。因此，对水平表面“上方的高度”的引用(或类似的)是指与表面的基本上垂直的间距。表面计算设备100包括表面层101。表面层101可以，例如，被水平地嵌入在桌子中。在图1的示例中，表面层101包括可切换的散射器102和透明窗格103。可切换的散射器102可在基本上散射的状态和基本上透明的状态之间切换。透明窗格103可以由，例如，丙烯酸构成，并被边缘照明(例如，从一个或多个发光二极管(LED)104)，使得在边缘处输入的光在透明窗格602内接受总内部反射(TIR)。优选地，透明窗格103是利用红外线(IR)LED边缘照射的。表面计算设备100还包括显示设备105、图像捕捉设备106、以及触摸检测设备107。表面计算设备100还包括被安排为照射表面层101上方的对象的一个或多个光源108(或发光物)。在此示例中，显示设备105包括投影仪。投影仪可以是任何合适类型的投影仪，如LCD、硅基液晶(LCOS)、数字光处理(DLP)或激光投影仪。另外，投影仪可以是固定的，或者也可以是可转向的。请注意，在某些示例中，投影仪也可以充当用于照射表面层101上方的对象的光源(在这样的情况下，可以省略光源108)。图像捕捉设备106包括相机或其他光学传感器(或传感器阵列)。光源108的类型对应于图像捕捉设备106的类型。例如，如果图像捕捉设备106是IR相机(或带有IR-通带滤波器的相机)，那么，光源108是IR光源。可另选地，如果图像捕捉设备106是可见光相机，那么，光源108是可见光源。类似地，在此示例中，触摸检测设备107包括相机或其他光学传感器(或传感器阵列)。触摸检测设备107的类型对应于透明窗格103的边缘照明。例如，如果透明窗格103是利用一个或多个IR LED边缘发光的，那么，触摸检测设备107包括IR相机，或带有IR-通带滤波器的相机。在图1所示出的示例中，显示设备105、图像捕捉设备106，以及触摸检测设备107位于表面层101以下。其他配置也本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.06.16 US 12/485,4991.一种用于控制表面计算设备的方法，包括：
捕捉与在所述表面计算设备(100)的表面层(101)上显示的用户界面进
行交互的用户的手(109)的图像；
使用所述图像来呈现所述手(109)的相对应的表示(301)；以及
在所述表面层(101)上的所述用户界面中显示所述表示(301)，使得所
述表示(301)被几何地与所述手(109)对齐。
2.如权利要求1所述的方法，其特征在于，所述表示(301)是下列各项
中的一项：所述手在所述表面层上的阴影的表示；以及所述手在所述表面层上
的反射的表示。
3.如权利要求1或权利要求2所述的方法，其特征在于，实时地执行捕捉
图像、使用所述图像，以及显示所述表示(301)的步骤，使得所述手(109)
的移动导致所述表示(301)在所述用户界面上相应地移动。
4.如前面的任何一个权利要求所述的方法，其特征在于，还包括确定所述
手(109)和所述表面层(101)之间的间隔距离的步骤。
5.如权利要求4所述的方法，其特征在于，所述表示(301)被呈现，使
得所述表示(301)具有与所述间隔距离相关联的透明度。
6.如权利要求4或5所述的方法，其特征在于，其特征在于，确定所述手
(109)和所述表面层(101)之间的间隔距离的步骤包括分析所述手(109)
的所述图像的平均像素强度。
7.如权利要求4到6中任一权利要求所述的方法，其特征在于，还包括下
列步骤：
在所述用户界面中显示3D环境的表示；
检测由用户对在所述3D环境中呈现的对象(501)的选择；
确定所述手(109)相对于所述表面层(101)的平面位置；以及
控制所述对象(501)的显示，使得所述对象在所述3D环境中的位置与
所述手(109)的所述间隔距离和平面位置相关。
8.如权利要求7所述的方法，其特征在于，控制所述对象(501)的所述
显示的步骤还包括根据所述间隔距离来修改与所述对象的外观有关的至少一
个参数。
9.如权利要求8所述的方法，其特征在于，所述修改步骤包括如果所述间
隔距离大于预定的阈值，则修改所述至少一个参数。
10.如权利要求7到9中任一权利要求所述的方法，其特征在于，还包
括下列步骤：
根据所述对象在所述3D环境中的位置，...

【专利技术属性】
技术研发人员：S·伊扎迪，N·韦拉，O·希利格斯，S·E·豪杰斯，A·加西亚门多萨，A·D·威尔逊，
申请(专利权)人：微软公司，
类型：发明
国别省市：