基于交互的计算机接口方法及装置制造方法及图纸

一种基于交互的计算机接口范例技术包括判断与可见演示物之间的交互是不是被识别的交互。如果所述交互是被识别的交互，就确定控制信息，它具有多种类型之一。所述控制信息通过使用至少所述可见演示物和所述被识别交互的若干特征而确定。所述控制信息被映射至应用中的一项或者多项任务，使得需要特定类型控制信息的任何任务都能够从产生所述特定类型控制信息的任何可见演示物得到所述控制信息。所述控制信息适于所述一项或多项任务使用。

【技术实现步骤摘要】

一般说来，本专利技术涉及人机接口技术，更确切地说，涉及基于摄像头的计算机系统接口技术。
技术介绍
因为计算机系统的速度已经变得足以分析和响应所述摄像头产生的视频中出现的影像，近来基于摄像头的计算机系统接口变得更加重要了。此外，摄像头已经变得更加廉价，并且将很可能继续降价。在基于摄像头的计算机系统接口中，用户或者在自由空间打手势，或者直接与可见演示物交互，比如物体或投射的影像。所述用户可以做有语言意义的动作，移动或与物体交互，或者做哑剧式形体动作。所述摄像头捕获所述用户及其周围环境的影像，然后与所述摄像头连接的计算机系统分析来自所述摄像头的视频。所述计算机系统能够确定所述用户正在进行交互比如打手势，然后能够执行与所述交互有关的功能。例如，当所述用户触及投影网页上的链接所在的区域时，所述计算机就可以跟踪。然后所述计算机系统能够向所述投影机输出所述链接的目标，使其能够更新所述投射的影像。基于摄像头的交互具有非常灵活的潜力，所述用户不被约束在复杂的单用途硬件，并且所述接口不限于鼠标或击键输入。然而在目前的基于摄像头的系统中，是所述系统的设计师在定义特定的交互集，而且还可能有必须进行这些交互之处。这就使得所述系统难以适应新的环境，并且不允许所述用户根据其需要和限制来定制所述接口。
技术实现思路
一般说来，本专利技术提供了基于交互的计算机接口技术。一种基于交互的计算机接口范例技术包括判断与可见演示物之间的交互是不是被识别的交互。如果所述交互是被识别的交互，就确定控制信息，它具有多种类型之一。所述控制信息通过使用至少所述可见演示物和所述被识别交互的若干特征而确定。所述控制信息被映射至应用中的一项或者多项任务，使得需要特定类型控制信息的任何任务都能够从产生所述特定类型控制信息的任何可见演示物得到所述控制信息。所述控制信息适于所述一项或多项任务使用。通过参考以下的详细说明和附图，将获得对本专利技术更加全面的理解，以及本专利技术进一步的特性和优点。附图简要说明附图说明图1中的框图显示了根据本专利技术示范性实施例的计算机视觉系统通过摄像头和投影机与定义区域中用户的接口；图2中的框图显示了根据本专利技术示范性实施例的示范性计算机视觉系统；图3是示范方法流程图，训练计算机视觉系统根据用户的偏爱确定被识别的可见演示物、对这些被识别的可见演示物的被识别交互以及所述被识别交互的类型，以及产生适于与计算机系统中驻留的应用的任务进行通信的对应控制信息和适当映射信息；图4是示范方法流程图，正常使用计算机视觉系统，对给定的可见演示物，确定被识别的交互和对应的类型，以及产生适于与计算机系统中驻留的应用进行通信的对应控制信息。具体实施例方式基于摄像头的计算机系统接口是期望的计算机输入形式，因为这种接口提供的灵活性和表达力比固定的输入硬件比如键盘和鼠标多得多。这就允许所述接口更好地适应用户和计算机系统中驻留之相关联应用的需要。正如本文的介绍，所述接口也使用户可能调整交互，以适应他们身体的需要或者所述计算机系统所在的当前环境的约束。例如，假若用户正在把文件通过把文档投影到大屏幕上以显示给几个同事，她可能想配置计算机系统，使得所述文档根据她的手臂在所述投影之上的运动而滚动，而不用强迫她返回所述计算机控制台使用所述鼠标操作滚动条。这种类型的灵活性对身体受限的用户将尤其重要。无法使用固定的接口硬件比如键盘或鼠标的人，能够定义与其能力相符的接口。在当前基于摄像头的接口中，应用设计师能够创建一组固定的交互比如手势，在任何点位控制所述应用。这些方法类似于传统的计算机接口，不允许所述用户充分利用摄像头接口固有的所述灵活性，限制了这些方法的效用。本文提议的解决方案使得所述用户能够使用可见演示物作为标记，布置他们需要的所述接口。因此，本专利技术的示范性实施例允许物体(典型情况下是人体的或者由人控制的部位，或者兼而有之)与可见演示物交互。可见演示物可以是例如任何类型的物理对象、有影像的印刷页面、投影图像，或者其任何组合。摄像头观察所述交互和所述可见演示物，它向计算机视觉系统提供输入。交互就是可见演示物近旁的物体进行的任何动作。典型情况下，交互是用户的手势。所述计算机视觉系统将判断所述交互是不是被识别的交互，以及提取所述交互细节的有关信息。所述演示物和这种提取的信息用于确定控制信息，它适于输出至应用中的一项或多项任务，所述计算机视觉系统能够与之通信。这种控制信息具有多种类型之一，由所述交互提取的信息特征确定所述控制信息的特定参数。一般说来，所述应用驻留在所述计算机视觉系统本身中，尽管所述应用也可以驻留在与所述计算机视觉系统分开的计算机系统中。应用是计算机系统能够执行之指令的任何集合，任务是所述应用执行的或能够运行的某种功能。所述控制信息的不同类型是归纳交互(比如手势)重要方面的机制。类型的实例集合可以是零维的、一维的、二维的或三维的。控制信息可以包括所述类型对应的控制信号。例如，零维控制信号是可以触发应用中动作的二进制信号。零维控制信号可能由用户触及演示物而产生。一维控制信号是具有连续参数的值。一维控制信号可能由所述用户触及可见演示物之处的所述位置移动而产生。在一个示范性实施例中，应用会列出任务所需控制信息的所述类型，每个可见演示物会具有能够产生的一种或者多种类型的控制信息。在训练期间定义接口时，可见演示物产生的所述控制信息会映射至若干应用任务。应用通常具有许多已启动的任务，所述应用能够在任何时间点上执行它们。为了与本专利技术某些实施例做到完全无缝协作，应用会公布它启动或控制每项任务所需之输入类型的列表，所以所述系统能够将控制信息映射至这些输入。通过模拟典型情况下所述应用从所述用户或操作系统得到的输入类型(如鼠标点击事件)，本专利技术也能够与不公布这种列表的应用协作，尽管往往并非同样平稳。所述计算机视觉系统能够被训练为用于不同的可见演示物、与所述可见演示物之间的相关联的不同交互、这些交互的不同特征、可见演示物及其相关联交互对应的不同控制信息以及该控制信息到若干任务的不同映射。重要的是，在一个实施例中，单一可见演示物和与该可见演示物的给定交互能够以前一句中介绍的任何方式不同，取决于所述可见演示物的位置、所述应用的状态或者其他上下文信息。例如，假若所述可见演示物处于一个位置，击中所述可见演示物会使一个动作产生(如关闭警报)，但是假若所述可见演示物处于另一个位置，击中所述可见演示物会使另一个动作产生(如导致接受窗口的默认选项)。如果应用具有打开的帮助窗口(如处于指明所述帮助窗口正在工作的状态)，控制信息可能被映射至所述帮助窗口的任务(比如从内容列表中选择)。反之，如果所述应用正在正常状态下运行，控制信息可能被映射至与所述应用相关联的不同任务(比如选择工具栏对应的菜单)。此外，在某些实施例中，所述计算机视觉系统能够通过在定义区域中定位若干可见演示物(如通过搜索所述可见演示物)以及利用用户接口得知哪些可见演示物用于哪些交互，确定被识别的可见演示物。现在转向图1，根据本专利技术的示范性实施例，显示的计算机视觉系统110通过摄像头125和投影机120，接合所定义区域115。所述计算机视觉系统110连接所述摄像头125和所述投影机120。图2显示了示范计算机视觉系统110。在图1的实例中，所述摄像头125和投影本文档来自技高网...

【技术保护点】
一种在计算机系统上执行的用于基于交互的计算机接口的方法所述方法包括以下步骤：判断与可见演示物之间的交互是不是被识别的交互；以及如果所述交互是被识别的交互，就执行以下步骤：确定控制信息，它具有多种类型之一，所述控制信息 通过使用至少所述可见演示物和所述被识别交互的若干特征而确定；以及把所述控制信息映射至应用中的一项或者多项任务，使得需要特定类型控制信息的任何任务都能够从产生所述特定类型控制信息的任何可见演示物得到所述控制信息；其中，所述控制 信息适于所述一项或多项任务使用。

【技术特征摘要】
US 2004-10-1 10/957,1231.一种在计算机系统上执行的用于基于交互的计算机接口的方法所述方法包括以下步骤判断与可见演示物之间的交互是不是被识别的交互；以及如果所述交互是被识别的交互，就执行以下步骤确定控制信息，它具有多种类型之一，所述控制信息通过使用至少所述可见演示物和所述被识别交互的若干特征而确定；以及把所述控制信息映射至应用中的一项或者多项任务，使得需要特定类型控制信息的任何任务都能够从产生所述特定类型控制信息的任何可见演示物得到所述控制信息；其中，所述控制信息适于所述一项或多项任务使用。2.根据权利要求1的方法，其中，所述控制信息包括使用所述被识别交互的所述特征确定的一个或多个参数。3.根据权利要求2的方法，其中，所述参数包括所述一种类型的一个或多个值。4.根据权利要求1的方法，进一步包括以下步骤在区域中定位给定的一个或多个可见演示物之一；判断所述给定的可见演示物是不是被识别的可见演示物；所述判断与可见演示物之间的交互是不是被识别交互的步骤进一步包括判断与被识别可见演示物的交互是不是被识别交互的步骤；以及其中，当所述交互是所述被识别可见演示物的被识别交互时，就执行确定控制信息和映射所述控制信息的步骤。5.根据权利要求1的方法，进一步包括判断由某个对象执行与所述可见演示物之间的所述交互的步骤。6.根据权利要求1的方法，其中，所述多种类型包括零维的、一维的、二维的或三维的类型。7.根据权利要求6的方法，其中，所述控制信息包括控制信号，所述确定控制信息的步骤包括对于给定类型，确定所述维中的每一维的值的步骤，所述控制信号包括对于所述给定类型，与所述维对应的所述值。8.根据权利要求1的方法，其中，所述可见演示物对应于多种类型，使得对于所述可见演示物能够确定对应的多种控制信息。9.根据权利要求1的方法，其中，所述可见演示物对应于单一类型，使得对于所述可见演示物能够确定对应的单一控制信息。10.根据权利要求1的方法，其中，所述可见演示物包括物理对象、有影像的印刷页面和投影图像中的一种或多种。11.根据权利要求1的方法，进一步包括把所述控制信息传送到所述应用的步骤，所述应用使用所述控制信息执行所述一项或多项任务。12.根据权利要求1的方法，其中，通过使用至少所述可见演示物、所述被识别交互的特征和上下文信息，确定所述控制信息。13.根据权利要求12的方法，其中，所述上下文信息包括所述可见演示物的位置和所述应用的状态中的一种或多种。14.根据权利要求1的方法，其中，所述映射步骤进一步包括根据上下文信息，把所述控制信息映射到所述应用中所述一项或多项任务的步骤。15.根据权利要求14的方法，其中，所述上下文信息包括所述可见演示物的位置和所述应用的状态中的一种或多种。16.根据权利要求1的方法，进一步包括以下步骤向所述用户提供一种或多种交互的标记，所述标记适用于选定的可见演示物...

【专利技术属性】
技术研发人员：弗莱德里克卡尔摩斯噶尔德克杰尔德森，安东尼汤姆莱瓦斯，高派尔萨尔玛宾噶里，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]