作为输入机制的动作识别制造技术

可使用在用户和计算装置之间相关运动或取向的检测来控制该装置的方面。例如该计算装置可包括成像元件和寻找相对于该装置的用户面部特征的位置，形状，拆分，和／或其他方面的软件，使得可确定相对于该用户的该装置取向。随后用户可为该装置提供输入，通过实施行为如倾斜该装置，移动该用户头部，作出面部表情，或不然改变相对于该装置的该用户的至少一个方面的取向。这样的方式可用作为如小键盘和触摸屏的常用输入装置的补充或替换。

【技术实现步骤摘要】
【国外来华专利技术】作为输入机制的动作识别相关申请的交叉引用本专利申请要求Bezos于2008年12月10日提交的第12/332，049号美国专利申请和于2008年11月20日提交的第61/116，430号美国临时专利申请的优先权，标题都为 “作为输入机制的动作识别”，上述申请的全部内容通过引用并入本文。
技术介绍
随着可用计算装置种类的增加，以及许多上述装置大小的减小，需要一种用户在其中与这些计算装置交互的方式。例如，当对于许多用户而言在键盘上打字为台式电脑输入信息是一种轻松并可接收的方式时，会难于试图在便携式电话的键盘上输入信息，因为该装置的微小形状要素。例如，用户手指大小会阻止该用户每次轻松地按下一个键。进一步地，当这些装置中的许多转为触摸屏或其他类似输入装置时，用户手指大小也会约束该用户成功地在该屏幕上选择出所要的对象或元件，等。使用这样的触摸屏的另一个缺点是在该显示屏幕上留下了指纹，污物，污点，和其他残留物，其会引起显眼或与清楚和/或能见度相关的其他问题。进一步地，一些用户增加额外的保护材料层以避免对该屏幕的损坏， 但这些装置会降低触摸灵敏度和放大在该屏幕上留下的残留物的负面影响。进一步地，许多用户宁愿使用例如手机，个人数字助理(PDAs)，和一只手使用的电子书阅读装置的便携式装置，难于执行这样的使用触摸屏幕或多按钮输入方式的操作。即使对于固定装置(如，台式电脑)，对于将宁愿不用必须不断地移动该鼠标并滚到下一个区域，选择导航到下一页的元件，等即可观看信息的用户，该标准键盘和基于鼠标的方式是不需要的。附图说明参照附图将对根据本专利技术的各个实施方案进行说明，其中图1示出了根据一实施方案的包括可操作用来成像用户面部区域的元件的便携式装置的实施例；图2示出了根据一实施方案可被使用的可控装置的组件；图3(a)_3(i)示出了根据一实施方案将文本信息输入到可被使用的便携式装置上的方式；图4(a)_4(c)示出了根据一实施方案在计算装置上改变三维显示空间的方式；图5 (a)-5 (c)示出了根据一实施方案在计算装置上改变三维显示对象的方式；图6(a)_6(g)示出了根据一实施方案在计算装置上为三维界面导航的方式；图7(a)_7(d)示出了根据一实施方案的可被识别为输入的动作的实施例；图8(a)-8(c)示出了根据一实施方案的可被识别为输入的计算装置的用户相关视图的实施例；图9示出了根据一实施方案的检测可被使用相关动作的方法的实施例；图10(a)_10(f)示出了根据各个实施方案的用户的面部特征的分析；图11示出了根据一实施方案的可被产生以提示用户确认对应于相关动作的行为的显示屏的实施例；图12(a)_12(b)示出了根据一实施方案的处理作为输入的相关动作的方式；图13示出了根据一实施方案的成像用户面部区域的相机的实施例；图14(a)_14(b)示出了根据一实施方案的可被使用面部动作的检测方法的实施例；图15(a)_15(c)示出了根据一实施方案的获得作为输入的用户眼睛动作的实施例；图16示出了与图15(a)_15(c)中眼睛动作方式一起被使用的显示屏的实施例；图17示出了根据一实施方案的可被呈现给用户以定制该输入控制方式的显示屏的实施例；和图18示出了可实施各个实施方案的环境。 具体实施例方式根据本专利技术的各个实施方案的系统和方法可解决在电子环境下在常用的控制系统，装置，界面，或其他类似对象或元件的方式中所出现的上述和其他不足的一个或多个。 为通过相关动作进行输入，提供了根据各个实施方案的系统和方法，例如使用可操作用来成像用户可识别部分的成像元件可确定的输入。相对于该用户可识别部分的装置的方向上的变化，通过该用户，该装置，或其组合的移动，可被确定并用作控制该装置某方面的输入。 进一步地，该装置可对该用户的可调整方面进行成像，例如用户的面部表情，手势，或其他动作，以及采用上述可调整方面的状态作为输入。在一实施例中，用户可能需要将文本输入便携式装置，例如输入搜索查询，敲入文本信息，或执行类似行为。根据各个实施方案的装置的用户能激活控制模式，例如“面部识别，，模式，动作识别模式，或类似在这里讨论的模式，其允许该用户使用通过相机或该装置的其他成像元件可检测到的动作，表情，或对于用户在相关方向的其他变化来控制该计算直ο在一个这样的装置中，用户可执行在引起在用户界面展现中变化(如，改动)的行为，例如虚拟键盘，单选框，单选按钮，或其他在该装置上显示的可选界面对象。例如，该虚拟键盘可以是常用的“QWERTY”式键盘或可选字母数字或其他类似字符的任意其他适合显示。可显示能移动到上述字母，数字，或其他显示字符任意一个上的光标，可移动图标，或其他类似元件。因此，基于参照该用户(或环境)的该装置方向上的变化进行改变的图形用户界面内所显示的信息，可对应于该图形用户界面的显示屏中的任意变化。例如，该用户界面可通过参照该图形用户界面的移动光标改变，调整用来生成在该计算装置上的三维图像的二维绘制的视点，在与电子目录相关的物品内导航，导航文件系统，从旋转选择结构中选择物品，至少部分基于在该用户界面中反映出的确定的变化来执行功能，导航电子地图系统， 在许多其他可选的方式中。该装置的成像元件，例如相机，其可被定位使得该成像元件能获得该用户的至少部分的图像，当该用户正操作该装置时。一实施方案，该相机是高速，高分辨率，能够在较少时间(如，高速相机或高速摄像机)内获得多数量图像的相机。该装置可包括能分析从该成像元件处所获得的图像信息并确定参照该装置的用户的至少一个相关位置和方向的图像处理算法。因此，该图像处理算法确定了参照该装置的用户的至少一个相关位置和方向中的变化。在该图形用户界面内显示的信息随后能够至少部分基于该确定的变化而被改变。 在一些实施方案中，在该图形用户界面内显示的信息排除已获得第一和第二图像之一或二者的展现。即，在这样的实施例中，该成像元件不被用于在该用户界面内所显示的装置的用户的成像。相反，该用户图像信息被用于提供控制该图形用户界面各个方面的输入。例如，该算法可确定该装置是否直接面对该用户，通过确定该用户的眼睛和/或头部是否基本上面对该装置。如果该装置或用户的头部在一个方向倾斜，该算法可确定该相关动作或取向的方向并相应地控制在该被显示键盘上光标的位置。例如，用户可将该装置向左或向右倾斜以将该光标移过一行字母，以及可将该装置向前或向后倾斜以将该光标移过一列字母，和/或其的任意组合。采用这样的方式，该用户通过简单地移动或不然改变该装置的取向，通过改变该用户的已确定方面的相对取向，或通过二者，可控制该光标或其他输入机构。尽管上述实施方案通常涉及控制二维界面的输入，也可使用实施方案来控制三维界面的各个方面或使用这样的动作进行显示。例如，观看三维图像的二维绘制的用户可通过在对应于所需调整方向的方向中旋转或移动该装置(或该用户的头部，等)来调整该显示图像。这样的运动类似于从开口段注视箱子，其中用户能够通过将该箱子旋转到不同角度或定位该用户的头部来观看到该箱子的顶部，底部，和侧面，使得可看到所需面。在一些实施方案中，该用户同样能够通过执行缩放行为来缩放进该图像的不同区域，例如通过将该装置向该用户移动使得分析该图像信息的该算法能够检测到该用户的特征在逐渐接近本文档来自技高网...

【技术保护点】
１．一种与便携式计算装置上的图形用户界面交互的方法，包括：使用该便携式计算装置的成像元件获得第一图像，该第一图像包括该便携式计算装置的用户的面部特征；使用该成像元件获得第二图像，该第二图像包括该便携式计算装置的用户的面部特征；使用该便携式计算装置分析该获得的第一图像和第二图像，以确定相对于该便携式计算装置的该用户面部特征的位置的变化；和至少部分地基于该确定的变化来改变该图形用户界面内显示的信息，其中该图形用户界面内显示的信息排除了该获得的第一和第二图像中一者或两者的展示。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：J·P·比佐斯，
申请(专利权)人：亚马逊技术股份有限公司，
类型：发明
国别省市：US