基于物理模型的手势识别制造技术

一种用于在移动设备上识别手势的手势识别系统，该系统接收传感器数据以响应移动设备上被感应的手势。传感器数据包括力或冲量。力或冲量被施加到仿真物理对象，然后仿真物理对象的状态被观察。基于至少观察的仿真物理对象的状态，向应用提供输入。

【技术实现步骤摘要】
基于物理模型的手势识别
一个实施例一般地是针对移动设备，尤其是用于移动设备的手势识别(gesturerecognition)。
技术介绍
用于计算机系统和其他设备的手势(gesture)识别，通常涉及经由数学算法来翻译人类手势。手势(gesture)可以源于任何身体动作或状态，但是通常源于面部或手部。已经探讨了很多使用照相机和计算机视觉算法来翻译符号语言。然而，姿势、步态和人类行为的辨别和识别还是手势识别技术的主题。一种类型的手势识别依赖于保持或另外操纵控制器或手持/移动设备的用户。这些控制器充当身体的延伸，使得做出手势时，一些它们的动作可以被软件方便地捕捉。鼠标手势就是一个这种示例，其中鼠标的动作与人手所画的符号相关。另一个示例是来自Nintendo集团的可以学习加速度随时间的变化以呈现手势的Wii遥控。为了识别手势这些方法通常都进行加速计数据的统计分析或信号处理。然而，一个缺点是统计分析典型地针对单一类型的动作，诸如当使用控制器与视频高尔夫游戏交互时挥动高尔夫球杆时的动作。
技术实现思路
一个实施例是用于在移动设备上识别手势的手势识别系统。系统接收传感器数据以响应移动设备上感应到的手势。传感器数据包括力(force)或冲量(impulse)。力或冲量被施加到仿真物理对象，然后观察仿真物理对象的状态。基于至少观察到的仿真物理对象的状态，输入被提供给应用。附图说明图1是根据本专利技术一个实施例的移动设备的立体图；图2是根据本专利技术一个实施例的手势识别系统的框图；图3是本专利技术一个实施例中仿真的示例物体的框图；图4根据一个实施例示出了球的仿真动作；图5是根据一个实施例经由例如手部动作/手势在空间中运动的移动设备的立体图；图6是根据一个实施例为了识别手势观察仿真物理对象的有限状态机或“观察者”的框图；图7根据一个实施例示出了包括两个门限值的容器中的仿真对象；图8是当与应用共同识别手势时根据一个实施例的手势识别模块的功能的流程图。具体实施方式为了增加功能并提供到应用的用户界面，一个实施例是加入手势识别的移动设备。该设备包括仿真物理系统(physicalsystem)和具有由物理系统的观察所驱动的状态迁移的状态机。每个状态可对应于识别的手势，以及基于识别的手势可生成触觉效果(hapticeffect)。图1是根据本专利技术一个实施例的移动设备50的立体图。如所示，移动设备50是移动电话。然而，其他实施例中的设备50可以是包括便携数字助理(“PDA”)、便携媒体播放器、便携游戏设备等的任何类型的手持设备。设备50包括允许用户与设备50上运行的软件应用进行接口(interface)的用户界面(“UI”)60。设备50进一步包括下面进一步详细公开的手势识别系统(未示出)，该系统允许用户使用手部55以诸如通过操纵设备50的有意义的方式与设备50和UI60交互。图2是根据本专利技术一个实施例的手势识别系统10的框图。系统10是图1的移动设备50的一部分，并且其提供手势识别功能。虽然作为单一系统来示出，但是系统10的功能可以作为分布式系统来实现。系统10包括总线12或其他用于沟通信息的通信机制，和耦合到总线12用于处理信息的处理器22。处理器22可能是任何类型的通用或专用处理器。系统10进一步包括用于存储将由处理器22所运行的信息和指令的存储器14。存储器14可以由随机访问存储器(“RAM”)、只读存储器(“ROM”)、诸如磁或光盘的静态存储器或任何其他类型的计算机可读介质的任何组合组成。计算机可读介质可能是处理器22可访问的任何可用介质，包括易失性和不易失性介质、可擦除和不可擦除介质以及通信介质。通信介质可包括诸如载波或其他传输机制的调制数据信号中的计算机可读指令、数据结构、程序模块或其他数据，以及包括任何信息发送介质。在一个实施例中，存储器14存储当被处理器22运行时提供功能的软件模块。模块包括在一个实施例中提供用于系统10的操作系统功能和设备50的其他功能的操作系统15。模块进一步包括如下面更详细公开的识别用户手势的手势识别模块16。系统10将典型地包括一个或更多附加应用模块18以包括附加功能，诸如生成触觉效果的应用和与模块16交互的应用，使得识别的手势可以用作那些应用的输入。在实施例中从远程源传送和/或接收数据的系统10，进一步包括诸如网络接口卡的通信设备20，以提供诸如红外、无线、Wi-Fi或蜂窝网络通信的移动无线网络通信。在其他实施例中，通信设备20提供诸如以太网连接或调制解调器的有线网络连接。处理器22进一步经由总线12耦合到用于向用户显示图形表示或用户界面的诸如液晶显示器(“LCD”)的显示器24。显示器24可能是诸如触摸屏幕、配置为从处理器22发送和接收信号的触摸感应输入设备，以及可能是多点触控触摸屏幕。系统10进一步包括一个或更多致动器26。处理器22可传送与触觉效果相关的触觉信号到依次输出触觉效果的致动器26。致动器26可能是例如电动机、电磁致动器、音图(voicecoil)、线性共振致动器、压电致动器、形状记忆合金、电活性聚合物、螺线管(solenoid)、质量偏心旋转电机(“ERM”)或线性共振致动器(“LRA”)。系统10进一步包括一个或更多传感器28。传感器28可包括加速计(accelerometer)、陀螺仪、全球定位系统(“GPS”)传感器、触摸感应输入设备(例如，触摸屏幕、触摸板)、纹理手写笔(texturestylus)、图像传感器或一些其他类型传感器。传感器28可配置为检测加速度、倾角(inclination)、惯性(inertia)或地点(location)的变化。传感器28还可能包括地点传感器、旋转速度传感器、光线传感器、压力传感器、纹理传感器、照相机、麦克风或其他类型传感器。随着图1的移动设备50被用户移动作为手势的结果，传感器28将检测到这些运动，并基于至少部分设备50的运动而生成传感器信号。手势可包括加速计、陀螺仪或一些其他传感器测量到的三维手势。三维手势可包括旋转、轻击、猛击或另外移动整个设备50。在一个实施例中，手势识别系统10仿真(simulate)移动设备50的物理动作所扰动的物体，然后“观察者”追踪仿真物理对象的状态以确定手势。确定的手势可以作为输入提供到相关的软件应用，以及可以使软件生成触觉效果以向用户提供反馈来响应手势。物理仿真可以是将要被识别的手势的模拟，并且取决于应用可以与一维世界中具有质量(mass)的单一对象一样简单或更复杂。图3是本专利技术一个实施例中仿真的示例物体的框图。在该示例中，手势识别系统10识别用于确定在UI60中图形示出的诸如墙开关的“开关”是否是上/开或下/关的手势。在图3中所示的实施例中，仿真物理对象是管道或容器106中容纳的球102。球102限于箭头104所指示的上和下动作，就像球102被容纳在一个面上。球102任何时候都可以由其相对于x轴的位置(“x”)和其速度(v)或(x，v)表征。图4根据一个实施例示出了球102的仿真动作。当未施加力时，球102留在线105所指示的容器106的中央。恒定背景力(constantbackgroundforce)施加到球102，如势(potential)函数U(x)的空间导数(spatialderivat本文档来自技高网...

【技术保护点】

【技术特征摘要】
2010.10.05 US 12/898,0321.一种用于在移动设备上执行手势识别的系统，所述系统包括：用于生成仿真物理对象的装置；用于响应于所述移动设备上感应到的手势而接收传感器数据的装置，所述传感器数据包括力或冲量；用于施加所述力或冲量到所述仿真物理对象的装置；用于响应于所施加的力或冲量而观察所述仿真物理对象的状态的装置，其中，所观察到的状态基于与所述仿真物理对象对应的物理对象上对所施加的力或冲量的物理反应的仿真；和用于至少基于所观察到的所述仿真物理对象的状态向应用提供输入的装置。2.根据权利要求1所述的系统，其中到所述应用的输入包括与用户界面的交互。3.根据权利要求2所述的系统，其中所述用户界面显示类似于所述仿真物理对象的图形。4.根据权利要求3所述的系统，其中所述图形响应于所述交互而变化。5.根据权利要求1所述的系统，其中所述应用响应于所述输入而生成触觉效果。6.根据权利要求5所述的系统，其中所述触觉效果包括观察到的所述仿真物理对象的状态的反馈。7.根据权利要求5所述的系统，其中所述触觉效果包括所述仿真物理对象的物理状态的反馈。8.根据权利要求5所述的系统，其中所述触觉效果包括在所述移动设备上生成振动的致动器。9.根据权利要求1所述的系统，其中所述仿真物理对象是容器中的球并被限定在一维运动中。10.根据权利要求1所述的系统，其中所述力或冲量由加速计感应。11.根据权利要求1所述的系统，其中所述应用翻译观察到...

【专利技术属性】
技术研发人员：克里斯托弗·J·乌尔里奇，罗伯特·拉克鲁瓦，
申请(专利权)人：艾默生公司，
类型：发明
国别省市：