近距离的自然用户界面系统及其操作方法技术方案

一种自然用户界面系统及其操作方法包括：具有显示屏和显示设备相机的显示设备；具有移动设备相机的移动设备，移动设备相机的光轴被放置成与显示设备相机的光轴成一角度；其中：移动设备包括第一设备配对模块，用于将移动设备与显示设备配对；移动设备相机和显示设备相机用于：检测用户的手，和确定用户的手的姿势和移动；并且显示设备包括运动转换模块，用于将用户的手的姿势和移动转换为用于控制在显示屏上的用户界面的元素的手势。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般而言涉及自然用户界面系统，并且更具体而言，涉及用于近距离自然用户界面系统的系统。
技术介绍
在很大程度上，人类与诸如计算机、平板电脑和移动电话之类的电子设备的交互需要物理地操纵控制件、按压按钮或触摸屏幕。例如，用户经诸如键盘和鼠标之类的输入设备与计算机交互。虽然键盘和鼠标对于诸如输入文本和滚动文档的功能是有效的，但是它们对其中用户可以与电子设备交互的许多其它方式不是有效的。用户持有鼠标的手被局限在只沿着平面二维(2D)的表面移动，并且利用鼠标导航通过三维虚拟空间是笨拙且非直观的。同样，触摸屏的平坦界面不允许用户传达任何深度的概念。利用三维(3D，或深度)相机，或者在一个设备上的两个相机，可以实现电子设备基于手势的3D控制。但是，当前允许利用用户的身体或手的3D控制方法依赖于大的手势、冗长的校准过程或者昂贵或不容易得到的专业设备。因此，对用于提供和操作近距离自然用户界面的更简单的解决方案，仍然存在需求。鉴于当前解决方案的复杂性和成本，找到这些问题的答案变得日益重要。鉴于日益增加的商业竞争压力，以及不断增长的消费者期望和市场上有意义的产品差异机会的减少，因此，为这些问题找到答案至关重要。此外，节省成本、提高效率和性能并且满足竞争压力的需求为找到这些问题答案的关键必要性添加了甚至更大的紧迫性。—直以来都在寻找对于这些问题的解决方案，但是，此前的发展还没有教导或建议长期以来困扰着本领域的技术人员的这些问题的任何解决方案。
技术实现思路
本专利技术提供了操作自然用户界面系统的方法，包括:提供具有显示屏和显示设备相机的显示设备;提供具有移动设备相机的移动设备，移动设备相机的光轴被放置成与显示设备相机的光轴成一角度;将移动设备与显示设备配对;检测用户的手;确定用户的手的姿势和移动;将用户的手的姿势和移动转换为用于控制在显示屏上的用户界面的元素的手势。本专利技术提供了自然用户界面系统，包括:具有显示屏和显示设备相机的显示设备；具有移动设备相机的移动设备，移动设备相机的光轴被放置成与显不设备相机的光轴成一角度;其中:移动设备包括第一设备配对模块，用于将移动设备与显示设备配对;移动设备相机和显示设备相机用于:检测用户的手，和确定用户的手的姿势和移动;并且显示设备包括运动转换模块，用于将用户的手的姿势和移动转换为用于控制在显示屏上的用户界面的元素的手势。除了以上提到的那些或者作为其替代，本专利技术的某些实施例还具有其它的步骤或元素。通过在参考附图时阅读以下具体描述，这些步骤和元素对本领域技术人员将变得显然。【附图说明】图1是在本专利技术实施例中的自然用户界面系统。图2是来自图1的移动设备相机的用户的手的示例性视图。图3是在本专利技术的第二实施例中的自然用户界面系统。图4是在本专利技术还有的实施例中的操作自然用户界面系统的方法的流程图。【具体实施方式】以下实施例进行了足够详细的描述，以便使本领域技术人员能够获得并使用本专利技术。应当理解，基于本公开内容，其它实施例将是显而易见的，并且在不背离本专利技术范围的情况下可以做出系统、过程或机械上的变化。在以下描述中，给出了许多具体的细节，以提供对本专利技术的透彻理解。但是，很显然，本专利技术没有这些具体细节也可以实践。为了避免模糊本专利技术，一些众所周知的电路、系统配置和过程步骤没有具体地公开。示出系统实施例的附图是半图式的且不是按比例的，并且，特别地，一些维度是为了呈现清晰起见并且在附图中被夸大地示出。同样，尽管为了描述容易起见的附图中的视图一般地示出类似的朝向，但是图中的这个描绘对大部分来说是任意的。通常，本专利技术可以以任何朝向进行操作。在所有附图中使用了相同的标号来与相同的元素关联。实施例为了方便描述可以被编号为第一实施例、第二实施例等，并不是要具有任何其它的重要意义或对本专利技术提供限制。为了说明的目的，本文所使用的术语“水平的”被定义为平行于用户位置的地面的平面或表面的平面。术语“垂直的”指垂直于如刚才所定义的水平的方向。术语，诸如“在……上方”、“在……下方”、“底部”、“上部”、“侧”(如在“侧壁”中)、“较高”、“较低”、“上面”、“在……之上”、“在……之下”，是相对于水平的平面定义的，如在图中所示出的。术语“在…上”意味着元素之间存在直接接触。术语“直接在……上”意味着一个元素和另一个元素之间存在直接接触而没有中间元素。术语“活动面”指模具、模块、包装或电子结构的其上具有构造的电路系统或具有用于连接到在模具、模块、包装或电子结构内的活动电路系统的元素的一侧。如本文所使用，术语“处理”包括如在形成所述结构中所需要的材料或光致抗蚀剂的沉积、构图、曝光、显影、蚀刻、清洗和/或材料或光致抗蚀剂的去除。现在参考图1，其中示出了本专利技术实施例中的自然用户界面系统100。自然用户界面系统100包括移动设备102和显示设备104。所示出的指向显示设备104的显示屏106的是用户的手108。用户的面部也被示出，其中具有绘为点线的视线(eyeline)矢量110，示出用户正在看屏幕上的哪里。移动设备102被示出在以面朝下的朝向在显示设备104的前面，但是，应该理解，移动设备102也可以是面朝上的。移动设备102的面(face)被定义为移动设备102的主显示屏幕，其在这个例子中是不可见的。移动设备102具有移动设备相机112，其当移动设备102处于面朝下朝向时移动设备相机112的面朝上。移动设备相机112的光轴被定义为移动设备相机112面朝或“看”的方向。换而言之，移动设备相机112的视野的中心可以是移动设备相机112的光轴。移动设备相机112是视频捕获机制。移动设备相机112可以能够捕捉二维(2D)或三维(3D)图像。移动设备102可以是任何各种电子设备，诸如智能电话、功能电话、启用WiFi的相机、平板电脑或具有相机、处理能力和无线能力的任何设备。移动设备102还具有闪光灯114，用于当环境光不足以分辨移动设备相机112前面是什么时照亮在移动设备相机112前面的对象。例如，当确定了黑暗条件(例如，没有足够的光来获得可用的图像)时，闪光灯114可以被激活并用作用于照明的恒定光源或者当用移动设备相机112拍摄照片时用作闪光灯。从闪光灯114发射的光仅仅作为例子通过闪光灯114上方的三角形表示。闪光灯114可以利用任何发光技术操作，诸如白炽灯、发光二极管(LED)、荧光灯、卤素灯或其它类型的光。显示设备104通过无线连接协议诸如WiF1、蓝牙、蜂窝数据协议或其它无线协议--与移动设备102配对，并且被不出为面向移动设备102。例如，移动设备102的第一设备配对模块可以连接到显示设备104的第二设备配对模块。第一设备配对模块的和第二设备配对模块可以按照需要在移动设备102和显示设备104之间来回发送有关数据。显示设备104可以具有显示屏106，作为用于自然用户界面系统100的主观看屏幕。显示设备104具有显示设备相机116，其优选地面向与显示设备104的显示屏106相同的方向。显示设备相机116的光轴被定义为显示设备相机116面向或“看”的方向。换而言之，显示设备相机116的视野的中心可以是显示设备相机116的光轴。显示设备相机116可以能够捕捉二维(2D)或三维(3D)图像。显示设备104可以是诸如膝上型本文档来自技高网...

【技术保护点】
一种操作自然用户界面系统的方法，包括：提供具有显示屏和显示设备相机的显示设备；提供具有移动设备相机的移动设备，所述移动设备相机的光轴被放置成与所述显示设备相机的光轴成一角度；将所述移动设备与所述显示设备配对；检测用户的手；确定所述用户的手的姿势和移动；及将所述用户的手的姿势和移动转换为用于控制在所述显示屏上的用户界面的元素的手势。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：A·布莱斯托弗，横野顺，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP