用于基于手势的交互的系统和方法技术方案

各种公开实施例呈现了基于深度的用户交互系统，其促进了自然和沉浸式用户交互。特别地，各种实施例将沉浸式视觉呈现与自然和流畅的手势动作集成在一起。这种集成促进了更快速的用户采用和更精确的用户交互。一些实施例可以利用本文所公开的特定形状因子来适应用户交互。例如，在界面的显示器顶上的壳体中的双深度传感器布置可以促进深度视场，其适应比其他可能更自然的手势识别。在一些实施例中，可以将这些手势组织到用于用户对界面的通用控制以及用户对界面的应用特定控制的框架中。

System and method for gesture based interaction

Various public embodiments present a depth based user interaction system that facilitates natural and immersive user interaction. In particular, various embodiments integrate immersive visual presentation with natural and smooth hand gestures. This integration facilitates faster user adoption and more accurate user interaction. Some embodiments may utilize specific shape factors disclosed herein to accommodate user interaction. For example, a dual depth sensor arrangement in a housing on the top of the display of the interface can facilitate depth field of view, which adapts to gesture recognition more naturally than other possible methods. In some embodiments, these gestures may be organized into a framework for general user control of the interface and user specific application control of the interface.

【技术实现步骤摘要】
【国外来华专利技术】用于基于手势的交互的系统和方法相关申请的交叉引用本申请要求2016年12月5日提交的题为“CALIBRATIONSYSTEMSANDMETHODSFORDEPTH-BASEDINTERFACESWITHDISPARATEFIELDSOFVIEW(具有不同视场的基于深度的界面的校准系统和方法)”的美国非临时专利申请15/369,799的权益和优先权以及2017年4月3日提交的题为“SYSTEMSANDMETHODSFORGESTURE-BASEDINTERACTION(用于基于手势的相互作用的系统和方法)”的美国非临时专利申请15/478,201的权益和优先权，其全部内容为了所有目的通过引用整体并入本文。
所公开的各种实施例涉及基于深度的人机交互的优化和改进。
技术介绍
人机交互(HCI)系统在我们的社会中变得越来越普遍。随着这种日益增加的流行度，这种交互的性质发生了演变。打孔卡已被键盘超越，键盘本身由鼠标进行补充，鼠标本身现在由触摸屏显示器进行补充，等等。甚至现在，各种机器视觉方法可以促进视觉的用户反馈，而不是机械的用户反馈。机器视觉允许计算机解释来自它们的环境中的图像，从而例如识别用户的面部和手势。一些机器视觉系统依赖于其周围环境的灰度或RGB图像来推断用户行为。一些机器视觉系统还可以使用基于深度的传感器，或者仅依赖于基于深度的传感器，来识别用户行为(例如，MicrosoftKinectTM、IntelRealSenseTM、ApplePrimeSenseTM、StructureSensorTM、VelodyneHDL-32ELiDARTM、OrbbecAstraTM等)。对于许多用户来说，与基于深度的用户界面系统的交互看起来好像不自然。当系统未能提供与自然和流畅的手势运动相关联的沉浸式视觉体验时，这种不适可能特别严重。因此，需要改进的基于深度的界面，其既适应用户期望又适应典型的用户运动。此类系统还可能需要用作通用平台，开发人员可以从中实现他们自己的自定义应用。附图说明通过结合附图参考以下详细描述，可以更好地理解本文介绍的各种实施例，其中相同的附图标记指示相同或功能相似的元件：图1是图示出在其中可以实现各种公开实施例的各种情形的一系列用例图；图2是图示出在一些实施例中可以出现的与示例显示结构的示例用户交互的透视用例图；图3是在一些实施例中可以使用的示例深度数据的一系列透视图和侧视图；图4是图示出在一些实施例中可以应用于图3的深度数据的经由平面剪裁(clipping)的数据隔离的一系列视图；图5是在一些实施例中可以应用于图4的隔离数据的示例组件分类；图6是图示出在一些实施例中可以执行的一些示例深度数据处理操作的流程图；图7是图示出在一些实施例中可以被用来执行深度数据处理操作的示例硬件实现的硬件框图；图8是在一些实施例中可以实现的具有多角度深度传感器壳体的示例宽屏幕显示器的示意图；图9是在一些实施例中可以实现的具有多角度深度传感器壳体的示例投影显示器的示意图；图10是在一些实施例中可以实现的具有多角度深度传感器壳体的示例复合显示器的示意图；图11是在一些实施例中可以实现的具有图10的多角度深度传感器壳体的复合显示器的示意图，包括模块化组件在系统中的周转(turnaround)；图12A是在一些实施例中可以实现的具有图10的多角度深度传感器壳体的复合显示器的仰视示意图；图12B是在一些实施例中可以实现的具有图10的多角度深度传感器壳体的复合显示器的俯视示意图；图12C是在一些实施例中可以实现的具有图10的多角度深度传感器壳体的复合显示器的侧视示意图；图13A是在一些实施例中可以实现的多角度深度传感器壳体的框架中的组件的分解示意图；图13B是在一些实施例中可以实现的多角度深度传感器壳体的框架中的组件的组装示意图；图14A是从两个视角(perspective)看的在一些实施例中可以实现的图13A的间隔件组件的视图；图14B是从两个视角看的在一些实施例中可以实现的图13A的镜像间隔件组件的视图；图15是从两个视角看的在一些实施例中可以实现的图13A的支架托架组件的视图；图16是在一些实施例中可以实现的多角度深度传感器壳体的框架中的组件的分解示意图，其包括传感器对接收的支架托架间隔件；图17是在一些实施例中可以实现的示例用户界面的多角度深度传感器壳体中的可能的传感器放置配置的示意图；图18是可以在一些实施例中使用的替代托架安装组件的多个示意图；图19A是在一些实施例中可以实现的处于分解的未组装状态中的图18的替代托架安装组件的部分的透视示意图；图19B是在一些实施例中可以实现的图18的替代托架安装组件的部分的透视示意图，其中支架支撑件与传感器安装件耦合；图19C是在一些实施例中可以实现的图18的替代托架安装组件的部分的透视示意图，其中支架支撑件和传感器安装件与示例深度传感器耦合；图20A是在一些实施例中可以实现的多角度深度传感器壳体的壳体框架的“透视”视图，该壳体框架包括不用托架而是经由“独立安装件”附接的深度传感器；图20B是在一些实施例中可以实现的水平传感器安装件的示意图；图20C是在一些实施例中可以实现的垂直传感器安装件的示意图；图20D是在一些实施例中可以出现的使用图20B或图20C的传感器安装件实现的变化的深度区域视场的示意图；图21A是在一些实施例中可以实现的在其相对位置中具有透明深度传感器表示2110a、2110b的示例多角度独立深度传感器安装件的示意图；图21B是在一些实施例中可以实现的无深度传感器的多角度深度传感器安装件的示意图；图22是在一些实施例中可以实现的示例多角度独立深度传感器安装件的各种维度的示意性侧视图；图23是在一些实施例中可以实现的仅包括独立安装的传感器对的多角度深度传感器壳体的框架中的组件的分解示意图，以及组装结构的示意性俯视剖视图；图24是在一些实施例中可以实现的包括独立安装和托架安装的传感器对的多角度深度传感器壳体的框架中的组件的分解示意图，以及组装结构的示意性俯视剖视图；图25A是在一些实施例中可以实现的具有多角度深度传感器壳体的示例交互系统的各种维度的侧视图；图25B是针对图25A的系统的组合视角的示意性侧视图；图26是在一些实施例中可以实现的用于多角度深度传感器壳体的框架的“透视”视图，其中安装了深度传感器和视觉图像传感器二者；图27A是在一些实施例中可以出现的用户“触发点”(trigger-point)手势的示意图；图27B是在一些实施例中可以被用来识别用户“触发点”手势的对应关系的示意图；图28A是在一些实施例中可以出现的用户“轻推”(push)手势的示意图；图28B是在一些实施例中可以被用来识别用户“轻推”手势的对应关系的示意图；图29A是在一些实施例中可以出现的“揭开”(reveal)手势中的步骤的一系列示意性正视图和侧视图；图本文档来自技高网...

【技术保护点】
1.一种用户界面，包括：/n一个或多个显示器；/n包括一个或多个深度传感器的一个或多个深度传感器壳体框架，所述深度传感器壳体框架在所述显示器上方；/n至少一个处理器；和/n包括指令的至少一个存储器，所述指令被配置与所述至少一个处理器一起以使所述用户界面执行包括以下的方法：/n使用所述一个或多个深度传感器中的至少一个来获取深度数据帧；/n将深度帧的至少一部分与对应于用户身体的第一部分的分类相关联；/n至少部分地基于所述分类来确定手势；和/n向在所述用户界面上运行的应用通知所确定的手势。/n

【技术特征摘要】
【国外来华专利技术】20161205 US 15/369,799;20170403 US 15/478,2011.一种用户界面，包括：
一个或多个显示器；
包括一个或多个深度传感器的一个或多个深度传感器壳体框架，所述深度传感器壳体框架在所述显示器上方；
至少一个处理器；和
包括指令的至少一个存储器，所述指令被配置与所述至少一个处理器一起以使所述用户界面执行包括以下的方法：
使用所述一个或多个深度传感器中的至少一个来获取深度数据帧；
将深度帧的至少一部分与对应于用户身体的第一部分的分类相关联；
至少部分地基于所述分类来确定手势；和
向在所述用户界面上运行的应用通知所确定的手势。


2.根据权利要求1所述的用户界面，其中，所述一个或多个框架中的至少一个框架包括：
背板；
顶板：
底板；
第一允许频率面板，所述第一允许频率面板被配置为基本上允许与深度传感器相关联的辐射通过，但基本上不允许视觉频率辐射通过；
第二允许频率面板，所述第一允许频率面板被配置为基本上允许与深度传感器相关联的辐射通过，但基本上不允许视觉频率辐射通过；
一个或多个深度传感器安装件；和
一个或多个间隔件，所述一个或多个间隔件位于由所述背板、顶板、底板、第一允许频率面板和第二允许频率面板形成的封装体内，其中，
所述一个或多个深度传感器安装件中的每一个位于所述一个或多个间隔件的至少两个间隔件之间，并且其中，
所述一个或多个深度传感器安装件的每个深度传感器安装件被配置为接收两个深度传感器，使得与每个深度传感器相关联的视场通过所述两个允许频率面板中的至少一个。


3.根据权利要求2所述的用户界面，其中，所述一个或多个显示器包括3×3网格的基本上相邻的显示器。


4.根据权利要求3所述的用户界面，其中，所述一个或多个深度传感器壳体框架包括：
位于所述3×3网格的左上显示器上方的第一深度传感器壳体框架；
位于所述3×3网格的中上显示器上方的第二深度传感器壳体框架；
位于所述3×3网格的右上显示器上方的第三深度传感器壳体框架。


5.根据权利要求1所述的用户界面，其中，所述方法还包括：
检测相对于所述界面的所述用户的至少一部分的位置；和
调整在所述一个或多个显示器上呈现的图像的消失点以与所述位置相对应。


6.根据权利要求1所述的用户界面，其中，所述方法还包括：
检测所述用户与所述一个或多个显示器之间的第一距离；
确定所述第一距离大于距所述一个或多个显示器的阈值距离；
至少部分地基于所述第一距离大于所述阈值距离的确定，从第一视角显示包括一个或多个房间的虚拟环境；
检测所述用户与所述一个或多个显示器之间的第二距离；
确定所述第二距离小于距所述一个或多个显示器的阈值距离；和
至少部分地基于所述第二距离小于所述阈值距离的确定，从第二视角显示所述虚拟环境，其中
所述第一视角从比所述第二视角更远离房间的虚拟位置显示所述虚拟环境。


7.根据权利要求6所述的用户界面，其中，所述方法还包括：
在从所述第二视角呈现所述虚拟环境的同时检测轻推手势；和
在所述一个或多个显示器上激活与最靠近所述用户显示的房间相关联的应用。


8.一种在用户界面上运行的计算机实现的方法，所述方法包括：
使用位于所述用户界面上的一个或多个深度传感器的至少一个深度传感器获取深度数据帧；
将深度帧的至少一部分与对应于用户身体的第一部分的分类相关联；
至少部分地基于所述分类来确定手势；和
向在所述用户界面上运行的应用通知所确定的手势。


9.根据权利要求8所述的计算机实现的方法，其中，所述用户界面包括：
包括所述一个或多个深度传感器的一个或多个深度传感器壳体框架，所述深度传感器壳体框架在3×3网格的基本上相邻的显示器上方。


10.根据权利要求8所述的计算机实现的方法，其中，所述一个或多个深度传感器壳体框架中的至少一个框架包括：
背板；
顶板；
底板；
第一允许频率面板，所述第一允许频率面板被配置为基本上允许与深度传感器相关联的辐射通过，但基本上不允许视觉频率辐射通过；
第二允许频率面板，所述第一允许频率面板被配置为基本上允许与深度传感器相关联的辐射通过，但基本上不允许视觉频率辐射通过；
一个或多个深度传感器安装件；和
一个或多个间隔件，所述一个或多个间隔件位于由所述背板、顶板、底板、第一允许频率面板和第二允许频率面板形成的封装体内，其中，
所述一个或多个深度传感器安装件中...

【专利技术属性】
技术研发人员：拉尔夫·布伦纳，安德鲁·埃米特·塞利格曼，简欣怡，约翰·菲利普·斯托达德，陈柏瑞，埃隆·沙尔顿比尔瑞格，西拉·贾斯汀·加斯顿，维维·布伦纳，
申请(专利权)人：优史佩斯公司，
类型：发明
国别省市：美国;US