用于提供虚拟现实环境的用户界面的系统、设备及方法技术方案

本申请涉及用于提供虚拟现实环境的用户界面的系统、设备及方法。本文提供了一种能够连接至近眼显示器或者能够连接至虚拟现实头盔并且能够连接至具有处理器的便携式计算平台的设备。该设备可包括：照明器，被配置为利用图案化光照亮佩戴头盔或者近眼显示器的用户的附近；以及IR照相机，被配置为捕获图案化光的来自位于用户附近的至少一个对象的反射，其中，处理器被配置为：建立设备和便携式计算平台以及近眼显示器之间的数据和电力连接；并且基于反射生成对象的深度图。

【技术实现步骤摘要】
用于提供虚拟现实环境的用户界面的系统、设备及方法本申请是申请日为2015年12月18日，申请号为201580074404.8，专利技术名称为“用于提供虚拟现实环境的用户界面的系统、设备及方法”的申请的分案申请。
本专利技术总体涉及虚拟现实(VR)环境，更具体地，涉及使用身体手势和/或姿势实现与VR环境的自然接口连接的设备和方法。
技术介绍
在阐述本专利技术的背景之前，阐述将在下文中使用的某些术语的定义可能是有帮助的。这里使用的术语“虚拟现实”(VR)被定义为可以模拟现实世界或想象世界中的地点的物理呈现的计算机模拟环境。虚拟现实可以再创建感官体验，包括虚拟味觉、视觉、嗅觉、听觉、触觉等。许多传统VR系统使用用于呈现3D虚拟环境的近眼显示器。本文所用的术语“增强现实”(AR)被定义为物理的、现实世界环境的生动直接或间接视图，其元素通过计算机生成的感官输入(例如声音、视频、图形或GPS数据)来增强(或补充)。这与其中通过计算机修改(甚至可能减少而不是增强)现实的视图的称为介导现实的更为广义的概念相关。如本文所使用的术语“近眼显示器”被定义为包括可佩戴投射显示器的设备，该设备在每个眼睛被呈现略微不同的视场的方面通常是立体的，以便创建3D感知。术语“虚拟现实头盔”有时称为“护目镜”，是显示计算机输出的环绕视觉接口。通常，计算机显示信息呈现为现实世界环境的三维表示。除了用于保持计算机显示器(可能以智能电话的形式)的简单结构之外，护目镜可以包括或可以不包括光学器件。图1示出了根据现有技术的传统VR系统，其中，用户10佩戴头戴式立体显示器12(例如，OculusRiftTM)，其将场景的合成图像16投射到用户10的每只眼睛上。通常在VR中，每只眼睛以稍微不同的角度接收合成图像16，以便在用户的大脑中创建3D感知(为了简单起见，未示出立体对)。另外，头戴式显示器12可以设置有诸如可以实时检测用户的视角或注视方向的诸如加速度计或陀螺仪(未示出)的传感器。因此，VR系统可以调整图像16以适配用户的头部方位。因为这种调整是实时进行的，所以可以实现虚拟现实的幻觉，其模仿现实世界中的头部移动。除了如上所述跟踪用户的视点，VR系统经由诸如操纵杆14(或鼠标、触摸板或甚至键盘)的输入设备提供与虚拟世界的进一步交互。这种输入设备可以使用户10能够执行各种动作。例如，在VR场景上的图像16上指示的光标18可以由用户10经由操纵杆14来控制。自然地，使用这种传统的输入设备会破坏VR用户的整体体验。另外，使用光标18将用户体验限制为从个人计算机已知的标准计算机用户界面。
技术实现思路
根据本专利技术的一些实施方式，用户可以佩戴近眼显示器，根据本专利技术的实施方式的设备可以可能地作为附件安装在近眼显示器上。设备可包括照明器(例如，激光发射器)和捕获单元(例如，照相机)，该捕获单元的视场宽度足以包括用户的任何周围事物。在操作中，近眼显示器被配置为将合成的场景投射在用户的双眼上。照明器可以用图案光照亮用户和/或用户的附近。图案化光的反射可以通过捕获设备捕获，然后由例如可以位于作为近眼显示器的一部分的智能电话中的计算机处理器进行分析，以产生实时变化的指示诸如用户的手部的对象的位置与方向的三维视觉表示。在另一个实施方式中，该设备可以从智能电话的照相机中受益，智能电话的照相机可以由专用软件配置以捕获由用户控制的手部或其他手势对象的图像。同时，智能电话的处理器被配置为基于由设备捕获的数据来计算相同手部或手势对象的深度图。处理器还被配置为将深度图和可见图像的数据合并成可以被导入到虚拟图像的相应位置的手部的3D图像。通过这种方式，用户的实际手部在保持其3D属性的同时导入VR场景。本申请还包括以下内容：1)一种能够连接至虚拟现实头盔并且能够连接至具有处理器的便携式计算平台的设备，所述设备包括：照明器，被配置为利用图案化光照亮佩戴所述虚拟现实头盔的用户的附近；以及照相机，被配置为捕获所述图案化光的来自位于所述用户附近的至少一个对象的反射，其中，所述处理器被配置为：建立所述设备与所述便携式计算平台之间的数据和电力连接；并且基于所述反射生成所述对象的深度图。2)根据1)所述的设备，其中，所述照明器和所述照相机在红外(IR)范围内操作。3)根据1)所述的设备，其中，所述处理器被配置为：基于所述至少一个对象的深度图和2D图像生成所述至少一个对象的3D图像；并且将所述至少一个对象的3D图像叠加在由所述处理器生成并能够由所述用户观看的虚拟现实(VR)场景上。4)根据1)所述的设备，其中，所述设备的总功耗大约在1瓦特以下。5)一种能够连接至虚拟现实头盔并且能够连接至具有处理器和照相机的便携式计算平台的设备，所述设备包括：照明器，被配置为利用图案化光照亮佩戴近眼显示器的用户的附近，其中，所述处理器被配置为：建立所述设备与所述便携式计算平台之间的数据和电力连接；指示所述照相机捕获所述图案化光的来自位于所述用户附近的至少一个对象的反射，并且基于所述反射生成所述对象的深度图。6)根据5)所述的设备，其中，所述设备的总功耗大约在500毫瓦以下。7)根据5)所述的设备，其中，所述便携式计算平台和所述虚拟现实头盔集成为单个元件。8)根据1)所述的设备，其中，所述便携式计算平台还包括可见光照相机，并且其中，从所述便携式计算平台的所述可见光照相机获得所述至少一个对象的2D图像。9)根据3)所述的设备，进一步包括：可见光照相机，并且其中，从所述可见光照相机获得所述至少一个对象的2D图像。10)根据1)所述的设备，其中，在所述设备和所述便携式计算平台之间数据和电力连接的建立被执行为“即插即用”。11)根据1)所述的设备，其中，所述至少一个对象是所述用户的身体部位。12)根据3)所述的设备，其中，将所述至少一个对象的3D图像叠加在虚拟现实(VR)场景上还包括：使所述至少一个对象的3D图像与所述用户对所述VR场景的视角对准。13)根据1)所述的设备，其中，所述便携式计算平台选自包括以下各项的组：智能电话、膝上型个人计算机(PC)；以及平板PC。14)根据1)所述的设备，其中，所述照明器和所述照相机在“风景”配置中呈现大约55度的水平视场和大约43度的垂直视场，并且所述照明器和所述照相机在“肖像”配置中呈现大约43度的水平视场和大约55度的垂直视场。15)一种方法，包括：将设备连接至虚拟现实头盔以及具有处理器的便携式计算平台，所述设备包括照明器和照相机；建立所述设备与所述便携式计算平台之间的数据和电力连接；利用图案化光照亮佩戴近眼显示器的用户的附近；捕获所述图案化光的来自位于所述用户附近的至少一个对象的反射；并且基于所述反射生成所述对象的深度图。16)根据15)所述的方法，其中，所述照明器和所述照相机在红外(IR)范围内本文档来自技高网...

【技术保护点】
1.一种能够连接至便携式计算平台的设备，所述设备包括：/n照明器，被配置为利用结构化光照亮场景；/n照相机，被配置为捕获所述结构化光的来自所述场景中的至少一个对象的反射；以及/n预处理器，被配置为：/n执行与所捕获的反射相关的数据的预处理；以及/n将预处理后的数据传送至所述便携式计算平台的处理器，所述预处理后的数据足够使所述便携式计算平台生成所述至少一个对象的深度图。/n

【技术特征摘要】
20141218 US 62/093,4901.一种能够连接至便携式计算平台的设备，所述设备包括：
照明器，被配置为利用结构化光照亮场景；
照相机，被配置为捕获所述结构化光的来自所述场景中的至少一个对象的反射；以及
预处理器，被配置为：
执行与所捕获的反射相关的数据的预处理；以及
将预处理后的数据传送至所述便携式计算平台的处理器，所述预处理后的数据足够使所述便携式计算平台生成所述至少一个对象的深度图。


2.根据权利要求1所述的设备，其中，所述照明器和被滤光片覆盖的所述照相机在红外(IR)范围内操作。


3.根据权利要求1所述的设备，其中，所述设备还包括：
接口，用于将所述设备连接到所述便携式计算平台，所述接口向所述便携式计算平台供电。


4.根据权利要求1所述的设备，其中，所述便携式计算平台选自包括以下项的组：智能电话、膝上型个人计算机(PC)，以及平板PC。


5.根据权利要求1所述的设备，其中，所述设备还连接到近眼显示器，用于向用户呈现虚拟现实(VR)场景和所述至少一个对象的基于所述深度图获得的至少一个3D图像。


6.根据权利要求5所述的设备，其中，所述至少一个对象包括所述用户的至少一个身体部位。


7.根据权利要求6所述的设备，其中，所述至少一个对象的所述深度图包括关于一个或多个手势的信息，所述一个或多个手势与所述用户的所述至少一个身体部位相关。


8.根据权利要求5所述的设备，其中，所述照相机的视场包括所述近眼显示器的用户周围的所述场景。


9.根据权利要求1所述的设备，还包括：
另一个照相机，被配置为捕获所述至少一个对象的至少一个2D图像；其中
所述预处理器还被配置为：
预处理与至少一个所捕获的2D图像相关的信息；以及
将预处理后的信息传送至所述处理器，所述预处理后的信息足够使所述便携式计算平台基于所述深度图和所述预处理后的信息生成所述至少一个对象的至少一个3D图像。


10.根据权利要求1所述的设备，其中：
所述照明器包括联接到至少一个光学元件的光源，并且
所述至少一个光学元件使用从所述光源发射的光生成所述结构化光。


11.根据权利要求10所述的设备，其中，所述至少一个光学元件包括以下至少一项：非球面透镜、柱面透镜、衍射元件、分束元件、正光学表面、以及负光学表面。


12.根据权利要求1所述的设备，其中，所述结构化...

【专利技术属性】
技术研发人员：科比·卡米尼茨，纳达维·格罗欣格，摩舍·梅亚瑟德，尼他耶·罗马诺，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US