具有现实世界对象的虚拟现实环境制造技术

一种HMD设备呈现虚拟现实环境，其中现实世界的区域被遮蔽，以使得现实世界对象(诸如计算机监视器、门、人、脸等)对设备用户而言表现为可见，并且没有全息或虚拟现实内容在可见对象上被呈现。该HMD设备包括传感器封装以支持表面重构技术的应用以动态检测现实世界对象的边缘和表面，并且当用户改变位置或头部姿态时或者当现实世界对象移动或者它们的位置被改变时使对象在显示器上保持可见。该HMD设备可以展示控件以使得用户能够选择哪些现实世界对象在虚拟现实环境中可见。

【技术实现步骤摘要】
【国外来华专利技术】背景诸如头戴式显示(HMD)系统和手持式移动设备(例如，智能电话、平板电脑，等等)之类的混合现实计算设备可被配置成向用户显示关于在用户的视野中和/或设备的相机的视野中的虚拟或真实对象的信息。例如，HDM设备可被配置成使用具有直通式相机或其它向外传感器的透视显示系统或不透明显示系统来显示其中混合现实世界对象的虚拟环境或其中混合虚拟对象的现实世界环境。类似地，移动设备可以使用相机取景器窗口来显示这样的信息。提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。概述一种HMD设备呈现虚拟现实环境，其中现实世界的区域被遮蔽，以使得现实世界对象(诸如计算机监视器、门、人、脸等)对设备用户而言表现为可见，并且没有全息或虚拟现实内容在可见对象上被呈现。该HMD设备包括传感器封装以支持表面重构技术的应用以动态检测现实世界对象的边缘和表面，并且当用户改变位置或头部姿态时或者当现实世界对象移动或者它们的位置被改变时使对象在显示器上保持可见。该HMD设备可以展示控件以使得用户能够选择哪些现实世界对象在虚拟现实环境中可见。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。附图详细描述图1示出一个说明性的虚拟现实环境，在HMD设备的用户的视野内呈现了该虚拟现实环境的一部分；图2示出HMD设备的用户位于其中的说明性现实世界环境；图3示出了HMD设备的视野中显示的虚拟世界，其中遮蔽了不在其中呈现全息内容的部分；图4示出了HMD设备的视野中显示的虚拟世界，其中现实世界的各部分出现在虚拟世界的被遮蔽区域中；图5示出由HMD设备所展示的用户控件以及由HMD传感器封装提供的说明性数据；图6描绘正由HMD设备捕捉的与现实世界对象相关联的表面重构数据；图7示出了说明性表面重构流水线的框图；图8、9和10是可以使用HMD设备执行的说明性方法的流程图；图11是虚拟现实HMD设备的说明性示例的图形视图；图12示出虚拟现实HMD设备的说明性示例的功能框图；图13和14是可用作虚拟现实HMD设备的组件的说明性封闭面罩的图形前视图；图15示出了在被部分分解时的封闭面罩的视图；图16示出了封闭面罩的幻影线前视图；图17示出了封闭面罩的图形后视图；以及图18示出了示例性计算系统。各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。详细描述在位于相关联的物理现实世界环境中时，用户通常可以在HMD设备所呈现的虚拟现实环境中进行探索、导航、交互以及移动。一说明性虚拟现实环境100被示出在图1中并且一说明性物理现实世界环境200被示出在图2中。用户102采用HMD设备104来体验被可见地呈现在光学显示器上并且在一些实现中可包括音频和/或触觉/触摸感觉的虚拟现实环境100。在这一特定非限制性示例中，虚拟现实环境100包括用户102能够与其交互并且看见的户外景色。当用户改变他头部的位置或取向和/或在现实世界环境内移动时，他对虚拟现实环境的视图可以改变。(由图1中的虚线区域110表示的)视野可被设定尺寸和形状，并且可以控制该设备的其它特性来使得HMD设备体验可视地沉浸式体验以为用户提供在虚拟世界中的强烈存在感。如图2所示，物理现实世界环境200包括现实世界对象，现实世界对象包括工作表面215上的计算机监视器210。门220以及另一人225(例如，用户102的朋友或同事)也位于环境200中。HMD设备104通常被配置成在HMD设备的显示器上遮蔽现实世界的某些区域，以使得没有全息或虚拟现实内容被呈现到被遮蔽区域中。即，被遮蔽现实世界在增强现实中被呈现在HMD显示器上，但以其他方式与虚拟世界中的元素解耦并且现实世界与虚拟世界之间的交互受限。例如，如果虚拟世界支持游戏体验，从现实世界中被遮蔽的监视器不一定需要被用来支持玩游戏过程。监视器可以转而示出例如与虚拟世界中的玩游戏过程无关的流传输视频。在替换实现中，可以准许例外情况，其中在特定情况下一些全息内容可以被呈现到被遮蔽区域中。例如，通知紧急或优先消息或其他重要内容的全息图可以无需考虑被遮蔽区域而被呈现，或者按照限制对被遮蔽区域的侵入同时仍然允许被呈现的全息内容接收用户注意力的方式被呈现。在其他示例中，用户可选选项可以被提供以使得用户能够选择在例外情况的基础上能够呈现在被遮蔽区域中的全息内容的类别或类型。此类全息内容类别和类型可以根据应用而改变。图3示出了设备104的视野110中的现实世界的各个被遮蔽区域305。被遮蔽区域与现实世界中在被呈现在当前视野110内的混合现实环境400中的显示器上保持可见的部分相对应，如图4中所示(其中混合现实环境包括虚拟世界对象和现实世界对象两者)。在这一特定说明性示例中，监视器210、工作表面215、门220和人225从现实世界被遮蔽。相应地，用户102可以看到现实世界对象以及虚拟户外景色的部分两者，如图4所示。注意到，尽管在这一示例中显示了人225的脸部和身体两者，但在替换实现中，HMD设备可以被配置成选择性地仅仅显示人的各部分，诸如脸部。现实世界对象的遮蔽和显示通常被动态执行，以使得在用户的查看位置改变和/或各对象在物理环境200内移动或改变位置时，各对象大致维持它们在混合现实环境内的上下文。例如，当人移动时，门被打开/关闭时，监视器被重新定位时等等，遮蔽和显示被刷新以使得混合现实环境能够维持全息几何形状，其中没有全息图或其他虚拟内容被呈现在所显示的现实世界对象之前或之后。如图5和6所示，HMD设备104配置有传感器封装500。在下文中更详细描述地描述示例性传感器。如图5所示，传感器封装500可以支持包括表面重构510的各种功能。表面重构可以被用于例如检测边缘和表面512以及进行头部追踪以确定用户头部在物理现实世界环境200内的3D(三维)位置和取向515。如图6所示，表面重构数据600使用传感器封装500来获得，并且可以被用于检测物理现实世界环境200中与现实世界对象相关联的边缘和表面，并且标识它们在该环境内的位置，以使得这些对象中的一些可以从现实世界被遮蔽并且在混合现实环境中被示出。在替换实现中，可以使用合适的立体图像分析技术来导出用于表面重构的深度数据。现实世界的一些区域也可以被显式地遮蔽而不使用远程对象感测，或者基于传感器的遮蔽与显式遮蔽的组合可以被使用。在一些实现中，传感器封装还可以支持注视追踪520以查明可以与头部位置和取向数据一起使用的用户注视的方向525。HMD设备104可以进一步被配置成展示一个或多个用户控件530以使得对现实世界对象的选择535能够在混合现实环境中可见。例如，各控件530可以促进用户102将监视器选择为要被遮蔽本文档来自技高网...

【技术保护点】
一种由支持混合现实环境的呈现的头戴式显示器(HMD)设备执行的方法，所述混合现实环境包括来自虚拟世界的全息内容以及来自现实世界的对象，所述方法包括：获得现实世界中被包括在邻接所述HMD设备的用户的物理环境内的一个或多个对象的传感器数据；根据所述传感器数据来重构所述一个或多个对象的几何形状；使用经重构的几何形状，对现实世界中要包括在混合现实环境中的区域进行遮蔽，其中被遮蔽区域不包含来自虚拟世界的全息内容；以及在所述HMD设备中的显示器上示出包括虚拟世界的各部分以及现实世界的被遮蔽区域的混合现实环境。

【技术特征摘要】
【国外来华专利技术】2014.07.25 US 62/029,351;2015.04.16 US 14/688,6951.一种由支持混合现实环境的呈现的头戴式显示器(HMD)设备执行的方法，所述混合现实环境包括来自虚拟世界的全息内容以及来自现实世界的对象，所述方法包括：获得现实世界中被包括在邻接所述HMD设备的用户的物理环境内的一个或多个对象的传感器数据；根据所述传感器数据来重构所述一个或多个对象的几何形状；使用经重构的几何形状，对现实世界中要包括在混合现实环境中的区域进行遮蔽，其中被遮蔽区域不包含来自虚拟世界的全息内容；以及在所述HMD设备中的显示器上示出包括虚拟世界的各部分以及现实世界的被遮蔽区域的混合现实环境。2.如权利要求1所述的方法，其特征在于，所述传感器数据包括深度数据，并且进一步包括使用深度传感器来生成所述传感器数据，并应用表面重构技术来重构几何形状。3.如权利要求1所述的方法，其特征在于，进一步包括使用立体成像深度分析来生成深度数据。4.如权利要求1所述的方法，其特征在于，还包括：使用物理环境的经重构的几何形状来追踪所述物理环境中的用户头部以确定当前视野。5.如权利要求4所述的方法，其特征在于，进一步包括按照响应于所述当前视野的动态方式来执行所述示出。6.如权利要求1所述的方法，其特征在于，进一步包括向用户展示控件以用于选择现实世界中被包括在被遮蔽区域中的对象。7.如权利要求1所述的方法，其特征在于，进一步包括使用经重构的几何形状来生成全息几何形状，其中所述HMD设备阻止全息内容被呈现在显示器上，无论在全息几何形状之前还是在全息几何形状之后。8.如权利要求1所述的方法，其特征在于，进一步包括向用户提供控件以选择现...

【专利技术属性】
技术研发人员：A·M·伯恩斯，T·萨尔特，B·苏格登，J·萨瑟兰，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US