使用光线投射和实时深度进行遮挡渲染的方法技术

一种提供更身临其境的用户体验的增强现实/混合现实系统。该体验通过使用以低级重建数据增强的深度传感器数据为遮挡数据增加更新速度来提供。在实时动态环境中运行时，物理世界的变化可被快速地反映在遮挡数据中。使用以低级3D重建数据(例如光线投射点云)增强的实时深度数据的遮挡渲染可大大减少视觉遮挡处理的延迟。以这种方式生成遮挡数据可使用较少的计算资源来提供XR系统的更快操作，并使该系统能够包装在电池供电的可穿戴设备中。

【技术实现步骤摘要】
【国外来华专利技术】使用光线投射和实时深度进行遮挡渲染的方法相关申请的交叉引用本申请要求于2017年12月22日提交的题为“VIEWPOINTDEPENDENTBRICKSELECTIONFORFASTVOLUMMETRICRESTRUCTION(用于快速体积重建的视点相关砖块选择)”的美国临时专利申请序列号62/610,000的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2017年12月22日提交的题为“MULTI-STAGEBLOCKMESHSIMPLIFICATIONFORMULTIPLETARGETS(用于多个目标的多级区块网格简化)”的美国临时专利申请序列号62/609,990的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2017年12月22日提交的题为“CACHINGANDUPDATINGOFDENSE3DRECONSTRUCTIONDATAONMOBILEDEVICES(移动设备上密实3D重建数据的缓存和更新)”的美国临时专利申请序列号62/609,962的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2017年12月22日提交的题为“METHODOFOCCLUSIONRENDERINGUSINGRAYCASTANDLIVEDEPTH(使用光线投射和实时深度进行遮挡渲染的方法)”的美国临时专利申请序列号62/609,979的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2018年7月24日提交的题为“VIEWPOINTDEPENDENTBRICKSELECTIONFORFASTVOLUMMETRICRESTRUCTION(用于快速体积重建的视点相关砖块选择)”的美国临时专利申请序列号62/702,761的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2018年7月24日提交的题为“CACHINGANDUPDATINGOFDENSE3DRECONSTRUCTIONDATA(密实3D重建数据的缓存和更新)”的美国临时专利申请序列号62/702,740的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2018年7月24日提交的题为“METHODOFOCCLUSIONRENDERINGUSINGRAYCASTANDLIVEDEPTH(使用光线投射和实时深度进行遮挡渲染的方法)”的美国临时专利申请序列号62/702,736的优先权和权益，其全部内容在此通过引用并入本文。
本申请总体上涉及使用3D世界重建来渲染场景的跨现实系统。
技术介绍
计算机可以控制人类用户接口以创建X现实(XR或跨现实)环境，在该环境中，由计算机生成被用户所感知(perceive)的XR环境的部分或全部。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境，其中XR环境的部分或全部可以由计算机部分地使用描述该环境的数据生成。该数据可以描述例如虚拟对象，该虚拟对象可以以用户感应(sense)或感知为物理世界的一部分并且可以与虚拟对象交互的方式来渲染。由于数据是通过用户接口设备(例如，头戴式显示设备)渲染和呈现的，因此用户可能体验到这些虚拟对象。数据可以显示给用户看，或者可以控制播放给用户听的音频，或者可以控制感触(tactile)(或触觉(haptic))接口，从而使用户能够体验到用户感应或感知到感觉虚拟对象的触摸感觉。XR系统可对许多应用很有用，跨越科学可视化、医学培训、工程设计和原型制作、远程操纵和远程呈现以及个人娱乐等领域。与VR相比，AR和MR包括一个或多个与物理世界的真实对象相关的虚拟对象。虚拟对象与真实对象交互的体验极大地增强了用户使用XR系统的乐趣，也为各种应用打开了大门，这些应用呈现了有关如何改变物理世界的现实且易于理解的信息。
技术实现思路
本申请的方面涉及用于遮挡渲染的方法和装置。本文描述的技术可以一起地、分开地或以任何合适的组合来使用。一些实施例涉及一种操作计算系统以在包括物理对象的场景中渲染虚拟对象的方法。所述方法包括：从用户佩戴的传感器捕获深度信息，所述深度信息指示所述用户与所述物理对象之间的距离；根据所述深度信息生成表面信息，所述表面信息指示在所述用户的视场中到所述物理对象的距离，所述生成包括随着所述场景和所述视场变化来实时更新所述表面信息；以及根据所述表面信息和有关所述虚拟对象在所述场景中的位置的信息，计算要渲染的所述虚拟对象的部分。在一些实施例中，所述深度信息是以每秒至少30帧的帧速率的深度图像序列。在一些实施例中，根据所述深度信息生成所述表面信息包括：根据来自立体摄像机的立体深度信息生成所述表面信息。所述立体深度信息对应于基于所述深度信息选择的所述物理对象的区域。在一些实施例中，根据所述深度信息生成所述表面信息包括：根据所述物理对象的3D重建的低级数据生成所述表面信息。在一些实施例中，所述物理对象的所述3D重建的所述低级数据采用点云的格式。在一些实施例中，根据所述深度信息生成所述表面信息包括：根据包括所述物理对象的所述场景的3D表示的低级数据生成所述表面信息。在一些实施例中，所述计算系统包括远程服务和应用。所述表面信息由所述远程服务生成。所述应用基于从所述远程服务接收的表面信息来计算要渲染的所述虚拟对象的部分。在一些实施例中，捕获所述深度信息包括：至少部分地基于所述深度信息产生深度图，所述深度图包括多个像素，每个像素指示到所述物理对象的点的距离。在一些实施例中，生成所述表面信息包括：过滤所述深度信息以生成深度图，所述深度图包括多个像素，每个像素指示到所述物理对象的点的距离；选择性地获取所述物理对象的3D重建的低级数据；以及基于所述深度图和所述选择性地获取的所述物理对象的所述3D重建的低级数据生成所述表面信息。在一些实施例中，过滤所述深度信息包括：确定用于所述深度图的区域的质量度量；基于所述质量度量标识所述深度图中的孔；以及从所述深度图中移除所述孔。在一些实施例中，生成所述表面信息包括：用所述物理对象的所述3D重建的所述低级数据的至少一部分填充与所述深度图中的所述孔相对应的区域。在一些实施例中，所述孔指示所述深度图中丢失或有噪声的像素。在一些实施例中，移除所述孔的动作包括移除所述深度图中与所述虚拟对象的位置的间隔超过阈值距离的区域。在一些实施例中，选择性地获取所述物理对象的所述3D重建的所述低级数据是基于所述孔的。在一些实施例中，选择性地获取所述物理对象的所述3D重建的所述低级数据的动作包括：将来自虚拟相机的光线投射到所述物理对象的所述3D重建。在一些实施例中，投射光线包括：在所述物理对象的所述3D重建的边界区域处投射密集光线，以及在所述物理对象的所述3D重建的中心区域中投射稀疏光线。在一些实施例中，计算要渲染的所述虚拟对象的部分包括：基于所述表面信息，模拟所述虚拟对象与所述物理对象的交互。一些实施例涉及一种用户可携带的电子系统。所述电子系统包括：传感器，其被配置为捕获关于本文档来自技高网...

【技术保护点】
1.一种操作计算系统以在包括物理对象的场景中渲染虚拟对象的方法，所述方法包括：/n从用户佩戴的传感器捕获深度信息，所述深度信息指示所述用户与所述物理对象之间的距离；/n根据所述深度信息生成表面信息，所述表面信息指示在所述用户的视场中到所述物理对象的距离，所述生成包括随着所述场景和所述视场变化来实时更新所述表面信息；以及/n根据所述表面信息和有关所述虚拟对象在所述场景中的位置的信息，计算要渲染的所述虚拟对象的部分。/n

【技术特征摘要】
【国外来华专利技术】20171222 US 62/609,962;20171222 US 62/609,979;20171.一种操作计算系统以在包括物理对象的场景中渲染虚拟对象的方法，所述方法包括：
从用户佩戴的传感器捕获深度信息，所述深度信息指示所述用户与所述物理对象之间的距离；
根据所述深度信息生成表面信息，所述表面信息指示在所述用户的视场中到所述物理对象的距离，所述生成包括随着所述场景和所述视场变化来实时更新所述表面信息；以及
根据所述表面信息和有关所述虚拟对象在所述场景中的位置的信息，计算要渲染的所述虚拟对象的部分。


2.根据权利要求1所述的方法，其中，所述深度信息是以每秒至少30帧的帧速率的深度图像序列。


3.根据权利要求1所述的方法，其中，根据所述深度信息生成所述表面信息包括：根据来自立体摄像机的立体深度信息生成所述表面信息，并且所述立体深度信息对应于基于所述深度信息选择的所述物理对象的区域。


4.根据权利要求1所述的方法，其中，根据所述深度信息生成所述表面信息包括：根据所述物理对象的3D重建的低级数据生成所述表面信息。


5.根据权利要求4所述的方法，其中，所述物理对象的所述3D重建的所述低级数据采用点云的格式。


6.根据权利要求1所述的方法，其中，根据所述深度信息生成所述表面信息包括：根据包括所述物理对象的所述场景的3D表示的低级数据生成所述表面信息。


7.根据权利要求1所述的方法，其中：
所述计算系统包括远程服务和应用；
所述表面信息由所述远程服务生成；以及
所述应用基于从所述远程服务接收的表面信息来计算要渲染的所述虚拟对象的部分。


8.根据权利要求1所述的方法，其中，捕获所述深度信息包括：
至少部分地基于所述深度信息产生深度图，所述深度图包括多个像素，每个像素指示到所述物理对象的点的距离。


9.根据权利要求1所述的方法，其中，生成所述表面信息包括：
过滤所述深度信息以生成深度图，所述深度图包括多个像素，每个像素指示到所述物理对象的点的距离；
选择性地获取所述物理对象的3D重建的低级数据；以及
基于所述深度图和所述选择性地获取的所述物理对象的所述3D重建的低级数据生成所述表面信息。


10.根据权利要求9所述的方法，其中，过滤所述深度信息包括：
确定用于所述深度图的区域...

【专利技术属性】
技术研发人员：D·G·莫利纳，F·T·施泰因布鲁克，吴仲乐，魏晓林，闵见源，张一夫，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US