用于大规模环境的交叉现实系统技术方案

交叉现实系统使便携式设备能够访问存储地图并有效且准确地渲染关于这些地图指定的虚拟内容。该系统可以处理利用便携式设备获取的图像，以通过基于持久地图的估计重力方向和定位请求中的数据进行姿势设置所在的坐标系来约束定位结果，而快速且准确地将便携式设备定位到持久地图。系统可以在定位处理期间主动将定位请求中的数据与估计的重力方向对齐，和/或便携式设备可以建立坐标系，在该坐标系中定位请求中的数据与估计的重力方向对齐成姿势，使得随后获取的包含在定位请求中的数据，当在该坐标系中成姿势时，被动地与估计的重力方向对齐。重力方向对齐。重力方向对齐。

【技术实现步骤摘要】
【国外来华专利技术】用于大规模环境的交叉现实系统
[0001]相关申请的交叉引用
[0002]本申请要求2020年4月29日提交的题为“CROSS REALITY SYSTEM FOR LARGE SCALE ENVIRONMENTS(用于大规模环境的交叉现实系统)”的美国临时专利申请序列号63/017,227的优先权和权益，该申请的全部内容通过引用并入本文。


[0003]本申请总体上涉及交叉现实系统。

技术介绍

[0004]计算机可以控制人类用户界面以创建交叉现实(XR)环境，在该环境中，由计算机生成用户所感知的一些或全部XR环境。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境，其中的一些或所有XR环境可以由计算机部分使用描述环境的数据来生成。例如，该数据可以描述虚拟对象，该虚拟对象可以以用户的感觉或感知为物理世界的一部分的方式渲染，以使得用户可以与虚拟对象进行交互。由于数据是通过用户接口设备(诸如例如头戴式显示设备)渲染和呈现的，因此用户可以体验这些虚拟对象。数据可以显示给用户看，或者可以控制被播放给用户听的音频，或者可以控制触觉(或触知)界面，从而使用户能够体验到用户感觉或感知为感觉到虚拟对象的触摸感觉。
[0005]XR系统可以被用于跨科学可视化、医学培训、工程设计和原型、远程操纵和远程呈现以及个人娱乐领域的许多应用。与VR相比，AR和MR包括与物理世界的真实对象相关的一个或多个虚拟对象。虚拟对象与真实对象交互的体验显著地增强了用户使用XR系统的乐趣，并且也为呈现有关如何改变物理世界的现实且易于理解的信息的各种应用打开了大门。
[0006]为了现实地渲染虚拟内容，XR系统可以建立围绕系统的用户的物理世界的表示。例如，此表示可以通过对利用可穿戴设备上的传感器获取的图像进行处理来构建，其中的可穿戴设备形成XR系统的一部分。在这样的系统中，用户可以通过环顾用户打算在其中使用XR系统的房间或其他物理环境，直到系统获得足够的信息来构建该环境的表示，来执行初始化例程。随着系统运行且用户在环境中移动或移动到其他环境，可穿戴设备上的传感器可以获取其他信息以扩展或更新物理世界的表示。

技术实现思路

[0007]本申请的方面涉及用于提供交叉现实(XR)场景的方法和设备。如本文所述的技术可以一起、单独或以任何合适的组合使用。
[0008]一些实施例涉及一种XR系统，其支持相对于持久地图数据库中的一个或多个持久地图指定虚拟内容的位置。所述XR系统包括定位服务，所述定位服务包括：通信部件，其被配置为从便携式电子设备接收关于三维(3D)环境的图像中的多个特征集合的信息，所述信息包括在坐标系中表达的所述多个特征集合的特征的位置；以及至少一个处理器，其被配
置为执行计算机可执行指令，所述计算机可执行指令实现被连接到所述通信部件的定位部件。所述定位部件被配置为：相对于估计重力方向关联所述坐标系的取向；通过对所述多个特征集合中的每个特征集合执行将所述特征集合与所述持久地图数据库中的持久地图的部分之间的变换确定为候选定位的过程，针对所述多个特征集合计算多个候选定位；以及基于所述多个候选定位之间的共识，生成所述便携式电子设备的定位。所述持久地图的所述部分具有相关联的估计重力方向。基于所述坐标系的所述取向来约束所述确定的过程，以确定将所述坐标系与所述相关联的估计重力方向对齐的变换。
[0009]一些实施例涉及一种XR系统，其支持相对于持久地图数据库中的持久地图指定虚拟内容的位置。所述XR系统包括定位服务，所述定位服务包括：通信部件，其被配置为从便携式电子设备接收关于三维(3D)环境的图像中的多个特征集合的信息，所述信息包括在坐标系中表达的所述多个特征集合的特征的位置，所述坐标系具有相对于估计重力方向对齐的维度；以及至少一个处理器，其被配置为执行计算机可执行指令，所述计算机可执行指令实现被连接到所述通信部件的定位部件。所述定位部件被配置为：通过对所述多个特征集合中的每个特征集合执行将所述特征集合与所述持久地图数据库中的持久地图的部分之间的变换确定为候选定位的过程，针对所述多个特征集合计算多个候选定位，以及基于所述多个候选定位之间的共识，生成所述便携式电子设备的定位。所述持久地图的所述部分具有相关联的估计重力方向。所述确定的过程被约束为确定将所述特征集合的重力方向与所述持久地图的所述部分的所述相关联的估计重力方向对齐的变换。
[0010]一些实施例涉及一种被配置为在交叉现实系统内操作的电子设备。所述电子设备包括：一个或多个传感器，其被配置为捕获关于三维(3D)环境的信息，所捕获的信息包括多个图像；以及至少一个处理器，其被配置为执行计算机可执行指令。所述计算机可执行指令包括用于以下的指令：从所述3D环境的所述多个图像中提取多个特征集合；相对于所述电子设备本地的坐标系确定估计重力方向；在所述坐标系中表达所述多个特征集合的特征的位置；向所述交叉现实系统的定位服务发送关于所述多个特征集合的信息，所述信息指示所述多个特征集合的特征的位置和相对于所述坐标系的所述估计重力方向；以及从所述定位服务接收所述电子设备相对于持久地图数据库中的持久地图的姿势，其中，所述电子设备的所述姿势在向所述定位服务发送之后不到10秒内被接收。
[0011]前述概述是通过说明的方式提供的，并非旨在进行限制。
附图说明
[0012]附图并非旨在按比例绘制。在附图中，在各个附图中示出的每个相同或几乎相同的部件由相似的数字表示。为了清楚起见，并非每个部件都可以在每个附图中标记。在附图中：
[0013]图1是示出根据一些实施例的简化的增强现实(AR)场景的示例的示意图；
[0014]图2是根据一些实施例的示例性简化AR场景的示意图，示出了XR系统的示例性使用情况；
[0015]图3是示出根据一些实施例的用于AR系统中的单个用户的数据流的示意图，该AR系统被配置为向用户提供与物理世界交互的AR内容的体验；
[0016]图4是示出根据一些实施例的示例性AR显示系统的示意图，该示例性AR显示系统
为单个用户显示虚拟内容；
[0017]图5A是根据一些实施例的示出了当用户穿着AR显示系统时，该AR显示系统在用户移动穿过物理世界环境时渲染AR内容的示意图；
[0018]图5B是示出根据一些实施例的观看光学组件和伴随部件的示意图；
[0019]图6A是示出根据一些实施例的使用世界重建系统的AR系统的示意图；
[0020]图6B是示出根据一些实施例的维持可通行世界的模型的AR系统的部件的示意图；
[0021]图7是由设备遍历穿过物理世界的路径形成的跟踪地图的示意图。
[0022]图8是示出根据一些实施例的感知虚拟内容的交叉现实(XR)系统的用户的示意图；
[0023]图9是根据一些实施例的在坐标系之间进行变换的图8的XR系统的第一XR设备的部件的框图；
[0024]图10是根据一些实施例的示出将原点坐标框架示例性变换为目的地坐标框架本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种XR系统，其支持相对于持久地图数据库中的一个或多个持久地图指定虚拟内容的位置，所述XR系统包括定位服务，所述定位服务包括：通信部件，其被配置为从便携式电子设备接收关于三维(3D)环境的图像中的多个特征集合的信息，所述信息包括在坐标系中表达的所述多个特征集合的特征的位置；以及至少一个处理器，其被配置为执行计算机可执行指令，所述计算机可执行指令实现被连接到所述通信部件的定位部件，所述定位部件被配置为：相对于估计重力方向关联所述坐标系的取向；通过对所述多个特征集合中的每个特征集合执行将所述特征集合与所述持久地图数据库中的持久地图的部分之间的变换确定为候选定位的过程，针对所述多个特征集合计算多个候选定位，其中：所述持久地图的所述部分具有相关联的估计重力方向；以及基于所述坐标系的所述取向来约束所述确定的过程，以确定将所述坐标系与所述相关联的估计重力方向对齐的变换；以及基于所述多个候选定位之间的共识，生成所述便携式电子设备的定位。2.根据权利要求1所述的XR系统，其中，相对于估计重力方向关联所述坐标系的所述取向包括：从所述便携式电子设备接收所述取向。3.根据权利要求1所述的XR系统，其中，相对于估计重力方向关联所述坐标系的所述取向包括：从所述便携式电子设备接收跟踪地图；计算所述跟踪地图相对于持久地图的取向，其中，所述持久地图相对于重力估计被定向；将所计算的取向存储在持久性存储中，作为所述便携式电子设备的取向；以及随后基于从所述便携式电子设备接收到关于多个特征集合的所述信息，访问所存储的所计算的取向。4.根据权利要求1所述的XR系统，其中，所述多个特征集合的所述坐标系相对于所述估计重力方向的所述取向包括：指示所述估计重力方向的向量。5.根据权利要求1所述的XR系统，其中，确定特征集合的变换的过程受到以下约束：至少部分地基于相应的坐标系相对于估计重力方向的所述取向，固定两个旋转自由度，以及至少部分地基于所固定的两个旋转自由度，计算一个旋转自由度和三个平移自由度。6.根据权利要求1所述的XR系统，其中，针对特征集合计算候选定位包括：相对于所述持久地图数据库中的所述持久地图，执行所述特征集合的粗略定位，其中，粗略定位包括计算所述便携式电子设备相对于所述持久地图数据库中的持久地图的粗略变换，以及相对于所述持久地图执行所述特征集合的精细定位，其中，所述特征集合的精细定位包括：基于所述粗略变换，计算所述便携式电子设备的候选定位。7.根据权利要求6所述的XR系统，其中，计算所述便携式电子设备相对于所述持久地图数据库中的所述持久地图的所述粗略变换包括：至少部分地基于所述相应的坐标系相对于对应的估计重力方向的所述取向，固定两个
旋转自由度，以及至少部分地基于所固定的两个旋转自由度，计算一个旋转自由度和三个平移自由度。8.根据权利要求7所述的XR系统，其中，基于所述粗略变换计算所述便携式电子设备的所述候选定位包括：计算三个旋转自由度和三个平移自由度。9.根据权利要求1所述的XR系统，其中，所述通信部件还被配置为：将所述定位发送到所述便携式电子设备。10.根据权利要求1所述的XR系统，其中，所述多个特征集合的所述特征的位置在所述便携式电子设备的坐标系中被表达。11.一种XR系统，其支持相对于持久地图数据库中的持久地图指定虚拟内容的位置，所述XR系统包括定位服务，所述定位服务包括：通信部件，其被配置为从便携式电子设备接收关于三维(3D)环境的图像中的多个特征集合的信息，所述信息包括在坐标系中表达的所述多个特征集合的特征的位置，所述坐标系具有相对于估计重力方向对齐的维度；以及至少一个处理器，其被配置为执行计算机可执行指令，所述计算机可执行指令实现被连接到所述通信部件的定位部件，所述定位部件被配置为：通过对所述多个特征集合中的每个特征集合执行将所述特征集合与所述持久地图数据库中的持久地图的部分之间的变换确定为候选定位的过程，针对所述多个特征集合计算多个候选定位，其中：所述持久地图的所述部分具有相关...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：