用于确定和/或评价图像显示设备的定位地图的方法和装置制造方法及图纸

本申请涉及用于确定和/或评价图像显示设备的定位地图的方法和装置。一种被配置为佩戴在用户的头部上的装置，包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所处的环境；以及处理单元，其被配置为至少部分地基于来自相机系统的输出来确定地图，其中地图被配置为由处理单元使用以相对于环境定位用户；其中，装置的处理单元还被配置为获得度量，该度量指示使用地图成功定位用户的可能性，并且其中，处理单元被配置为通过计算度量或通过接收度量来获得度量。量或通过接收度量来获得度量。量或通过接收度量来获得度量。

【技术实现步骤摘要】
用于确定和/或评价图像显示设备的定位地图的方法和装置
[0001]本申请是申请日为2019年7月24日、PCT国际申请号为PCT/US2019/043154、中国国家阶段申请号为201980049093.8、专利技术名称为“用于确定和/或评价图像显示设备的定位地图的方法和装置”的申请的分案申请。


[0002]本公开涉及被配置为佩戴在用户的头部上的图像显示设备，以及用于确定和评价针对此类图像显示设备的定位地图的方法和装置。

技术介绍

[0003]现代计算和显示技术促进了用于所谓的“虚拟现实”(VR)或“增强现实”(AR)体验的“混合现实”(MR)系统的发展，其中，数字再现的图像或其部分以他们看起来是真实的或可被感知为真实的方式呈现给用户。VR场景通常涉及以对实际的真实世界视觉输入不透明的方式来呈现数字或虚拟图像信息。AR场景通常涉及将数字或虚拟图像信息的呈现作为对用户周围的真实世界(即，对真实世界视觉输入的透明度)的可视化的增强。因此，AR场景涉及以对真实世界视觉输入透明的方式来呈现数字或虚拟图像信息。
[0004]MR系统可以生成并显示颜色数据，这增加了MR场景的真实性。这些MR系统中的许多系统通过快速连续地按顺序投射与彩色图像对应的不同(例如，原色)颜色或“场”(例如，红色、绿色和蓝色)的子图像来显示颜色数据。以足够高的速率(例如，60Hz、120Hz等)投射彩色子图像可以在用户的头脑中传递平滑的彩色MR场景。
[0005]各种光学系统在用于显示MR(VR和AR)场景的各种深度处生成包括彩色图像的图像。一些这样的光学系统在2014年11月27日提交的美国实用专利申请No.14/555,585(代理案号ML.20011.00)中描述，其内容通过引用整体被明确地并完整地并入本文中，如同完全阐述一样。
[0006]MR系统可以采用可穿戴显示设备(例如，被配置为佩戴在头部上的显示器、头盔式显示器或智能眼镜)，其至少松散地耦接到用户的头部，并由此在用户的头部移动时移动。如果显示系统检测到用户的头部运动，则可以更新(例如，“改变(warp)”)正在显示的数据以考虑头部姿势(即，用户头部的取向和/或位置)的变化。
[0007]作为示例，如果佩戴显示设备的用户观看显示器上的虚拟对象的虚拟表示并且在虚拟对象出现的区域周围行走，则可以针对每个观看点渲染虚拟对象，从而给予用户他们在占据真实空间的对象周围行走的感知。如果显示设备用于呈现多个虚拟对象，则可以使用头部姿势的测量来渲染场景以匹配用户的动态变化的头部姿势并且提供增加的沉浸感。
[0008]能够实现AR的显示设备(被配置为佩戴在用户的头部上)提供对真实对象和虚拟对象两者的同时观看。通过“光学透视”显示器，用户可以透视显示系统中的透明(或半透明的)元件以直接观看来自环境中的真实对象的光。透明元件(通常称为“组合器”)将来自显示器的光叠加在用户对真实世界的视图上，其中来自显示器的光将虚拟内容的图像投射在环境中的真实对象的透视图上。相机可以被安装到显示设备上以捕获由用户观看到的场景
的图像或视频。
[0009]当前光学系统，诸如MR系统中的那些光学系统，光学地渲染虚拟内容。内容是“虚拟的”，因为其不对应于位于空间中的相应位置的真实物理对象。相反，当用户被指向其的眼睛的光束刺激时，虚拟内容仅存在于显示设备的用户的大脑(例如，光学中心)中。
[0010]在一些情况下，被配置为佩戴在用户的头部上的图像显示设备可以相对于真实环境显示虚拟对象和/或可以允许用户相对于真实环境来放置和/或操纵虚拟对象。在这种情况下，图像显示设备可以被配置为相对于真实环境定位用户，使得虚拟对象可以相对于真实环境被正确地移位。本文公开了用于确定和/或评价图像显示设备(例如，MR设备、AR设备、VR设备等)的定位地图的方法和装置。定位地图被配置为由图像显示设备用于用户的定位。

技术实现思路

[0011]一种被配置为佩戴在用户的头部上的装置，包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所处的环境；以及处理单元，其被配置为至少部分地基于来自相机系统的输出来确定地图，其中地图被配置为由处理单元使用以相对于环境定位用户；其中装置的处理单元还被配置为确定度量，该度量指示使用地图成功定位用户的可能性。
[0012]可选地，处理单元可以被配置为通过计算度量来确定度量。
[0013]可选地，处理单元可以被配置为通过接收度量来确定度量。
[0014]可选地，处理单元被配置为基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。
[0015]可选地，相机位置包括相机系统的相机的第一相机位置和相机系统的相机的第二相机位置。
[0016]可选地，相机位置包括相机系统的第一相机的第一相机位置和相机系统的第二相机位置的第二相机位置。
[0017]可选地，度量指示可用于相对于环境定位用户的参考点的数量。
[0018]可选地，度量指示在一个或多个观看方向成功定位用户的可能性。
[0019]可选地，处理单元被配置为基于从不同相机位置检测到感兴趣点的次数来确定度量。
[0020]可选地，处理单元被配置为确定度量而不确定任何凸包。
[0021]可选地，度量具有基于方向性的值。
[0022]可选地，方向性是相对于一个或多个垂直轴和/或一个或多个水平轴。
[0023]可选地，方向性包括转动方向。
[0024]可选地，方向性包括倾斜角。
[0025]可选地，方向性包括偏转角。
[0026]可选地，度量具有与第一方向性相关联的第一值和与第二方向性相关联的第二值。
[0027]可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，并且其中度量具有基于多个单元中的一个单元内的位置的值。
[0028]可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，其中度量具有与多个单元中的一个单元内的第一位置相关联的第一值和与多个单元中的一个单元内的第二位置相关联的第二值。
[0029]可选地，度量是针对多个单元中的一个单元，并且单元中的每个单元表示环境的一部分的三维空间。
[0030]可选地，处理单元还被配置为确定来自相机系统的用于多个单元中的一个单元的图像的总数。
[0031]可选地，图像的总数与用于单元的某个观看方向相关联。
[0032]可选地，图像的总数与用于单元的多个观看方向相关联。
[0033]可选地，相机系统被配置为获得多个图像，并且其中处理单元被配置为通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数。
[0034]可选地，处理单元还被配置为通过将总分数除以图像的子集中的图像的数量来确定平均分数。
[0035]可选地，平均分数是度量。
[0036本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种被配置为佩戴在用户的头部上的增强现实(AR)装置，包括：处理单元，其被配置为：至少部分地基于图像来确定地图，其中，所述地图被配置为由所述处理单元使用以相对于所述环境定位所述用户；以及获得度量，所述度量指示使用所述地图成功定位所述用户的可能性，所述度量通过计算所述度量或通过接收所述度量来获得。2.根据权利要求1所述的AR装置，其中，所述处理单元被配置为基于与不同相机位置相关联的感兴趣点的共同可见性来确定所述度量。3.根据权利要求1所述的AR装置，其中，所述度量指示可用于相对于所述环境定位所述用户的参考点的数量。4.根据权利要求1所述的AR装置，其中，所述度量指示在一个或多个观看方向上成功定位所述用户的可能性。5.根据权利要求1所述的AR装置，其中，所述处理单元被配置为基于从不同相机位置检测到感兴趣点的次数来确定所述度量。6.根据权利要求1所述的AR装置，其中，所述处理单元被配置为确定所述度量而不确定任何凸包。7.根据权利要求1所述的AR装置，其中，所述度量具有基于方向性的值。8.根据权利要求1所述的AR装置，其中，所述度量是针对多个单元中的一个单元，所述单元中的每个单元表示所述环境的一部分的三维空间，并且其中，所述度量具有基于所述多个单元中的所述一个单元内的位置的值。9.根据权利要求1所述的AR装置，其中，所述度量是针对多个单元中的一个单元，并且所述单元中的每个单元表示所述环境的一部分的三维空间。10.根据权利要求9所述的AR装置，其中，所述相机系统被配置为获得多个图像，并且其中所述处理单元被配置为通过以下来针对所述多个单元中的一个单元确定所述度量：识别属于相同观看方向范围的所述图像的子集；确定所述图像的所述子集中的所述图像的相应分数；以及对所述分数求和以获得总分数。11.根据权利要求10所述的AR装置，其中，所述处理单元还被配置为通过将所述总分数除以所述图像的所述子集中的所述图像的数量来确定平均分数。12.根据权利要求10所述的AR装置，其中，所述处理单元被配置为通过访问将参考点与所述多个图像相关联的共同可见性图来确定所述相应分数。13.根据权利要求12所述的AR装置，其中，所述共同可见性图指示所述参考点中的哪个参考点在所述多个图像中的哪个图像中可见。14.根据权利要求10所述的AR装置，其中，所述处理单元被配置为通过确定在所述图像的所述子集中的所述图像中的对应图像中检测到的参考点的数量来确定所述相应分数中的每个分数。15.根据权利要求1所述的AR装置，其中，所述处理单元还被配置为确定指示所述地图的覆盖程度的区域分数。16.根据权利要求1所述的AR装置，其中，所述处理单元被配置为通过以下来确定所述
度量：从所述相机系统获得多个图像；以及确定共同可见性值，其中，所述共同可见性值中的每个值指示在所述多个图像中的对应图像中检测到的参考点的数量。17.根据权利要求1所述的AR装置，其中，所述处理单元被配置为确定所述相机系统的期望观看方向，用于改进所述度量的值。18.根据...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：