与用户可佩戴的头戴式耳机连接的移动电子设备的校准制造技术

提供了一种移动电子设备(120)，以与头戴式耳机(100)一起使用。相机(122)输出头戴式耳机的一部分的数字图片。显示设备显示信息，以供佩戴头戴式耳机(100)的用户观看。处理器检索至少表征相机相对于显示设备的姿态的校准参数，并处理来自相机的数字图片以识别数字图片内的光学可识别特征的姿态。基于数字图片内的光学可识别特征的所识别的姿态，并且至少基于如由校准参数表征的相机相对于显示设备的姿态，识别移动电子设备(120)相对于保持器的姿态。处理器基于移动电子设备(120)相对于保持器的所识别的姿态来控制在显示设备上何处渲染图形对象。

【技术实现步骤摘要】
【国外来华专利技术】与用户可佩戴的头戴式耳机连接的移动电子设备的校准
本公开涉及使用移动电子设备来显示信息以供佩戴者观看的头戴式显示器。
技术介绍
头戴式显示器(HMD)将成为社会用于人际交流、游戏和其他应用的未来设备生态系统的越来越多的部分。混合现实(MR)头戴式耳机是一种类型的HMD，其通过计算机生成的信息(例如，图形对象、文本、标记等)以可以使信息在用户看来就像它存在于真实世界中一样的方式来增强用户在真实世界中看到的内容。MR头戴式耳机可以使用户能够使用特殊的电子设备(例如跟踪用户的运动并可以向用户提供触觉反馈的触觉设备)以看似真实或物理的方式进行交互。基于智能电话或其他移动电子设备的MR耳机正变得越来越受欢迎，若干初创公司在2017年和2018年推出了新设备，分别称为MiraPrism、Holokit、GhostAR和LenovoMirageAR。这些头戴式耳机相对便宜，并且可以与苹果、三星、谷歌和其他的智能电话一起使用。例如，针对Ghost和Holokit设备的开发人员可以利用分别称为ARCore和ARKit的谷歌和苹果的MR软件开发工具包(SDK)工具来执行对象识别和6自由度(DOF)定位。通过将前透镜从透视改变为非透视，Ghost设备还可用于虚拟现实(VR)中。在整个VR领域，谷歌Cardboard、谷歌Daydream和三星GearVR是基于智能电话的VR头戴式耳机，它们的价格也很低，并且有很高的知名度。MR头戴式耳机通常可以表征为两类：无镜头戴式耳机(例如，图1和图2中描绘的MiraPrism型头戴式耳机以及Holokit和Ghost头戴式耳机)和基于镜的头戴式耳机。对于无镜头戴式耳机，由移动电子设备120(例如，智能电话)的显示设备发出的光被投影到透镜110(例如，沿着路径200a)。透镜110是至少部分透明的(即，透视)，以允许环境光穿过以供佩戴MR头戴式耳机的用户观看，同时还被配置为向后反射由显示设备发出的光的至少一部分以供用户观看。透镜110可以具有或可以不具有聚光或光分散效果(例如，放大来自真实世界特征的光)。在图1和图2中，透镜110将光朝着用户的眼睛反射(例如，沿着路径200b，主要凭借镜面反射)，并且朝着设备120的相机122反射(例如，沿着路径200c，凭借漫射)。相反，对于基于镜的头戴式耳机，由移动电子设备120的显示设备发出的光被投影到镜，该镜将光朝着反射的透视透镜反射，以进行反射，该反射可以直接或间接地朝着用户的眼睛。一些基于镜的头戴式耳机将移动电子设备120的后置相机配置为具有世界的视野，这是有益的，因为可以将后置相机配置为提供比前置相机更好质量的视频。例如，当前版本的ARCore或ARKitSDK仅可以使用后置相机有效运行，因为相对于前置相机它的成像质量更高。与无镜头戴式耳机相比，一些基于镜的头戴式耳机实现移动电子设备的更加灵活的定位，因为头戴式耳机的透视透镜与移动电子设备的显示设备之间的相对定位的限制。MR系统可以通过使移动电子设备的显示设备朝着头戴式耳机透镜(无镜设计)或头戴式耳机镜(基于镜的设计)投影信息和其他虚拟内容来进行操作。处理来自相机的数字图片(例如，视频帧)以识别真实世界的特征(例如，跟踪标记或其他真实世界的对象)，真实世界的特征可用于定位(例如，将真实世界和虚拟世界(即，MR头戴式耳机参考)坐标系相互关联)、特征识别和/或将视频流传输到远程观看者(例如，用于学习/教学MR应用，使远程专家能够观看由技术人员的MR头戴式耳机捕获的视频并提供响应性指导)。这些低成本头戴式耳机的主要缺点之一是，当相对于头戴式耳机未最佳地放置移动电子设备(例如，位置和角度定向)时，由头戴式耳机渲染的三维(3D)虚拟内容的质量明显较低(例如，失真、模糊、对比度、真实世界中的位置)。参考图1，移动电子设备可以显示两个图像，其允许用户感知头戴式耳机透镜中的3D图像。如果两个显示的图像与透镜未正确对准，则用户将看到失真的图像。此外，如果要显示的虚拟内容的位置是根据由移动电子设备相机推断的真实世界位置限定的(例如，设备跟踪标记，并且虚拟内容将在最常见的AR应用之一的标记之上得到增强)，或者如果移动电子设备未正确地放置在头戴式耳机中，则相机和头戴式耳机透镜(虚拟内容出现的地方)之间的转换将改变。这将对用户体验产生负面影响，因为虚拟内容将不再与真实世界的内容对准。此外，如果在移动电子设备具有特定姿态时执行校准算法，则如果用户随后以与较早执行校准时不同的姿态替换移动电子设备，该校准将不再有效。此外，如果移动电子设备在使用期间相对于头戴式耳机滑动，则移动电子设备和头戴式耳机之间的相对姿态将改变。可以将移动电子设备次最优地放置在头戴式耳机中的原因是，移动电子设备具有许多不同的大小(长度、宽度和厚度)，这使应该如何配置头戴式耳机以可释放地保持变化的移动电子设备变得复杂。因此，相当大的可变性可以导致相对于头戴式耳机，同一用户如何摆放移动电子设备以及不同用户如何摆放他们的移动电子设备。为了避免由于这种可变性而导致的性能下降，三星GearVR头戴式耳机仅适用于三星品牌的设备(三星针对三星品牌的设备制造了设备特定的保持器附件)，其限制了三星设备相对于头戴式耳机的摆放方式。
技术实现思路
本文公开的一些实施例针对一种用于头戴式耳机的移动电子设备，该头戴式耳机包括被配置为相对于头戴式耳机以限定的姿态可释放地保持该移动电子设备的保持器。该移动电子设备包括相机、显示设备、处理器和存储器。相机被配置为输出数字图片，并且由保持器布置以观看头戴式耳机的一部分。显示设备由保持器布置以显示信息，以供佩戴头戴式耳机的用户观看。处理器可操作地连接到相机和显示设备。存储器存储由处理器执行以执行操作的程序代码。这些操作包括从存储器中检索至少表征相机相对于显示设备的姿态的校准参数。该操作处理来自相机的数字图片，以识别该数字图片内的光学可识别特征的姿态，该数字图片是在移动电子设备被保持器保持时捕获的。该操作基于数字图片内的光学可识别特征的所识别的姿态并且至少基于如由校准参数表征的相机相对于显示设备的姿态，来识别移动电子设备相对于保持器的姿态。该操作基于移动电子设备相对于保持器的所识别的姿态来控制在显示设备上何处渲染图形对象。这些和其他实施例可以提供的潜在优点是，移动电子设备可以优化其操作以补偿如何确定该设备相对于头戴式耳机的摆放。因此，例如，当将移动电子设备放置在头戴式耳机中且显示设备从优选位置横向偏移时，移动电子设备可以确定这种偏移并调整其操作以更优化地显示信息供佩戴头戴式耳机的用户观看。备选地或附加地，移动电子设备可以向用户提供关于应该如何调整移动电子设备的姿态的指导。本文公开的一些其他实施例针对由移动电子设备的处理器执行操作的对应方法。如上所述，移动电子设备包括用于与头戴式耳机一起使用的相机和显示设备，该头戴式耳机具有被配置为相对于头戴式耳机以限定的姿态可释放地保持移动电子设备的保持器。该方法包括检索校准参数，该校准参数至少表征相机相对于显示设备的姿态。该方法处理来自相机的数字图片，以识别该数本文档来自技高网...

【技术保护点】
1.一种用于头戴式耳机(100)的移动电子设备(120)，所述头戴式耳机(100)包括保持器(121)，所述保持器被配置为相对于所述头戴式耳机以限定的姿态可释放地保持所述移动电子设备，所述移动电子设备(120)包括：/n相机(122)，被配置为输出数字图片，并且由所述保持器布置以观看所述头戴式耳机的一部分；/n显示设备(1040)，由所述保持器布置以显示信息供佩戴所述头戴式耳机的用户观看；/n处理器(1006)，操作地连接到所述相机和所述显示设备；以及/n存储器(1010)，存储由所述处理器执行以执行包括以下的操作的程序代码(1012)：/n从所述存储器中检索至少表征所述相机相对于所述显示设备的姿态的校准参数；/n处理来自所述相机的数字图片，以识别在所述移动电子设备被所述保持器保持时捕获的数字图片内的光学可识别特征的姿态；/n基于所述数字图片内的光学可识别特征的所识别的姿态并且至少基于由所述校准参数表征的所述相机相对于所述显示设备的姿态，来识别所述移动电子设备相对于所述保持器的姿态；以及/n基于所述移动电子设备相对于所述保持器的所识别的姿态，控制在所述显示设备上何处渲染图形对象。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于头戴式耳机(100)的移动电子设备(120)，所述头戴式耳机(100)包括保持器(121)，所述保持器被配置为相对于所述头戴式耳机以限定的姿态可释放地保持所述移动电子设备，所述移动电子设备(120)包括：
相机(122)，被配置为输出数字图片，并且由所述保持器布置以观看所述头戴式耳机的一部分；
显示设备(1040)，由所述保持器布置以显示信息供佩戴所述头戴式耳机的用户观看；
处理器(1006)，操作地连接到所述相机和所述显示设备；以及
存储器(1010)，存储由所述处理器执行以执行包括以下的操作的程序代码(1012)：
从所述存储器中检索至少表征所述相机相对于所述显示设备的姿态的校准参数；
处理来自所述相机的数字图片，以识别在所述移动电子设备被所述保持器保持时捕获的数字图片内的光学可识别特征的姿态；
基于所述数字图片内的光学可识别特征的所识别的姿态并且至少基于由所述校准参数表征的所述相机相对于所述显示设备的姿态，来识别所述移动电子设备相对于所述保持器的姿态；以及
基于所述移动电子设备相对于所述保持器的所识别的姿态，控制在所述显示设备上何处渲染图形对象。


2.根据权利要求1所述的移动电子设备(120)，其中，处理来自所述相机的数字图片以识别在所述移动电子设备被所述保持器保持时捕获的数字图片内的光学可识别特征的姿态的操作包括：处理所述数字图片以识别由所述相机捕获的所述头戴式耳机的光学可识别特征的姿态。


3.根据权利要求2所述的移动电子设备(120)，其中，所述操作还包括：
根据从所述存储器中检索的校准参数，确定在先前校准过程期间由所述相机捕获的先前数字图片内的所述头戴式耳机的光学可识别特征的姿态，
其中，处理来自所述相机的数字图片以识别所述数字图片内的所述头戴式耳机的光学可识别特征的姿态的操作是在当前的校准过程期间执行的，以及
其中，识别所述移动电子设备相对于所述保持器的姿态的操作基于如下比较：在所述当前校准过程期间捕获的数字图片内的所述头戴式耳机的光学可识别特征的所识别的姿态与在所述先前校准过程期间捕获的先前数字图片内的所述头戴式耳机的光学可识别特征的姿态的比较。


4.根据权利要求1至3中任一项所述的移动电子设备(120)，其中，所述操作还包括：
在所述显示设备上显示校准图案，以通过从所述头戴式耳机的表面和/或从用户眼睛反射所述校准图案的一部分使所述相机将所述校准图案的所述部分捕获在所述数字图片内，以及
处理来自所述相机的数字图片以识别所述数字图片内的光学可识别特征的姿态的操作包括：处理所述数字图片以识别所述校准图案的所述部分内的限定特征的姿态。


5.根据权利要求1至4中任一项所述的移动电子设备(120)，其中，所述操作还包括：
根据从所述存储器中检索的所述校准参数，确定影响所述数字图片内的限定特征的姿态的所述相机的失真参数，
其中，处理来自所述相机的数字图片以识别所述数字图片内的光学可识别特征的姿态的操作针对所述相机的失真参数进行补偿。


6.根据权利要求1至5中任一项所述的移动电子设备(120)，其中，所述操作还包括：
根据从所述存储器中检索的所述校准参数，确定头戴式耳机到眼睛的参数，所述头戴式耳机到眼睛的参数在至少二维空间中标识在先前的校准过程期间确定的所述头戴式耳机上的至少一个位置与所述用户的至少一只眼睛之间的距离，
其中，控制在所述显示设备上何处渲染图形对象的操作进一步基于所述头戴式耳机到眼睛的参数来执行。


7.根据权利要求1至6中任一项所述的移动电子设备(120)，其中，所述操作还包括：
根据从所述存储器中检索的所述校准参数，确定离轴投影参数，所述离轴投影参数在至少二维空间中标识在先前的校准过程期间确定的所述显示设备上的至少一个位置与所述用户的至少一只眼睛之间的距离，
其中，控制在所述显示设备上何处渲染图形对象的操作进一步基于所述离轴投影参数来执行。


8.根据权利要求1至7中任一项所述的移动电子设备(120)，其中：
基于所述数字图片内的光学可识别特征的所识别的姿态并且至少基于由所述校准参数表征的所述相机相对于所述显示设备的姿态来识别所述移动电子设备相对于所述保持器的姿态的操作包括：
生成(500)相机到头戴式耳机的变换，该变换将所述相机的姿态与所述数字图片内的头戴式耳机的光学可识别特征相关联；
获得(502)相机到显示的变换，该变换将所述相机的姿态与所述显示设备的姿态相关联；以及
基于所述相机到头戴式耳机的变换和所述相机到显示的变换，生成(504)显示到头戴式耳机的变换；以及
基于所述移动电子设备相对于所述保持器的所识别的姿态控制(506)在所述显示设备上何处渲染图形对象的操作基于所述显示到头戴式耳机的变换来执行。


9.根据权利要求8所述的移动电子设备(120)，其中，所述操作还包括：
根据从所述存储器中检索的所述校准参数，确定影响所述数字图片内的头戴式耳机的光学可识别特征的姿态的所述相机的失真参数，
其中，生成所述相机到头戴式耳机的变换的操作针对所述相机的失真参数进行补偿。


10.根据权利要求8至9中任一项所述的移动电子设备(120)，其中，获得将所述相机的姿态与所述显示设备的姿态相关联的所述相机到显示的变换的操作包括：
处理来自所述相机的所述数字图片或另一数字图片，以从反射图像中识别所述相机和所述显示设备之间的相对于至少二维坐标系的距离，所述反射图像是通过来自所述显示设备的图像被所述头戴式耳机的反射表面反射到所述相机而生成的；以及
基于所述相机和所述显示设备之间的距离来生成所述相机到显示的变换。


11.根据权利要求10所述的移动电子设备(120)，其中，基于所述相机和所述显示设备之间的距离来生成所述相机到显示的变换的操作包括：
获得表征所述保持器与产生所述反射图像的所述头戴式耳机的反射表面之间的距离的数据；以及
基于根据表征所述保持器和所述头戴式耳机的反射表面之间的距离的数据，缩放在所述反射图像中识别的所述相机和所述显示设备之间的距离，来生成所述相机到显示的变换。


12.根据权利要求8至11中任一项所述的移动电子设备(120)，其中，所述操作还包括：
处理(600)来自所述相机的所述数字图片或另一数字图片以识别用户眼睛的姿态；以及
生成(602)相机到眼睛的变换，该变换将所述相机的姿态与用户眼睛的姿态相关联，
其中，控制在所述显示设备上何处渲染图形对象的操作进一步基于所述相机到眼睛的变换来执行。


13.根据权利要求1至12中任一项所述的移动电子设备(120)，其中，所述操作还包括：
响应于所述移动电子设备相对于所述保持器的所识别的姿态超过偏移阈值，
确定所述移动电子设备将相对于所述保持器移动的方向和距离，以使所述显示设备在所述保持器上的限定位置的阈值距离内，以及
在所述显示设备上显示消息，所述消息指示所述移动电子设备将要移动的方向和距离。


14.根据权利要求1至12中任一项所述的移动电子设备(120)，其中，所述操作还包括：
响应于所述移动电子设备相对于所述保持器的所识别的姿态超过偏移阈值，
确定所述移动电子设备将相对于所述保持器移动的方向，以使所述显示设备在所述保持器上的限定位置的阈值距离内，
在所述显示设备上显示消息，所述消息指示所述移动电子设备应移动的方向，以及
重复对方向的确定并显示另一消息，直到所述移动电子设备在所述保持器上的限定位置的阈值距离内，其中所述另一消息指示所述移动电子设备应移动的方向。


15.根据权利要求1至14中任一项所述的移动电子设备(120)，其中，所述操作还包括：
在所述显示设备上显示校准图案，以通过从所述头戴式耳机的表面和/或从用户眼睛反射所述校准图案的一部分使所述相机将所述校准图案的所述部分捕获在所述数字图片或另一数字图片内；
基于对所述校准图案的所述部分内的特征的大小的确定，来确定所述显示设备的大小和/或所述显示设备的像素密度；以及
在所述存储器中的校准参数的数据结构中存储对所述显示设备的大小和/或所述显示设备的像素密度的指示。


16.根据权利要求1至15中任一项所述的移动电子设备(120)，其中，所述操作还包括：
操作所述相机以捕获由所述显示设备显示并且由所述头戴式耳机的表面和/或由用户眼睛反射的图像的反射；
基于对所反射的图像的形状的确定来确定所述显示设备的形状；以及
在所述存储器中的校准参数的数据结构中存储对所述显示设备的形状的指示。


17.一种由移动电子设备的处理器执行操作的方法，所述移动电子设备包括用于与头戴式耳机一起使用的相机和显示设备，所述头戴式耳机包括保持器，所述保持器被配置为相对于所述头戴式耳机以限定姿态可释放地保持所述移动电子设备，所述方法包括：
检索(400)至少表征所述相机相对于所述...

【专利技术属性】
技术研发人员：何塞·阿罗约，伦纳德·布朗斯，约安尼斯·卡拉吉安尼斯，迭戈·冈萨雷斯莫兰，阿迷尔侯赛因·塔赫库斯塔尼，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE