使用具有校准目标的便携式扩展坞的头戴式显示器校准制造技术

描述了一种系统，该系统包括头戴式显示器(HMD)和便携式扩展坞，该便携式扩展坞被配置成接收HMD以校准HMD的一个或更多个部件。便携式扩展坞包括至少一个校准目标，例如棋盘图案和/或凸面反射器。本公开的技术包括基于当HMD被放置在便携式扩展坞中时由图像捕获设备捕获的校准目标的一个或更多个图像来校准HMD的图像捕获设备。所公开的技术可以被应用于校准HMD的多个不同部件，包括诸如眼睛跟踪相机和内向外相机的图像捕获设备、显示器、照明器、传感器等。在一些示例中，当HMD被放置在便携式扩展坞中时，HMD的可充电电池可以被充电。

【技术实现步骤摘要】
【国外来华专利技术】使用具有校准目标的便携式扩展坞的头戴式显示器校准
本公开总体上涉及头戴式显示器，更具体地说，涉及头戴式显示器内部件的校准。背景人工现实系统正变得越来越普遍存在，应用于许多领域，诸如计算机游戏、卫生安全、产业和教育。举几个示例，人工现实系统被结合到移动设备、游戏机(gamingconsole)、个人计算机、电影院和主题公园中。一般来说，人工现实是在呈现给用户之前已经以某种方式调整过的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。典型的人工现实系统包括用于渲染内容并向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可以结合由用户佩戴的头戴式显示器(HMD)，并被配置为向用户输出人工现实内容。HMD可包括一个或更多个部件(例如，图像捕获设备、照明器、传感器等)，其被配置为捕获图像和用于计算参考框架(诸如，HMD)的当前姿势(例如，位置和取向)的其他数据。HMD基于当前姿势选择性地渲染人工现实内容以显示给用户。概述一般来说，本公开描述了一种系统，该系统包括头戴式显示器(HMD)和便携式扩展坞(portabledockingstation)，该便携式扩展坞被配置成接收HMD，以用于校准HMD的一个或更多个部件。便携式扩展坞包括至少一个校准目标，例如棋盘图案和/或凸面反射器。在一些示例中，便携式扩展坞可以包括将HMD保持在固定位置的固定装置(fixture)和/或用于确定HMD在便携式扩展坞内的位置的基准标记。本公开的技术包括基于当HMD被放置在便携式扩展坞中时由图像捕获设备捕获的校准目标的一个或更多个图像来校准HMD的一个或更多个图像捕获设备(例如，相机)。在HMD或与HMD相关联的外围设备上执行的校准引擎可以通过以下动作来执行校准：基于所捕获的校准目标的图像以及在便携式扩展坞内的HMD的位置和校准目标的位置之间的空间关系来确定图像捕获设备的内参数和/或外参数，然后配置或重新配置图像捕获设备以根据所确定的参数进行操作。所公开的技术可以被应用于校准HMD的多个不同部件，包括图像捕获设备，诸如眼睛跟踪相机和内向外相机(inside-outcamera)、显示器、照明器、传感器等。在一些示例中，当HMD被放置在便携式扩展坞中时，HMD的可充电电池可以被充电。以这种方式，HMD的一个或更多个部件可以在充电期间或紧接在充电之后进行校准，从而不会对HMD的用户产生额外的维护步骤。在一些示例中，一旦确定便携式扩展坞已经接收HMD和/或确定当HMD在便携式扩展坞内时HMD的可充电电池被充电到至少阈值充电水平时，可以触发HMD的一个或更多个部件的校准。在一个示例中，本公开涉及一种系统，该系统包括：HMD，该HMD包括至少一个图像捕获设备；便携式扩展坞，其被配置成接收HMD，该便携式扩展坞包括至少一个校准目标，当HMD被放置在便携式扩展坞中时，该校准目标在至少一个图像捕获设备的视场内；以及执行校准引擎的处理器，该校准引擎被配置成：基于当HMD被放置在便携式扩展坞中时由至少一个图像捕获设备捕获的至少一个校准目标的一个或更多个图像，校准HMD的至少一个图像捕获设备。在另一示例中，本公开涉及一种方法，该方法包括：由便携式扩展坞接收包括至少一个图像捕获设备的HMD，其中当HMD被放置在便携式扩展坞中时，便携式扩展坞包括在至少一个图像捕获设备的视场内的至少一个校准目标；确定HMD的至少一个图像捕获设备将要被校准；以及基于当HMD被放置在便携式扩展坞中时由至少一个图像捕获设备捕获的至少一个校准目标的一个或更多个图像来校准HMD的至少一个图像捕获设备。在另一个示例中，本公开涉及一种包括指令的非暂时性计算机可读介质，指令在被执行时使得一个或更多个处理器：确定便携式扩展坞已经接收HMD，其中便携式扩展坞包括至少一个校准目标，当HMD被放置在便携式扩展坞中时，该至少一个校准目标在HMD的至少一个图像捕获设备的视场内；确定HMD的至少一个图像捕获设备将要被校准；以及基于当HMD被放置在便携式扩展坞中时由至少一个图像捕获设备捕获的至少一个校准目标的一个或更多个图像来校准HMD的至少一个图像捕获设备。本公开的技术的一个或更多个示例的细节在附图和以下描述中阐述。从说明书和附图中以及从权利要求书中，该技术的其他特征、目的和优点将变得显而易见。附图简述图1A-图1C是描绘根据本公开的技术的具有眼镜形状因子(formfactor)的示例HMD和被配置成接收HMD以用于校准的示例便携式扩展坞的图示。图2是描绘根据本公开的技术的具有头戴式装置(headset)形状因子的示例HMD和被配置成接收HMD以用于校准的示例便携式扩展坞的图示。图3是示出作为独立的移动人工现实系统操作的图1A-图1C的HMD的示例实施方式的框图。图4是描绘根据本公开的技术的具有眼镜形状因子的示例HMD、示例外围设备和被配置成接收HMD和外围设备以用于校准的示例便携式扩展坞的图示。图5是示出根据本公开的技术的作为人工现实系统操作的图4的HMD和外围设备的示例实施方式的框图。图6是示出当HMD放置在便携式扩展坞中时可以被校准的HMD的示例部件的概念图。图7是示出根据本公开的技术的当放置在便携式扩展坞中时校准HMD部件的示例操作的流程图。在所有附图和描述中，相似的参考符号指代相似的元件。详细描述图1A-图1C是描绘根据本公开的技术的具有眼镜形状因子的示例HMD112A-112B和被配置成接收HMD以用于校准的示例便携式扩展坞120A-120C的图示。描述了这样的技术，其中，基于当HMD112被放置在相应的便携式扩展坞120中时由图像捕获设备(例如，相机)捕获的校准目标的一个或更多个图像，校准HMD112的一个或更多个图像捕获设备。一般来说，图1A-图1C的每个HMD112可以作为独立的、移动的人工现实系统来操作，或者可以是包括外围设备和/或控制台的人工现实系统的一部分。在任何情况下，人工现实系统使用从真实世界的3D物理环境中捕获的信息来渲染人工现实内容，以显示给HMD的用户。在独立的、移动的人工现实系统的情况下(参考图3更详细地描述)，每个HMD112自身构建并渲染人工现实内容。在包括外围设备和/或控制台的人工现实系统的情况下(参照图5更详细地描述)，外围设备和/或控制台可以执行人工现实内容的至少一些构建和渲染，以供HMD显示。作为一个示例，HMD可以与控制台通信，例如，拴(tether)到控制台或与之无线通信。控制台可以是单个计算设备(诸如游戏机、工作站、台式计算机或膝上型计算机)，或者分布在多个计算设备上(诸如分布式计算网络、数据中心或云计算系统)。作为另一个示例，HMD可以与和HMD共存的外围设备相关联，并且在一些示例中，该外围设备作为在虚拟环境中HMD的辅助输入/输出设备来操作。外围设备可以作为人工现实协同处理设备来操作，HMD的一些功能被卸载到该人工现实协同处理设备。本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n头戴式显示器(HMD)，所述HMD包括至少一个图像捕获设备；/n便携式扩展坞，所述便携式扩展坞被配置成接收所述HMD，所述便携式扩展坞包括至少一个校准目标，当所述HMD被放置在所述便携式扩展坞中时，所述至少一个校准目标在所述至少一个图像捕获设备的视场内；和/n处理器，所述处理器执行校准引擎，所述校准引擎被配置成基于当所述HMD被放置在所述便携式扩展坞中时由所述至少一个图像捕获设备捕获的所述至少一个校准目标的一个或更多个图像来校准所述HMD的所述至少一个图像捕获设备。/n

【技术特征摘要】
【国外来华专利技术】20181227 US 62/785,595;20190830 US 16/557,4191.一种系统，包括：
头戴式显示器(HMD)，所述HMD包括至少一个图像捕获设备；
便携式扩展坞，所述便携式扩展坞被配置成接收所述HMD，所述便携式扩展坞包括至少一个校准目标，当所述HMD被放置在所述便携式扩展坞中时，所述至少一个校准目标在所述至少一个图像捕获设备的视场内；和
处理器，所述处理器执行校准引擎，所述校准引擎被配置成基于当所述HMD被放置在所述便携式扩展坞中时由所述至少一个图像捕获设备捕获的所述至少一个校准目标的一个或更多个图像来校准所述HMD的所述至少一个图像捕获设备。


2.根据权利要求1所述的系统，其中，所述HMD还包括显示器、至少一个照明器或至少一个传感器中的一个或更多个，并且其中，所述校准引擎还被配置成相对于所述至少一个图像捕获设备来校准所述显示器、所述至少一个照明器或所述至少一个传感器中的至少一个。


3.根据权利要求1所述的系统，其中，为了校准所述至少一个图像捕获设备，所述校准引擎被配置成：
基于当所述HMD被放置在所述便携式扩展坞中时由所述至少一个图像捕获设备捕获的所述至少一个校准目标的一个或更多个图像，确定所述至少一个图像捕获设备的内参数或外参数中的一个或更多个；并且
配置所述HMD的所述至少一个图像捕获设备以根据所述内参数或所述外参数中的一个或更多个进行操作。


4.根据权利要求1所述的系统，
其中，所述HMD还包括至少一个照明器；
其中，所述至少一个图像捕获设备包括眼睛跟踪相机；
其中，所述便携式扩展坞中所包括的所述至少一个校准目标包括凸面反射器，所述凸面反射器用于向所述眼睛跟踪相机反射由所述至少一个照明器发射的光；并且
其中，所述校准引擎被配置成基于由所述眼睛跟踪相机捕获的所反射的光的一个或更多个图像来确定所述眼睛跟踪相机的外参数。


5.根据权利要求1所述的系统，
其中，所述至少一个图像捕获设备包括眼睛跟踪相机；
其中，所述便携式扩展坞中所包括的所述至少一个校准目标包括在所述眼睛跟踪相机的视场内的棋盘图案；并且
其中，所述校准引擎被配置成基于由所述眼睛跟踪相机捕获的所述棋盘图案的一个或更多个图像来确定所述眼睛跟踪相机的内参数。


6.根据权利要求1所述的系统，
其中，所述便携式扩展坞中所包括的所述至少一个校准目标包括一个或更多个基准标记，所述一个或更多个基准标记要么邻近所述至少一个校准目标要么嵌入在所述至少一个校准目标内；并且
其中，所述校准引擎被配置成：
基于所述一个或更多个基准标记，确定当所述HMD被放置在所述便携式扩展坞中时所述HMD的位置和所述至少一个校准目标在所述便携式扩展坞内的位置之间的空间关系，并且
进一步基于在所述HMD的位置和所述至少一个校准目标的位置之间的所确定的空间关系来校准所述至少一个图像捕获设备。


7.根据权利要求1所述的系统，
其中，所述便携式扩展坞包括一个或更多个固定装置，所述固定装置被配置成当所述HMD被放置在所述便携式扩展坞中时，接收所述HMD并且将所述HMD保持在固定位置；并且
其中，所述校准引擎被配置成进一步基于在所述便携式扩展坞内所述HMD的固定位置和所述至少一个校准目标的位置之间的已知空间关系来校准所述至少一个图像捕获设备。


8.根据权利要求1所述的系统，其中，所述校准引擎被配置成响应于以下中至少一个来校准所述至少一个图像捕获设备：确定在所述便携式扩展坞内已经接收到所述HMD，或者确定当所述HMD在所述便携式扩展坞内时所述HMD的可充电电池被充电到至少阈值充电水平。


9.根据权利要求1所述的系统，还包括充电电路，所述充电电路被配置成...

【专利技术属性】
技术研发人员：塞巴斯蒂安·什图克，哈维尔·圣阿古斯丁洛佩斯，萨普纳·什罗夫，罗伯特·达勒·卡文，亚历山大·乔布·菲克斯，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US