用于视觉惯性里程计系统的动态传感器选择技术方案

本发明专利技术公开了使用传感器对眼戴设备进行视觉惯性追踪。该眼戴设备监视视觉惯性里程计系统(VIOS)的传感器，这些传感器提供用于确定该设备在其环境内的定位的输入。该眼戴设备基于来自这些传感器的信息来确定该VIOS的状态，并且基于所确定的状态来调整多个传感器(例如，通过打开/关闭传感器、改变采样速率或它们的组合)。然后，该眼戴设备使用所调整的多个传感器来确定该眼戴设备在该环境内的该定位。感器来确定该眼戴设备在该环境内的该定位。感器来确定该眼戴设备在该环境内的该定位。

【技术实现步骤摘要】
【国外来华专利技术】用于视觉惯性里程计系统的动态传感器选择
相关申请的交叉引用
[0001]本申请要求2020年6月29日提交的美国临时专利申请号63/045,583和2020年12月15日提交的美国专利申请号17/122,688的优先权，这两个专利申请的全部内容据此以引用方式并入。


[0002]本文所述的示例涉及增强现实(AR)和可穿戴移动设备(诸如眼戴设备)领域。更具体地，但不作为限制，本专利技术描述了对用户在环境中的增强现实引导。

技术介绍

[0003]可穿戴移动设备使用各种传感器来确定它们在物理环境内的定位。传感器消耗功率。
附图说明
[0004]从以下参考附图的具体实施方式中，将容易理解所公开的各种具体实施的特征。在说明书中和附图的几个视图中，每个特征使用了附图标记。当存在多个相似的特征时，可以给相似的特征指定单个附图标记，通过添加小写字母来指代特定的特征。
[0005]除非另外指出，否则图中所示的各种特征并非按比例绘制的。为了清楚起见，可放大或缩小各个特征的尺寸。若干附图描绘了一个或多个具体实施，并且仅作为示例呈现，而不应被解释为限制。附图中包括以下附图：
[0006]图1A是适用于视觉惯性追踪系统的眼戴设备的示例性硬件配置的侧视图(右)；
[0007]图1B是图1A的眼戴设备的右角部的局部横截面透视图，其描绘了右可见光相机和电路板；
[0008]图1C是图1A的眼戴设备的示例性硬件配置的侧视图(左)，其示出了左可见光相机；
[0009]图1D是图1C的眼戴设备的左角部的局部横截面透视图，其描绘了左可见光相机和电路板；
[0010]图2A和图2B是在增强现实产生系统中利用的眼戴设备的示例性硬件配置的后视图；
[0011]图3是三维场景、由左可见光相机捕获的左原始图像和由右可见光相机捕获的右原始图像的图形描绘；
[0012]图4是包括经由各种网络连接的可穿戴设备(例如，眼戴设备)和服务器系统的示例性视觉惯性里程计系统的功能框图；
[0013]图5是用于图4的增强现实产生系统的移动设备的示例性硬件配置的图形表示；
[0014]图6是在用于描述即时定位与地图构建的示例性环境中的用户的示意性图示；
[0015]图7是列出了使用多个传感器来确定眼戴设备在环境内的定位的示例性方法中的
步骤的流程图；
[0016]图8A、图8B、图8C、图8D、图8E和图8F是列出了使用多个传感器来确定眼戴设备在环境内的定位的示例性方法中的步骤的流程图。
具体实施方式
[0017]参考示例描述了各种具体实施和细节，这些示例包括一种用于具有多个传感器的眼戴设备的视觉惯性追踪方法。眼戴设备监视视觉惯性里程计系统(VIOS)的多个传感器，该多个传感器提供用于确定该设备在其环境内的定位的输入。眼戴设备基于来自传感器中的一个或多个的输入信息来确定视觉惯性里程计系统的状态，并且基于所确定的状态来调整传感器(例如，通过打开/关闭传感器、改变采样速率、调节分辨率、调整传感器质量或它们的组合)。然后，眼戴器使用所调整的多个传感器来确定眼戴设备在环境内的定位。
[0018]使该多个传感器中的每个以其峰值输出通常提高了系统在环境中追踪运动的能力。然而，通过基于例如当前图像中包含的信息量和追踪系统的状态来调整传感器，可实现系统的高效率，而不会显著降低追踪精度。
[0019]以下具体描述包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。出于提供对所公开的主题及其相关教导内容的透彻理解的目的而包括许多细节和示例。然而，相关领域的技术人员能够理解如何在没有此类细节的情况下应用相关教导内容。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导内容可以以各种方式来应用或实践。本文中所使用的术语和命名仅仅是为了描述特定方面并非旨在进行限制。通常，公知的指令实例、协议、结构和技术不一定被详细示出。
[0020]本文中所使用的术语“耦接”或“连接”指的是任何逻辑、光学、物理或电连接(包括链路等)，由一个系统元件产生或提供的电或磁信号通过这些连接传递到另一耦接或连接的系统元件。除非另外描述，否则耦接或连接的元件或设备不一定直接彼此连接，并且可以由中间组件、元件或通信介质隔开，中间组件、元件或通信介质中的一者或多者可修改、操纵或承载电信号。术语“上”是指由元件直接支撑或通过集成到元件或由元件支撑的另一元件间接支撑该元件。
[0021]出于说明和讨论的目的，仅以示例的方式给出了诸如附图中的任一附图所示的设备和相关联部件和结合了相机或惯性测量单元的任何其他完整设备的定向。在操作中，眼戴设备可以在适合于眼戴设备的特定应用的任何其他方向上定向，例如，向上、向下、侧向或任何其他定向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部、侧面、水平、垂直和对角，仅以示例的方式使用，并且不限制如本文所构造或另外描述的任何相机或惯性测量单元的方向或定向。
[0022]示例的其他目的、优点和新颖特征将部分地在以下具体实施方式中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过示例的产生或操作来了解。本主题的目的和优点可借助于所附权利要求书中特别指出的方法、手段和组合来实现和达成。
[0023]现在详细参考附图所示和下文所讨论的示例。
[0024]图1A是包括触敏输入设备或触摸板181的眼戴设备100的示例性硬件配置的侧视图(右)。如图所示，触摸板181可具有细微且不易看到的边界；另选地，边界可清楚可见或包
括向用户提供关于触摸板181的位置和边界的反馈的凸起或以其他方式可触知的边缘。在其他具体实施中，眼戴设备100可包括在左侧的触摸板。
[0025]触摸板181的表面被配置为检测手指触摸、轻击和手势(例如，移动触摸)，以便与眼戴设备在图像显示器上显示的GUI一起使用，从而允许用户以直观的方式浏览并选择菜单选项，这改善并简化了用户体验。
[0026]对触摸板181上的手指输入的检测可实现若干功能。例如，触摸触摸板181上的任何地方都可使GUI在图像显示器上显示或突出显示项目，该项目可被投影到光学组件180A、180B中的至少一者上。在触摸板181上双击可选择项目或图标。在特定方向上(例如，从前到后、从后到前、从上到下或从下到上)滑动或轻扫手指可使项目或图标在特定方向上滑动或滚动；例如，以移动到下一项目、图标、视频、图像、页面或幻灯片。在另一方向上滑动手指可以在相反方向上滑动或滚动；例如，以移动到前一项目、图标、视频、图像、页面或幻灯片。触摸板181实际上可以在眼戴设备100上的任何地方。
[0027]在一个示例中，在触摸板181上单击的所识别的手指手势，开始选择或按压呈现在光学组件180A、180B的图像显示器上的图像中的图形用户界面元素。基于所识别的手指手势对呈现在光学组件180A、本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于利用眼戴设备进行视觉惯性追踪的方法，所述方法包括：监视视觉惯性里程计系统(VIOS)的多个传感器，其中所述多个传感器中的每个传感器提供用于确定所述眼戴设备在环境内的定位的输入；确定所述VIOS的状态；基于所确定的状态来调整所述多个传感器；以及使用所调整的多个传感器来确定所述眼戴设备在所述环境内的所述定位。2.根据权利要求1所述的方法，其中所述调整包括：选择所述多个传感器的子集；以及关断其余传感器：其中所述确定所述眼戴设备的所述定位包括使用所述传感器子集来确定所述眼戴设备在所述环境内的所述定位。3.根据权利要求2所述的方法，其中所述调整进一步包括：基于所确定的状态来选择针对所述传感器子集中的一个传感器的采样速率；以及以所选择的采样速率对所述传感器子集中的所述一个传感器进行采样。其中所述确定所述眼戴设备的所述定位包括以所选择的采样速率使用所述传感器子集中的所述一个传感器来确定所述眼戴设备在所述环境内的所述定位。4.根据权利要求1所述的方法，其中所述调整包括：基于所确定的状态来选择针对所述多个传感器中的一个传感器的采样速率；以及以所选择的采样速率对所述多个传感器中的所述一个传感器进行采样。其中所述确定所述眼戴设备的所述定位包括以所选择的采样速率使用所述多个传感器中的所述一个传感器来确定所述眼戴设备在所述环境内的所述定位。5.根据权利要求1所述的方法，其中所述多个传感器包括惯性测量单元(IMU)和第一相机。6.根据权利要求5所述的方法，其中所述第一相机是第一可见光相机，并且其中所述多个传感器进一步包括第二可见光相机、第一深度相机、第二深度相机、另一IMU、雷达系统或GPS中的一者或多者。7.根据权利要求5所述的方法，其中所述确定所述VIOS的所述状态包括：用所述第一相机捕获图像；识别所述眼戴设备的物理环境；将所识别的物理环境与先前物理环境进行比较；识别所识别的物理环境中的新信息；以及基于所识别的物理环境中的所述新信息来确定所述VIOS的所述状态。8.根据权利要求7所述的方法，其中所述调整包括：响应于所述新信息而调整所述多个传感器中的至少一个传感器，其中调整包括改变速率、分辨率、质量、接通或关断。9.根据权利要求5所述的方法，其中所述确定所述VIOS的所述状态包括：确定所述眼戴设备的运动参数值或不确定性参数值中的至少一者；以及将所述运动参数值或所述不确定性参数值中的所确定的至少一者映射到多个VIOS状态配置选项中的一个选项。
10.根据权利要求9所述的方法，其中所述VIOS状态配置选项至少包括低功率水平和高功率水平，并且其中所述调整包括：当所述运动参数值和所述不确定性参数值低时，将所述VIOS置于所述低功率水平；以及当所述运动参数值和所述不确定性参数值高时，将所述VIOS置于所述高功率水平。11.一种具有视觉惯性追踪的眼戴设备，所述眼戴设备包括：视觉惯性里程计系统(VIOS)，所述VIOS包括多个传感器，其中所述多个传感器中的每个传感器提供用于确定所述眼戴设备在环境内的定位的输入；处理器，所述处理器被...

【专利技术属性】
技术研发人员：欧拉，
申请(专利权)人：美国斯耐普公司，
类型：发明
国别省市：