用于便于计算机视觉应用程序初始化的方法技术

所揭示的实施例涉及用于在包括相机和显示器的用户装置UD上初始化计算机视觉CV应用程序的系统、方法和设备。在一些实施例中，可以基于初始相机姿势和估计的枢转距离来确定用于初始化计算机视觉CV应用程序的最优相机轨迹。举例来说，可以基于所述相机俘获的第一图像来估计所述初始相机姿势。此外，可以用所述相机的期望移动方向的指示来实时地更新所述显示器。在一些实施例中，所述期望移动方向的指示可以部分地基于当前相机姿势和所述最优轨迹，其中可以基于所述相机俘获的当前图像来估计所述当前相机姿势。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】 相关申请案的夺叉引用 本申请案主张2014年5月2日提交的名称为"用于便于计算机视觉应用程序初始 化的方法（MethodsforFacilitatingComputerVisionApplicationInitialization) '， 的第14/268,784号美国申请案的益处和优先权，所述申请案主张2013年5月2日提交 的"（MethodsforFacilitatingComputer VisionApplicationInitialization) " 的第 61/818, 894 号美国临时申请案和 2013 年 9 月30日提交的"（MethodsforFacilitating ComputerVisionApplicationInitialization)" 的第 61/884, 845 号美国临时申请案的 益处和优先权。以上指出的美国专利申请案的全文以引用的方式并入本文中。
本文所揭示的主题总体上涉及计算机视觉，并且具体来说，涉及用于初始化计算 机视觉应用程序的方法。
技术介绍
增强现实系统和机器人导航中使用同时定位与绘图（SLAM)从环境或场景中建构 目标。视觉SLAM(VSLAM)使用相机或视觉传感器数据或图像作为输入来建构环境的目标或 模型。当结合增强现实（AR)系统使用VSLAM时，可以将虚拟对象插入到用户的现实世界的 视图中并且在用户装置上显示。 具有单个相机的利用VSLAM的追踪系统可以从单个相机俘获的两个分开的参考 图像中初始化3D目标。用于基于两个参考图像对3D目标的VSLAM初始化的传统技术可能 要求用户在两个参考图像之间执行特定的非直观相机运动序列，同时维持来自这两个图像 的场景之间的充分重叠。3D重构方法使用所述运动序列在环境中找到实际平面并且从这个 平面初始化3D目标。 虽然创建准确且高品质的SLAM图谱依赖于稳固的初始化过程，但是SLAM初始化 程序对于最终用户的可用性往往被忽略。因此，需要改进VSLAM初始化的用户体验的系统、 方法和界面。
技术实现思路
根据一些方面，揭示一种在包括相机和显示器的用户装置（UD)上的方法。在一些 实施例中，所述方法可包括：基于初始相机姿势和估计的枢转距离来确定用于初始化计算 机视觉（CV)应用程序的最优相机轨迹，所述初始相机姿势是基于所述相机俘获的第一图 像估计的；以及用用于所述相机的期望移动方向的指示来实时地更新所述显示器，所述期 望移动方向的指示部分地是基于当前相机姿势和所述最优轨迹，所述当前相机姿势是基于 所述相机俘获的当前图像估计的。 在另一方面，一种用户装置（UD)可包括：图像传感器，所述图像传感器用以俘获 图像序列；显示器；以及处理器，其耦合到所述图像传感器和所述显示器。在一些实施例 中，所述处理器可经配置以：基于初始图像传感器姿势和估计的枢转距离来确定用于初始 化计算机视觉（CV)应用程序的最优图像传感器轨迹，所述初始图像传感器姿势是基于所 述图像传感器俘获的第一图像估计的；以及用用于所述图像传感器的期望移动方向的指示 来实时地更新所述显示器，所述期望移动方向的指示部分地是基于当前图像传感器姿势和 所述最优轨迹，所述当前图像传感器姿势是基于所述图像传感器俘获的当前图像估计的。 在另一方面，一种设备可包括：图像俘获装置，所述图像俘获装置用以俘获图像序 列；显示装置；用于基于所述图像俘获装置的初始姿势和估计枢转距离确定用于初始化计 算机视觉（CV)应用程序的所述图像俘获装置的最优轨迹的装置，所述图像俘获装置的所 述初始姿势是基于所述图像俘获装置俘获的第一图像估计的；以及用于用所述图像俘获装 置的期望移动方向的指示来实时地更新所述显示装置的装置，所述期望移动方向的指示部 分地是基于所述图像俘获装置的当前姿势和所述最优轨迹，所述图像俘获装置的所述当前 姿势是基于所述图像俘获装置俘获的当前图像估计的。 此外，所揭示实施例还涉及一种包括指令的计算机可读媒体，所述指令在由处理 器执行时在包括相机和显示器的用户装置（UD)上执行方法，其中所述方法可包括：基于初 始相机姿势和估计的枢转距离来确定用于初始化计算机视觉（CV)应用程序的最优相机轨 迹，所述初始相机姿势是基于所述相机俘获的第一图像估计的；以及用用于所述相机的期 望移动方向的指示来实时地更新所述显示器，所述期望移动方向的指示部分地是基于当前 相机姿势和所述最优轨迹，所述当前相机姿势是基于所述相机俘获的当前图像估计的。 所揭示的实施例还涉及由处理器使用计算机可读媒体或计算机可读存储器创建、 存储、存取或修改的软件、固件和程序指令。所描述的方法可在处理器及各种用户装置上执 行。 下文关于以下各图进一步解释这些及其它实施例。应理解，对于所属领域的技术 人员来说，其它方面将从以下详细描述变得容易显而易见，其中借助于说明展示及描述各 个方面。图式及详细描述应被视为本质上是说明性的而不是限制性的。【附图说明】 将参看图式仅通过实例方式来描述本专利技术的实施例。 图1展示示范性用户装置的框图。 图2A和2B展示为了便于SLAM/VSLAM初始化的相机的示范性运动。 图3A-3C展示以与所揭示的实施例一致的方式使用2D屏幕对准UI元素提供SLAM 初始化运动序列的指示的示范性GUI的视图。 图4A-4B展示以与所揭示的实施例一致的方式使用3D屏幕对准UI元素提供SLAM 初始化运动序列的指示的示范性GUI的视图。 图5A-5C展示以与所揭示的实施例一致的方式使用3D屏幕对准UI元素提供SLAM 初始化运动序列的指示的示范性GUI的视图。 图6A和6B展示以与所揭示的实施例一致的方式使用3D屏幕对准UI元素提供 SLAM初始化运动序列的指示的示范性GUI的视图。 图7展示以与所揭示的实施例一致的方式使用3D世界对准UI元素提供运动序列 的指示的示范性GUI的实施例。 图8A和8B展示以与所揭示的实施例一致的方式使用对准UI元素的2. 5-D表示 的GUI的示范性实施方案。 图9展示以与所揭示的实施例一致的方式使用2. 5-D表示来选择富含特征的位置 以便进行初始化和/或防止使用不佳位置进行初始化的GUI的示范性实施方案。 图10A和10B展示用于以与所揭示的实施例一致的方式执行SLAM/VSLAM初始化 的示范性方法的流程图。 图11展示用于以与所揭示的实施例一致的方式执行SLAM/VSLAM初始化的示范性 方法1100的流程图。【具体实施方式】 以下结合附图而陈述的详细描述希望作为对本专利技术的各个方面的描述，而不希望 表示其中可实践本专利技术的仅有方面。本专利技术中所描述的每一方面仅作为本专利技术的实例或说 明提供，且不应必需被解释为比其它方面优选或有利。为了提供对本专利技术的透彻理解，详细 描述包含具体细节。然而，所属领域的技术人员将明白，可在没有这些具体细节的情况下实 践本专利技术。在一些例子中，以框图的形式展示众所周知的结构和装置以便避免混淆本专利技术 的概念。首字母缩写词和其它描述性术语可仅出于方便和清楚的目的而使用，且不希望限 制本专利技术的范围。 如本文所使用，用户装置可以采用能够执行追踪初始化和运行AR以及其它计算 机视觉（CV)应用程序的示范性用户装置（UD) 1本文档来自技高网...

【技术保护点】
一种在包括相机和显示器的用户装置UD上的方法，所述方法包括：基于初始相机姿势和估计的枢转距离来确定用于初始化计算机视觉CV应用程序的最优相机轨迹，所述初始相机姿势是基于所述相机俘获的第一图像估计的；以及用所述相机的期望移动方向的指示来实时地更新所述显示器，所述移动方向的所述指示部分地是基于当前相机姿势和所述最优轨迹，所述当前相机姿势是基于所述相机俘获的当前图像估计的。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：亚历山德罗·穆洛尼，格哈德·赖特迈尔，玛荷许·拉马钱德兰，丹尼尔·瓦格纳，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US