基于场景结构的自我姿势估计制造技术

使用在查询图像中俘获的场景结构和来自数据库的参考图像执行姿势估计。所述参考图像中的每一者具有相关联位置估计。基于所述查询图像和所述多个参考图像产生描述所述查询图像的相机中心的未知的位置与每一参考图像的参考相机中心之间的方向的方向向量。可使用例如单应性、本质矩阵或基本矩阵来产生所述方向向量。使用所述方向向量和每一参考图像的所述相关联位置估计来确定具有六个自由度的姿势估计。例如可通过使用所述方向向量和每一参考图像的所述相关联位置估计解决三点姿势问题来确定所述姿势估计。

【技术实现步骤摘要】
【国外来华专利技术】待决临时申请案的交叉参考本申请案主张2012年7月12日申请且名称为“基于场景结构的自我姿势估计”的第13/547,987号美国申请案的优先权，所述美国申请案又在35USC119下主张2012年3月2日申请且名称为“基于场景结构的自我姿势估计”的第61/606,209号美国临时申请案的优先权，以上两者转让给本受让人且以引用的方式并入本文中。
本文所述的标的物的实施例大体上涉及位置和跟踪，且更具体地说涉及基于视觉的跟踪。
技术介绍
姿势估计描述确定相机相对于环境的外部校准的任务，其可为已知或未知的。最近基于图像的姿势估计方法已经证实为用于解决实现非常精确的6自由度(6DOF)姿势估计的任务的良好备选择。基于图像的姿势估计传统地需要场景的某种重构或3D模型。稀疏3D模型的使用就当其进行在线姿势估计时的准确性和速度而言是有利的，然而，这些模型的建造通常是复杂的离线过程。因此，所需的3D模型的可扩展性和可维护性仍然是未解决的问题。
技术实现思路
使用在查询图像中俘获的场景结构和来自数据库的参考图像执行姿势估计。所述参考图像中的每一者具有相关联位置估计。基于所述查询图像和所述多个参考图像产生描述所述查询图像的相机中心的未知的位置与每一参考图像的参考相机中心之间的方向的方向向量。可使用例如单应性、本质矩阵或基本矩阵来产生所述方向向量。使用所述方向向量和每一参考图像的所述相关联位置估计来确定具有六个自由度的姿势估计。例>如可通过使用所述方向向量和每一参考图像的所述相关联位置估计解决三点姿势问题来确定所述姿势估计。在一个实施方案中，一种方法包含：接收以相机俘获的场景的查询图像；从数据库接收所述场景的多个参考图像，每一参考图像具有相关联位置估计；基于所述查询图像和所述多个参考图像产生描述所述查询图像的相机中心的未知的位置与每一参考图像的参考相机中心之间的方向的方向向量；以及使用所述方向向量和每一参考图像的所述相关联位置估计来确定具有六个自由度的相机的姿势。在一个实施方案中，一种设备包含：第一接口，其能够接收以相机俘获的场景的查询图像；第二接口，其能够从数据库接收所述场景的多个参考图像，每一参考图像具有相关联位置估计；以及处理器，其经耦合以从所述第一接口接收所述查询图像且从所述第二接口接收所述多个参考图像，所述处理器经配置以基于所述查询图像和所述多个参考图像产生描述所述查询图像的相机中心的未知的位置与每一参考图像的参考相机中心之间的方向的方向向量，且使用所述方向向量和每一参考图像的所述相关联位置估计来确定具有六个自由度的所述相机的姿势。在一个实施方案中，一种设备包含：用于接收以相机俘获的场景的查询图像的装置；用于从数据库接收所述场景的多个参考图像的装置，每一参考图像具有相关联位置估计；用于基于所述查询图像和所述多个参考图像产生描述所述查询图像的相机中心的未知的位置与每一参考图像的参考相机中心之间的方向的方向向量的装置用于；以及用于使用所述方向向量和每一参考图像的所述相关联位置估计来确定具有六个自由度的所述相机的姿势的装置。在一个实施方案中，一种包含存储于其上的程序代码的非暂时性计算机可读媒体，包含：用以接收以相机俘获的场景的查询图像的程序代码；用以从数据库接收所述场景的多个参考图像的程序代码，每一参考图像具有相关联位置估计；用以基于所述查询图像和所述多个参考图像产生描述所述查询图像的相机中心的未知的位置与每一参考图像的参考相机中心之间的方向的方向向量的程序代码；以及用以使用所述方向向量和每一参考图像的所述相关联位置估计来确定具有六个自由度的所述相机的姿势的程序代码。附图说明图1A和1B在下文分别图解说明能够使用基于场景结构的姿势估计的移动装置的前侧和背侧。图2图解说明展示其中移动装置接入数据库以获得参考图像用于基于场景结构的姿势估计的系统的框图。图3是说明使用图像的数据库确定6DOF姿势的方法的流程图。图4示意性地图解说明使用图像的数据库确定6DOF姿势。图5示意性地图解说明产生参考图像的数据库。图6是能够使用基于场景结构的姿势估计的移动装置的框图。图7图解说明能够使用图像数据库确定6DOF姿势的服务器的框图。具体实施方式以下图1A和1B分别图解说明移动装置100的前侧和背侧，所述移动装置100能够使用基于场景结构的姿势估计来确定6DOF姿势而无需3D重构。如本文所描述，姿势估计是使用在查询图像中俘获的场景结构和来自数据库的参考图像执行的。所述参考图像中的每一者具有相关联位置估计。举例来说，对于由所述查询图像和这些参考图像中的每一者所形成的对，使用例如SIFT(比例尺-不变量-特征-变换)等图像特征来估计极几何。从已知的极几何，可获得核点且连同所述参考图像的已知位置一起可处理为所述查询图像的单个2D-3D对应。基于至少三个参考图像，可使用标准三点姿势问题。查询相机的完整6DOF姿势可例如通过在稳健求解器中应用基于RANSAC(随机样本共识)的方案而在全局上下文中估计。此方法和从真实世界点及其图像观察估计相机的姿势大不相同。将已知参考相机位置处理为世界点且将相机相对于查询相机的放置处理为所述观察。如图1所说明，移动装置100包含外壳101、可为触摸屏显示器的显示器102以及扬声器104和麦克风106。移动装置100进一步包含面朝前的相机110以对环境成像。移动装置100捕获场景的图像，例如作为视频帧，且使用所述图像与来自数据库的地理标记的参考图像以确定移动装置100的位置。移动装置100使用所述地理标记的参考图像与所述俘获的查询图像以基于多个单应的、本质的或基本的矩阵来确定6DOF姿势估计。如本文中所使用，移动装置指代任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)或其它合适的移动装置。移动装置可能够接收无线通信和/或导航信号，例如导航定位信号。术语“移动装置”也既定包含(例如)通过短程无线、红外线、有线连接或其它连接而与个人导航装置(PND)通信的装置，而不管装置处或PND处是否发生卫星信号接收、辅助数据接收和/或定位相关处理。并且，“移动装置”既定包含能够俘获其环境的图像(或视频)的所有电子装置，包含无线通信装置、计算机、膝上型计算机、平板计算机等。图2图解说明展示其中移动装置100可经由无线网络120使用远程服务器130接入数据库13本文档来自技高网...

【技术保护点】
一种方法，其包括：接收以相机俘获的场景的查询图像；从数据库接收所述场景的多个参考图像，每一参考图像具有相关联位置估计；基于所述查询图像和所述多个参考图像产生描述所述查询图像的相机中心的未知的位置与每一参考图像的参考相机中心之间的方向的方向向量；以及使用所述方向向量和每一参考图像的所述相关联位置估计来确定具有六个自由度的所述相机的姿势。

【技术特征摘要】
【国外来华专利技术】2012.03.02 US 61/606,209;2012.07.12 US 13/547,9871.一种方法，其包括：
接收以相机俘获的场景的查询图像；
从数据库接收所述场景的多个参考图像，每一参考图像具有相关联位置估计；
基于所述查询图像和所述多个参考图像产生描述所述查询图像的相机中心的未
知的位置与每一参考图像的参考相机中心之间的方向的方向向量；以及
使用所述方向向量和每一参考图像的所述相关联位置估计来确定具有六个自由
度的所述相机的姿势。
2.根据权利要求1所述的方法，其中产生描述所述查询图像的所述相机中心与每一参
考图像的所述参考相机中心之间的方向的所述方向向量包括使用单应性、本质矩阵
和基本矩阵中的至少一者。
3.根据权利要求1所述的方法，其中通过使用所述方向向量和每一参考图像的所述相
关联位置估计解决三点姿势问题来确定具有六个自由度的所述相机的所述姿势。
4.根据权利要求1所述的方法，其中从所述数据库接收所述场景的所述多个参考图像
包括：
使用当俘获所述查询图像时所述相机的近似位置来产生参考图像的第一集合；以
及
通过将所述查询图像中的特征匹配于每一参考图像中的特征来过滤参考图像的
所述第一集合以产生所述多个参考图像。
5.根据权利要求1所述的方法，其中每一参考图像的所述相关联位置估计并不包含相
关联定向。
6.根据权利要求1所述的方法，其中每一参考图像具有相关联相机校准，其中产生所
述方向向量使用每一参考图像的所述相关联相机校准。
7.一种设备，其包括：
第一接口，其能够接收以相机俘获的场景的查询图像；
第二接口，其能够从数据库接收所述场景的多个参考图像，每一参考图像具有相
关联位置估计；以及
处理器，其经耦合以从所述第一接口接收所述查询图像且从所述第二接口接收所
述多个参考图像，所述处理器经配置以基于所述查询图像和所述多个参考图像产生
描述所述查询图像的相机中心的未知的位置与每一参考图像的参考相机中心之间
的方向的方向向量，且使用所述方向向量和每一参考图像的所述相关联位置估计来
确定具有六个自由度的所述相机的姿势。
8.根据权利要求7所述的设备，其中所述设备进一步包括所述相机，并且其中所述第
一接口是所述相机与所述处理器之间的接口且所述第二接口是无线接口。
9.根据权利要求7所述的设备，其中所述第一接口是无线接口且所述第二接口是所述
数据库与所述处理器之间的接口。
10.根据权利要求7所述的设备，其中所述处理器经配置以使用单应性、本质矩阵和基
本矩阵中的至少一者产生描述所述查询图像的所述相机中心与每一参考图像的所
述参考相机中心之间的方向的所述方向向量。
11.根据权利要求7所述的设备，其中所述处理器经配置以通过使用所述方向向量和每
一参考图像的所述相关联位置估计解决三点姿势问题来确定具有六个自由度的所
述相机的所述姿势。
12.根据权利要求7所述的设备，其中所述处理器进一步经配置以通过将所述查询图像
中的特征匹配于每一参考图像中的特征来过滤所述多个参考图像。
13.根据权利要求7所述的设备，...

【专利技术属性】
技术研发人员：克莱门斯·阿斯，格哈德·赖特迈尔，迪特尔·施马尔施蒂格，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US