用于在全局参照系内生成相机的3D方向的高精确性估计的方法和系统。可以根据基于图像的配准方法来产生方向估计。可以从安装在相机上的方向传感器来获取其它方向估计。可以将来源于配准的估计输入到高通滤波器。来自方向传感器的方向估计可以被处理并且被输入到低通滤波器。合并高通滤波器和低通滤波器的输出，以产生稳定的视频序列。
【技术实现步骤摘要】
通过合并方向传感器读数和图像配准估计实现3D视频稳定的系统和方法
技术介绍
在全局参照系内估计视频序列中相机的三维(3D)方向是在虚拟3D环境以及导航和其它应用中解决视频稳定性时可能出现的一个问题。该任务需要来自可以附着至相机的一个或多个方向传感器(例如，陀螺仪、加速计和/或指南针)的输入，以在地理参照系中提供3D方向。然而，传感器读数中的高频率噪声可能使得难以达到精确的方向估计，而后者是视觉上稳定地呈现一个视频序列所需要的。这在相机经受高频率的方向改变(即，抖动)时使用该相机来获取该视频时可能尤其如此。例如，示例可以包括从移动的车辆或者在走动时拍摄的视频。此外，在这种情况下，方向传感器的质量会是一个普遍的问题，尤其对于在消费级别和手机相机中可用的低成本传感器，其导致了较差的精确性，尤其是在动态条件下。角度均方根(RMS)误差的典型值可以在0.5到大于2度的范围。因此，这种传感器可能不能精确地测量相机抖动，导致视频序列当在3D环境情形中显示时可能无法显示出稳定的场景。另一方面，对于图像稳定性，基于图像的配准(alignment)已被证明在一定程度上是成功的，提供了精确的逐帧方向估计。但是，由于误差和偏离积累以及缺少绝对方向， 基于图像的配准可能易于随时间而发生漂移。附图说明图1是说明了一个实施例的架构的框图。图2是说明根据一个实施例的旋转估计和配准处理的流程图。图3是说明根据一个实施例的欧拉角的估计的流程图。图4是说明根据一个实施例的合并处理中四元数的使用的流程图。图5是根据一个实施例的在其中软件或固件实施例可以执行的例示性计算机环境的框图。在附图中，标号最左边的(一位或几位)数字标识在其中首先出现该标号的那幅图。具体实施例方式现在参照附图来描述一个实施例，在附图中相似的标号指示相同或功能相似的元件。此外在附图中，每个标号最左边的数字对应于首先使用该标号的那幅图。虽然讨论了具体的配置和安排，但是应当理解，这仅用于举例说明的目的。相关领域技术人员将认识到， 在不脱离本说明书的精神和范围的情况下可以使用其它的配置和安排。对相关领域技术人员而言显而易见的是，还可以在除了本文描述的系统和应用之外的各种其它系统和应用中采用这些配置和安排。本文描述的是用于在全局参照系内生成相机的3D方向的估计的方法和系统。可以根据基于图像的配准方法来产生方向估计。可以从一个或多个安装在相机上的方向传感器来获取其它的方向估计。可以将来源于配准的估计输入到高通滤波器。可以处理来自方向传感器的方向估计并将其输入到低通滤波器。可以合并(fuse)高通滤波器和低通滤波器的输出，以产生稳定的视频序列。图1示出了根据一个实施例的总体架构。示出了摄像机110。相机110可以输出数字视频序列120。旋转估计模块130可以通过计算两个连续帧之间的位移来估计相机旋转。可以针对每对连续帧来执行该操作。可以将结果得到的位移传送到图像配准模块140。 该模块可以生成对应于经配准的图像序列的方向时间序列(orientation time series)。 然后，可以将该方向时间序列传送到滤波器150。在所说明的实施例中，将该方向时间序列传送通过低通滤波器，可以从该方向时间序列中减去该低通滤波器的输出。这种安排的实际效果是对该方向时间序列执行高通滤波操作。在替代的实施例中，可以使用高通滤波器。摄像机110还可以包括方向传感器(未示出)。方向传感器可以包括例如加速计、 指南针以及陀螺仪中的一个或多个。将来自方向传感器的输出示出为输出160。然后，可以由模块170处理该输出以产生反映相机110的方向随时间变化的时间序列。然后，可以将来自模块170的该时间序列传送到低通滤波器180。然后，可以组合或者合并来自两个滤波器的输出，以产生稳定的3-D相机方向185。然后，该稳定的方向185可以用来产生输出视频序列195。注意，在一个实施例中，滤波器150和180以及模块185可以被物理地或者逻辑地组合在传感器合并模块190中。如下面将进一步讨论的，可以用软件、固件、或硬件或者上述的某组合来实现模块 130、140、150、170、180 和 190。图2中说明了根据一个实施例的用于旋转估计和图像配准的处理。在210处，可以计算输入图像的高斯多分辨率表示(MR 。在概念上，这种表示可以被视为金字塔结构， 其中第一表示或者金字塔层可以是图像的相对粗糙的表示，并且每个随后的表示可以是该图像的相对于先前的表示更加精细的表示。图像的该多分辨率表示可以允许从粗到细的估计策略。在一个实施例中，为了计算效率的目的，可以使用二项式B2滤波器(1/4，1/2，1/4) 来计算输入图像的该多分辨率表示。在图2的实施例中，可以从最粗的层级开始，针对金字塔的每个层级来执行序列 220至M0。一般而言，该处理可以是基于梯度约束的，该梯度约束假设逐个像素地对两个正在被配准(或者对准)的图像之间的亮度进行位移，同时保存它们的亮度值。该梯度约束可以表述为dx(p)Ix(x)+dy(p)Iy(x) + AI(p) = 0 (1)其中I表示图像亮度，d表示位移，以及Δ I (ρ) = I2 (ρ) -I1 (ρ)，其中I2 (ρ)和I1 (ρ) 是像素P处的图像亮度。图像中的每个像素可以提供一个约束，以及一般而言，两个未知量。然而，可以假设相对于相机平移，相机旋转抖动可能正在图像运动方面占首要地位，使得两个图像之间的位移可以表示为权利要求1.一种视频稳定方法，包括接收来自摄像机的方向传感器的输出；将来自所述方向传感器的所述输出格式化为方向时间序列；将低通滤波器应用于所述方向时间序列，以产生滤波后的方向信息；接收来自所述摄像机的视频序列；针对所述视频序列估计帧间三维(3D)相机旋转；使用所估计的相机旋转来配准所述视频序列的连续图像；将经配准的图像格式化为经配准的图像时间序列；将高通滤波器应用于所述经配准的图像时间序列，以产生滤波后的经配准的图像信息；以及将所述滤波后的经配准的图像信息与所述滤波后的方向信息进行组合，以产生稳定的视频序列，其中，使用适当编程的处理器来执行上述步骤。2.根据权利要求1所述的方法，其中，所述估计包括计算所述连续图像中的第一图像的高斯多分辨率表示(MRR)； 针对所述MRR的每个层级，以从粗层级到细层级进行的方式来执行下列序列的迭代 针对所述第一图像中多个像素的每一个，定义约束从而形成超定线性系统；对所述系统进行求解以估计向量ω = (ωχ，ωζ)； 创建旋转矩阵R，使用R，计算投影变换P，其中，X1和&是齐次图像坐标，f和f2是各自的焦距；以及将P和来自前一次迭代的投影变换进行组合，以创建当前迭代的投影变换；以及使用最终的投影变换P来计算位移d(x)。3.根据权利要求2所述的方法，其中，对所述超定线性系统进行的所述求解包括使用具有Tukey函数的鲁棒M-估计器来求解所述系统，其中所述鲁棒M-估计器使用迭代再加权最小二乘策略。4.根据权利要求2所述的方法，其中，对所述高斯MRR进行的所述计算包括使用二项式滤波器进行所述计算。5.根据权利要求2所述的方法，其中，所述多个像素位于所述第一图像中的矩形采样网格中。6.根据权利要求2所述的方法，其中，对所述连续图像进行的所述配本文档来自技高网...
【技术保护点】
１．一种视频稳定方法，包括：接收来自摄像机的方向传感器的输出；将来自所述方向传感器的所述输出格式化为方向时间序列；将低通滤波器应用于所述方向时间序列，以产生滤波后的方向信息；接收来自所述摄像机的视频序列；针对所述视频序列估计帧间三维（３Ｄ）相机旋转；使用所估计的相机旋转来配准所述视频序列的连续图像；将经配准的图像格式化为经配准的图像时间序列；将高通滤波器应用于所述经配准的图像时间序列，以产生滤波后的经配准的图像信息；以及将所述滤波后的经配准的图像信息与所述滤波后的方向信息进行组合，以产生稳定的视频序列，其中，使用适当编程的处理器来执行上述步骤。
【技术特征摘要】
...
【专利技术属性】
技术研发人员：O·内斯塔雷斯，Y·加特，H·W·豪斯科尔，I·V·科津采夫，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。