用于视频稳定的运动滤波制造技术

为了将视频稳定系统的运动滤波器应用到视频帧的序列，接收对相较于该视频帧序列的第一视频帧的当前视频帧中运动的估计。基于该接收到的运动估计和该运动滤波器的至少一个状态变量，计算当前视频帧中针对运动的校正值。该至少一个状态变量在计算中更新。当所计算的校正值超过视频稳定系统的系统限制时，根据系统限制被超过的程度来调节该至少一个状态变量。基于该运动估计和所调节的状态变量来重新计算该校正值。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一见频稳定，更具体地涉及纟见频帧序列的运动滤波， 其考虑了针对可应用到每个视频帧的校正运动量的实际限制。
技术介绍
通过视频相机捕捉的视频帧序列可能包括期望的运动，但如在摇摄全景(pan)的情况下，也同样可能包括不期望的运动。在手持 视频相机例如相机电话的情况中，该不希望的运动波动通常是由视 频捕捉期间不期望的手部抖动造成的。特别是在高缩放率的情况下， 相对较小的运动波动(其在当处理例如小型相机电话时通常是不可 避免的)将导致所捕捉的视频帧产生很大的位移。视频数据中不希望的运动波动的影响可以借助视频稳定系统来 减轻。由于不经意移动的影响在高缩放率处上升，所以视频稳定对 于能够进行多于3x缩放的设备而言尤其重要。具有视频获取功能的 消费设备的当前开发和小型化提高了对可靠和高效的视频稳定解决 方案的需求。通常，视频稳定是通过以下来实现的将一定量的校正运动位 移应用到每个视频帧，从而将其针对邻近的帧对准，使得消除不希 望的相机运动所引起的高频波动或抖动的影响。为此，视频稳定系统所应用的视频稳定操作通常包括运动估计、 运动滤波和运动补偿。运动估计用于确定 一见频序列连续帧之间的全局位移，该全局位 移也称为原始运动，并且包括期望的和不期望的运动。运动滤波负责在原始运动的期盼分量和不希望的分量之间进行 区分。通常，期盼运动是平滑的。因此，可以通过对原始运动进行低通滤波而确定期望的运动轨迹。图1是示出了视频帧序列的帧0至250的垂直位置的图示。第一曲线11表示通过示例性的估计原始 运动而得到的视频帧的垂直位置，第二曲线12表示通过对这些视频 帧的原始运动进行低通滤波而得到的视频帧的垂直位置。一旦已经估计了期盼的运动，则可以计算校正位移，其必须应 用到各视频帧上以确保原始运动和期盼运动之间的差异被取消。必 须注意的是，对于实时实现，滤波过程必须是符合因果关系的。也 就是说，仅可以基于先前的运动数据来计算当前帧经过滤波的运动 采样，因为没有未来信息可用。图2是示出了视频帧184的邻近视 频帧的垂直位置的视图。再次，第一曲线11表示通过示例性的估计 原始运动而得到的视频帧的垂直位置，而第二曲线12表示通过对原 始运动进行低通滤波而得到的视频帧的垂直位置。此外，对于视频 顿184,给出校正垂直位移21,其必须被应用到帧184以才交正垂直 位置。校正位移来改变各视频帧的位置。考虑该校正的 一种途径是在稳定 系统的输出处递送比在系统的输入处更小的帧尺寸，如图3中所示 例。图3表示较大的输入帧31,其包括相机传感器所捕捉的整个帧 数据，并且在该较大的输入帧31的中心设置较小的输出帧32。输出 帧32通过校正位移34移位到输出帧33。因此校正包括裁剪较大的 输入帧31,以从由校正位移34所确定的较大输入帧31内的适当位 置处获取输出帧33矩形。例々口， 在S. ErtUrk的 "Digital image stabilization with sub-image phase correlation based global motion estimation" ， Consumer Electronics, IEEE Transactions on Volume 49， Issue 4， Nov. 2003 ，页 1320-1325中描述了适当的运动估计。现在将借助数学公式来更详细地描述示例性运动滤波过程。为 了简化该表达，仅考虑了相邻帧之间的平移。运动滤波操作进一步 独立地4十对水平和垂直运动来应用，/人而下列方程式应用于其中之相对于视频帧输入序列的第一帧的第n个帧的水平或垂直方向 上的原始运动由z。来表示并纟皮定义为zn 二 sn + un ( 1 )其中，S。和Un分别表示全局帧位置中的期盼分量和不希望的分量。 对于每个帧n,为了稳定视频帧的序列，需要-Un个像素的校正位移。如前所述，对于实时实现而言很重要的方面在于仅基于当前和 先前的观察来即时地对原始运动进行滤波。通常，这意味着仅基于 采样Zn， Zn-i，...， 来确定当前滤波的运动Sn。可以通过为滤波运动Sn的演进假设特定模型来实现任务的简化。 例如，简单的模型假设期盼运动Sn具有恒定速度Vn。这可以表示为如下等式当其表示为矩阵形式的时候，成为x,广Ax打一 (3)这里，''L"'"」是处理在时间n处的状态，以及al 10 1是状态转移矩阵。此外，观察等式(1)还可以矩阵符号来如下表示zH=cfxn+Mw, (4》 -0J是大小为2"的观察矩阵(向量)。更一般而言，帧位移的状态空间表示可以表示为如下其中一〖 (5>其中en和Un是处理和测量噪声项，其被假设为分别具有方差^和^的零均值高斯分布。处理矩阵A的大小为KxK，向量c和b的大小为"！。状态Xn是K"向量，从中可以通过运算S"-C、提取出期 盼运动Sn。卡尔曼滤波是 一 种针对此问题的优化解决方案，其中假设了根据模型(5)的状态转移和观察等式。可应用于稳定视频帧n的卡尔曼滤波过程由下列算法来表示 开始1<formula>formula see original document page 9</formula>2<formula>formula see original document page 9</formula>3<formula>formula see original document page 9</formula>4<formula>formula see original document page 9</formula>5<formula>formula see original document page 9</formula>6<formula>formula see original document page 9</formula>结束该算法在帧n接收估计原始运动Zn作为输入，并提供将应用到 帧n的校正-Un的量作为输出。除了下列进一步定义的参数之外，该算法使用内部变量p和g。 p是给出当前和过去的观察的真实状态的《xK协方差矩阵，并且g是称为卡尔曼增益的向量。例如由S. Ertiirk在"Image sequence stabilization based on Kalman filtering of frame positions" , Electronics Letters, volume 37, Issue 20， 27 Sept. 2001,页1217-1219中描述了相应的卡尔曼滤波。实际中，可应用到每个视频帧的校正运动位移(-un)的量受到 稳定系统的输入帧和输出帧之间的大小差异的限制。较大的校正使 得将输出帧的一部分置于输入帧的区域之外，如图4中所例示。图4 再次示出了输入幀31、初始输出帧32和根据确定的位移向量44而 移位的输出帧43。由于位移帧44太大，所以祐:稳、定的输出帧43包 括未定义的区域45。这种情况在使用大缩放比率时尤其频繁。为了防止出现这种情况，需要实现能够提供滤波运动本文档来自技高网...

【技术保护点】
一种用于将视频稳定系统的运动滤波器应用到视频帧序列的方法，所述方法包括，针对当前视频帧：　　　　接收相较于所述视频帧序列的第一视频帧的所述当前视频帧中的运动估计；　　　　基于所述运动估计和所述运动滤波器的至少一个状态变量来计算针对所述当前视频帧中运动的校正值，其中所述至少一个状态变量在所述计算中更新；　　　　当所计算的校正值超过所述视频稳定系统的系统限制时，根据所述系统限制被超过的程度来调节所述至少一个状态变量，并基于所述运动估计和所调节的状态变量来重新计算所述校正值。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：M蒂科，M弗维莱南，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：FI[芬兰]