一种数字图像稳定装置和方法将包括旋转运动分量的主变换应用于源帧，并且以光栅次序输出目标帧的整个行的每一个像素的图像数据。第一步骤基于主变换系数标识与目标帧的整个行的像素对应的源帧数据的对角线方向的元行。第二步骤通过将源帧数据的每一元行存储到诸如多个线缓冲器这样的存储器缓冲器的一个行中，来水平化与目标帧的整个行的像素对应的元行的源帧数据。然后，运动窗口内插步骤基于主变换系数按顺序内插并且以光栅次序输出目标帧的整个行的图像数据。
【技术实现步骤摘要】
针对数字图像稳定优化的旋转内插像素的光栅输出相关申请的交叉引用本申请要求于2010年12月23日向美国专利局和商标局提交的临时申请No.61/426,970和No.61/426,975的优先权。这两份申请的公开内容通过引用的方式并入此处。
本专利技术构思涉及数字图像稳定(digitalimagestabilizaTion，DIS)，并且更具体来说，涉及基于目标元帧(meta-frame)的水平行中像素的窗口内插来旋转源帧的目标帧部分并且以光栅次序输出经内插的目标帧的像素的方法。
技术介绍
数字相机、数字摄像机以及包括这些相机捕获的手持设备经常用来在相机在人工操作员手中操作时拍摄图像或者视频。因此，当拍摄图像或视频时摄像机可能在操作员手中摇晃或者抖动。抖动可能包括水平分量、垂直分量以及旋转分量。抖动可以使得手捕获的视频让观看者分心或迷惑，因此期望使用数字电路来数字估计摄像头轨迹(即，在每对连续帧之间检测的抖动)并且从相同场景的视频帧的序列中过滤该抖动。通过稳定的、要么静止要么移动的视频相机生成的视频主要包含所拍摄的视频中流畅的运动(平移、旋转)。另一方面，不稳定的视频相机生成遍及视频图像具有高频率抖动(平移的和/或旋转的)的视频。数字图像稳定(DIS)系统首先估计不想要的(无意的)运动，然后对图像序列中的每一帧应用校正(补偿)。稳定视频的视觉效果高度依赖于相机轨迹估计的质量。分析相机/场景的全局运动以将预期的(例如，摇摄)以及无意的(抖动的)全局运动区分开来。在数学上，仿射几何学(affinegeometry)是对通过仿射变换保持不变的几何属性的研究，也即，非奇异线性变换和平移。已经开发了通过数字系数——称作仿射矩阵——定义的数学方程组，将每个连续帧对之间或者其部分(例如，帧中的活动物体)之间检测到的水平、垂直、旋转和缩放(例如，放大或缩小)的运动特征化。仿射变换公式是x′＝sx*x+ry*y+txy′＝rx*x+sy*y+ty其中(x，y)是目标帧像素位置，(x’，y’)是在仿射变换之后所计算的源帧像素位置。sx，ry，rx，sy，tx和ty是仿射变换系数。所述组的数学描述可以包含场景的线性位移、旋转角度、比例尺等等。所述相机抖动可以用与场景中任一实际固定的对象(例如，石头、桌子、停放的汽车、山、太阳)相关的第一仿射变换矩阵P(n)特征化，称作主变换P(n)或者全局变换，而帧中的任一移动物体(例如，鸟、人、球、移动的车、经过的火车)可以用附加仿射矩阵Ti(n)特征化。因此，主变换P(n)可以用作帧中背景的运动的简洁描述。具有较小运动的变换更可能成为主变换P(n)。一旦获得主变换P(n)，它就被应用于所拍摄到的图像数据的源帧，并由此获得校正后的目标帧。当主变换P(n)包含旋转分量时，目标帧的相同行内的源帧数据可以来自源帧的许多不同线(line)。被标识为与特定目标帧像素位置对应的源帧像素位置可能不与源帧中现有像素的中心完全一致。被标识为与特定目标帧像素位置对应的源帧像素位置甚至可以位于源帧的两个或者四个相邻像素之间等距的位置。因此，那些相邻像素中没有一个将分别具有与对应的目标帧像素相同的亮度和色彩，但是它们的均值将会。当存在旋转运动时，目标帧中许多或者多数像素将不与源帧中的全部像素完全一致。在这样的情况下，必须从源帧的多个相邻像素的图像数据Dsf内插目标帧图像数据Ddf的每一个像素。使用基于仿射变换系数sx、ry、rx、sy、tx和ty的仿射变换矩阵执行该内插。然而，因为目标帧相对于源帧有旋转角度，所以目标帧的任一给定行Rd内的像素的源帧数据可能来自源帧的不同行。例如，如果旋转角度是±45度，那么目标帧的中间行Rd内的像素的源帧数据可能来自跨越大多数垂直维度的源帧的源帧行的范围。因此，一种输出目标帧的方法是将源帧划分为瓦片(块)并且仅从多个瓦片(块)中的每一个内插每个目标帧(行Rd)的一部分。可以使用各种数据格式用于对图像的每一个像素的亮度和色彩进行编码。一种系统是灰度级数据，其中仅对每一像素存储一个亮度(Y)值数据。另一系统是8位4:2:2数据格式，其中以4:2:2的比存储四个像素的四个亮度(Y)值和2个色度(Cb和Cr)值，因为人眼对光的亮度细节比对色彩变化的细节更加敏感。因此，当从源帧内插目标帧的像素时，使用针对亮度和色度数据值的不同大小的内插区域可能是最佳的。例如，来自源帧的4×8亮度(Y)数据区域和4×4色度(Cb和Cr)数据区域可以用于以8位4:2:2数据格式的目标帧的每一个像素的内插。存储器管理方案的瓦片(块)形式具有用于存取相邻瓦片之间重叠的源帧数据以及块形式的输出目标帧数据的开销。当图像处理的随后阶段需要光栅次序的目标帧图像数据(例如，像素的全部行从左到右)时，连结经内插的目标帧数据的这些块以及读取以光栅次序输出的每个行Rd的像素的开销需要更多总线带宽或者需要多个线缓冲器来实现。
技术实现思路
本专利技术构思的一方面提供一种用于执行图像旋转而不重叠相邻瓦片之间的源帧存取的像素内插方法。公开的方法不需要额外的计算开销或者存储器开销来生成光栅次序的目标数据。本专利技术的一方面提供一种数字图像稳定方法，包括应用表示视频帧的场景中固定/背景对象的主变换P(n)。根据一个实施例，基于接收到的仿射系数sx，sy，rx，ry，tx和ty并且基于计算的目标帧坐标，在补偿单元的第一仿射变换引擎中执行仿射变换，以生成所需要的源帧的像素数据的对应物理存储器位置。在部分彩色数据系统中，需要来自源帧的数据的内插区域(例如，4行8列)用于对目标帧的每一个像素执行内插操作。为了存取所需要的用于从源帧区域进行旋转图像变换的数据，公开的方法取得与目标帧的一行对应的位于对角线的元行中的源帧的像素，并且将这些源数据像素水平地重新定位到多个线缓冲器，其中存储在线缓冲器中的内容中的数据对应于目标帧中的像素的一个或多个整个行。因此，能够以光栅次序针对目标帧的一个或多个整个行进行内插。本专利技术的示范性实施例利用平移、缩放和旋转执行仿射变换(图像内插)。生成目标帧的当前行Rd的经内插的像素需要的所有源帧数据都在元帧缓冲器的多个线缓冲器内进行对准。在源帧数据内插处理期间使用水平运动窗口操作以便以光栅次序生成目标帧数据。如果线缓冲器中的源帧数据来自于源帧的不同行，那么所需要的用于目标帧的每一个像素的内插的、源帧的(例如，4×8)存储器窗口区域的形状将被移位。提供一种用于旋转图像的图像处理电路，包括：第一变换引擎，被配置为生成表示初始图像帧的目标元帧部分中的像素的每一元行的开始和结尾的水平位置的单个集合；直接存储器存取控制器，被适配为读取目标元帧部分中的像素的每一元行以及将经水平化的每一元行写入多个线缓冲器中的一个；以及第二仿射变换引擎，被适配为以光栅次序内插和旋转目标帧的每一个像素以及输出经旋转的像素。根据一个实施例，所述方法计算源帧中的对角线元行内对角线分布的图像数据的位置以及执行线缓存管理任务以便支持图像旋转到高达±45度角。本专利技术构思的一方面提供一种用于旋转图像的图像处理电路，包括：第一变换引擎，被配置为生成表示初始图像帧的经旋转的目标帧部分中的像素的每一元行的开始和结尾的水平位置的集合；直接存储器存取控制器，被配置为读取目标帧部分中本文档来自技高网...
【技术保护点】
【技术特征摘要】
2010.12.23 US 61/426,975;2010.12.23 US 61/426,9701.一种图像处理电路，包括：第一仿射变换引擎，其被配置为生成表示源帧中的像素的每个元行的开始并且与目标帧的行中的像素对应的水平位置数据的集合；存储器存取控制器，其基于所述水平位置数据控制从目标帧读取像素的每个元行以及将水平化的像素的每个元行写入多个线缓冲器中的一个；以及第二仿射变换引擎，其被适配为从存储在所述多个线缓冲器中的源帧的像素的多个水平化的元行以光栅次序内插以及输出所述目标帧的像素的每个行中的每个像素。2.如权利要求1所述的电路，其中，根据接收到的仿射变换系数集合在内插所述目标帧的像素期间旋转所述目标帧。3.如权利要求1所述的电路，其中，第一仿射变换引擎基于接收到的仿射变换系数集合以及基于关于与所述源帧有关的所述目标帧的位置和维度信息，生成表示所述源帧中的像素的每一元行的开始的水平位置数据的集合。4.如权利要求1所述的电路，其中，所述多个线缓冲器包括至少五个线缓冲器。5.如权利要求1所述的电路，其中，所述多个线缓冲器包括至少七个线缓冲器。6.如权利要求1所述的电路，其中，所述多个线缓冲器包括至少十一个线缓冲器。7.如权利要求6所述的电路，其中，所述第二仿射变换引擎使用跨越十一个线缓冲器中的每一个的4×8像素内插窗口，以光栅次序内插窗口内插并且输出所述目标帧的像素的每一行中的每一个像素。8.一种根据包括旋转的仿射变换坐标从源帧的多个行中的像素内插目标帧的方法，包括：基于所述仿射变换坐标，将与水平化的目标帧的第一行的像素对应的所有源帧数据复制到多个线缓冲器；以及以光栅次序从存储在所述多个线缓冲器中的源帧数据内插所述目标帧的第一行的每一个像素并且输出所述目标帧的第一行的经内插的像素。9.如权利要求8所述的方法，其中，所述多个线缓冲器包括至少五个线缓冲器。10.如权利要求8所述的方法，其中，所述多个线缓冲器包括至少十一个线缓冲器。11.如权利要求8所述的方法，还包括：基于所述仿射变换坐标，将与水平化的目标帧的第二行的像素对应的所有源帧数据复制到所述多个线缓冲器；以及以光栅次序从存储在所述多个线缓冲器中的源帧数据内插所述目标帧的第二行的每一个像素并且输出所述目标帧的第二行的经内插的像素。12.如权利要求11所述的方法，其中，所述复制与所述目标帧的第一行和第二行的像素对应的所有源帧数据的步骤在从存储在所述多个线缓冲器中的源帧数据内插所述目标帧的第一行和第二行的每一个像素的步骤之前完成。13.如权利要求11所述的方法，还包括：基于所述仿射变换坐标，将与水平化的目标帧的第三行和第四行的像素对应的所有源帧数...
【专利技术属性】
技术研发人员：CC林，Y周，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。