用于运动估算的方法和装置制造方法及图纸

一种估算给定场景的图像帧对之间的运动的方法包括：计算针对图像帧中的每个图像帧的相应积分图像，并且在每个帧内选取至少一个对应的兴趣区域。对于每个兴趣区域，从每个积分图像计算积分图像轮廓，每个轮廓包括元素数组，每个元素包括来自帧的兴趣区域的连续地带的像素强度的总和。将积分图像轮廓进行相关，以确定帧对之间的兴趣区域的相对位移。每个兴趣区域被分割成多个进一步的兴趣区域，之后重复，直到提供了所需要的针对连续分割的兴趣区域的估算运动的分层结构。

【技术实现步骤摘要】
【国外来华专利技术】用于运动估算的方法和装置
本专利技术涉及用于运动估算的方法和装置。
技术介绍
WO2008/151802(参考：FN-174)和WO2011/069698(参考：FN-352)公开了用于确定图像帧之间的相对移动的视频序列中的相应图像帧的相关轮廓(profile)——移动包括相机移动或者主题(subject)移动。然而，提供对帧到帧运动的全局测量的应用受到限制。因此，可能有用的是，提供指示图像序列的块或者区域内的全局和局部运动两者的信息。有很多运动估算方法使用分层方法来找到视频帧的序列中的局部块运动。有两种典型方法：·图像金字塔，例如如在US6459822中公开的那样，其中图像被分解成所谓的高斯(Gaussian)金字塔，其中金字塔的每个层级是前一层级的缩小(downscale)版本。层级之间的常用缩放因子为2。通过使块之间的像素值相关，来找到对应块之间的位移。且不说用于存储图像金字塔所述需要的存储器的量，这是计算密集型处理，即使采用小的搜索半径。·可变块尺寸，其中图像保持其原始尺寸，但是搜索块随着每次搜索迭代变得更小，并且搜索半径也减小，从而允许更精确的估算。此方法的问题是，图像像素必须被访问多次并且每次迭代的数值复杂度是高的。US8200020B1公开了从源图像选取源图块(tile)的计算设备。从源图块中，计算设备可以选取第一矩形特征和第二矩形特征。基于第一和第二矩形特征，计算设备可以计算源特征矢量。计算设备还可以选取目标图像的搜索区域、以及搜索区域内的目标图块。基于该目标图块，计算设备可以计算目标特征矢量。计算设备可以确定源特征矢量和目标特征矢量之差在误差阈值之下，并且基于这一确定，进一步确定源图像和目标图像之间的映射。然后计算设备可以将该映射应用到源图像以产生经变换的源图像。US6809758公开了稳定使用连续帧序列形成的运动图像，其包括：计算相邻帧之前的运动矢量场；从运动矢量场的水平和竖直分量形成运动矢量直方图；向运动矢量直方图应用阈值以产生阈值化运动矢量直方图；从阈值化运动矢量直方图生成平均水平和竖直运动分量；在若干帧内对平均水平和竖直运动分量进行滤波，以针对帧中的每个帧识别不想要的水平和竖直运动分量；以及通过根据对应的不想要的水平和竖直运动使每个帧移位(shift)，来稳定图像序列。NguyenVA等人:“FastBlock-BasedMotionEstimationUsingIntegralFrames”,IEEESignalProcessingLetters,IEEEServiceCenter,Piscataway,NJ,US,vol.11,no.9,1September2004,pages744-747公开了块匹配算法(BMA)，其通过使用从积分帧计算的像素值的块总和来测量两个块之间的匹配。KenSauer等人:“EfficientBlockMotionEstimationUsingIntegralProjections”,IEEETransactionsOnCircuitsAndSystemsForVideoTechnology,IEEEServiceCenter,Piscataway,NJ,US,vol.6,no.5,1October1996,pages513-518公开了块运动估算方案，其基于运动块与先前帧中的搜索区域的那些块的积分投影的匹配。该方案以递减搜索半径序列进行操作，并且通过子采样运动矢量场来利用典型像中的相邻块中的运动矢量的相似性。US6130912公开了获得视频图像数据中的目标帧相对于参考帧的每个宏块的运动矢量。在第一阶段中，应用粗略地搜索参考帧的第一搜索区域，以获得与目标帧中的超级宏块近似最佳的候选超级宏块。在第二阶段中，超级宏块被分割成多个宏块。宏块中的每个宏块被用于构造搜索区域，然后搜索该搜索区域以获得与目标帧中的宏块近似最佳的候选宏块。附加的阶段可以用于进一步精细调谐对宏块的近似。
技术实现思路
根据本专利技术的第一方面，提供根据权利要求1的确定给定场景的图像帧对之间的估算运动的分层结构的方法。本专利技术的这一方面采用从每个图像帧得出的积分图像，以在图像区域的分层结构的若干层级确定图像帧之间的相对运动。不是直接使用图像相关而是使用积分图像轮廓，来找到对应区域之间的运动。积分图像轮廓是一维数组，其包含图像的兴趣区域的列或者行内的所有像素的强度的总和。将对应区域的积分图像轮廓进行相关，以便找到区域之间的位移。如所讨论的那样，将图像缩小若干次并且在金字塔或者分层结构中保留所有经缩小层级在嵌入式应用中是不切实际的。此外，从分层结构内的图像的那些经缩小层级建立的轮廓会造成不必要的存储器流量。通过每帧使用单个积分图像，针对分层结构的每个层级按需要进行采样以产生分层位移图，有效地解决了这一问题。在实施例中，分层结构的每个层级被分割为一个或者多个区域，使得区域的数目随分层结构向下的每个层级增加，例如在基础层级，图像被分割为16x16个区域，向上的下一层级具有8x8个区域，下一层级具有4x4个区域，以此类推。在一些实施例中，对积分图像信息的采样被伸缩，使得每个层级以上方层级的两倍分辨率采样，从而为图像的连续更局部化的区域提供更精细的运动估算。本专利技术的实施例优化针对金字塔的每个块的积分轮廓的建立，并且从而提供了执行分层运动估算的高效方法，其将对存储器量和存储器带宽要求最小化并且降低了计算复杂性。其它方法检测在单个兴趣区域内的多个运动，而不将其分割为子块和重建积分图像轮廓。它们利用两个对应兴趣区域之间的误差函数的局部极小值，并且附加地尝试在包含在兴趣区域内的对象之间设置近似界线。使用其它方法，代替在金字塔的顶部处开始运动估算，使用基于内置到设备中的运动传感器的对运动的初始猜想，运动估算在分层结构的根层级之下的一个或者多个层级开始。还提供了被布置为执行上面提及的本专利技术的方面的图像处理设备和计算机程序产品。附图说明现在将通过示例的方式，参照附图描述本专利技术的实施例，其中：图1是根据本专利技术的实施例的被布置为执行运动估算的图像处理装置的框图；图2是总体上图示根据本专利技术的实施例的运动估算方法的流程图；图3示出了用于生成用于图2的方法的第一迭代的积分图像轮廓的积分图像像素；图4图示了相对于参考图像(R)经位移的目标图像(T)；图5图示了诸如图4所示的一对经位移图像的示例性积分图像轮廓；图6示出了在图2的方法的第二迭代时经位移的兴趣区域(ROI)；图7示出了在图2的方法的第二迭代时用于针对参考图像(R)的左上和左下ROI建立积分图像轮廓所需要的像素；图8示出了在图2的方法的第三迭代时经位移的兴趣区域(ROI)；图9图示了插值积分图像轮廓；图10和图11图示了基于平均绝对误差(MAE)的对轮廓之间的子像素位移的计算；图12示出了覆盖图像帧的显著部分的对象；图13示出了指示针对图12的图像的具有局部极小值的MAE的轮廓；图14示出了根据图2的方法产生的运动矢量的位移矩阵；图15图示了用于从矩阵选取用于在计算全局变换矩阵中使用的矢量的方法；图16示出了由图15的方法产生的用于图14的矩阵的选取掩模(mask)；并且图17至图19图示了兴趣区域的从分层结构的一个层级到下一层级的非均匀子分割。具体实施方式本文档来自技高网...

【技术保护点】
一种估算给定场景的图像帧对之间的运动的方法，包括：a)计算所述图像帧中的每个图像帧的相应积分图像；b)在每个帧内选取至少一个对应兴趣区域；c)对于每个兴趣区域：i.从每个积分图像计算积分图像轮廓，每个轮廓包括元素的数组，每个元素包括来自所述帧的所述兴趣区域的连续地带的像素强度的总和；ii.对所述积分图像轮廓进行相关以确定所述帧对之间的所述兴趣区域的相对位移；并且iii.将每个兴趣区域分割成多个进一步的兴趣区域；并且重复步骤c)，直到提供了所需要的针对连续分割的兴趣区域的估算运动的分层结构。

【技术特征摘要】
【国外来华专利技术】2013.03.18 US 61/803,1151.一种确定给定场景的图像帧对之间的估算运动的分层结构的方法，所述图像帧对中的第一图像帧被指定为参考帧(R)，并且所述图像帧对中的第二图像帧被指定为目标帧(T)，所述方法包括：a)计算所述图像帧对中的每个图像帧的相应积分图像；b)在每个帧内选取(30)至少一个对应兴趣区域；c)对于每个兴趣区域：i.从每个积分图像计算(32)积分图像轮廓，每个轮廓包括元素的数组，每个元素包括来自所述帧的所述兴趣区域的地带的像素强度的总和，所述计算积分图像轮廓包括在所述分层结构的第一所选取层级以第一子采样间隔对所述积分图像子采样，并且对于步骤c)的每次重复，以连续地更小子采样间隔对所述积分图像子采样；ii.对所述积分图像轮廓进行相关(32)以确定所述帧对之间的所述兴趣区域的相对位移；iii.将每个兴趣区域分割(34)成多个进一步的兴趣区域，以去往所述分层结构的下一层级；并且iv.根据针对在所述分层结构的更高层级的与分割的所述兴趣区域对应的兴趣区域所确定的相对位移，使在所述分层结构的一个层级的所述目标帧(T)的所述分割区域位移(36)，所述更高层级高于所述一个层级；并且针对所述进一步的兴趣区域重复步骤c)，直到提供了所需要的针对连续分割的兴趣区域的估算运动的分层结构。2.根据权利要求1所述的方法，其中步骤b)包括初始选取完整图像帧作为兴趣区域。3.根据权利要求1所述的方法，其中所述分割包括将每个区域水平地和竖直地分割成整数数目的兴趣区域。4.根据权利要求1所述的方法，包括在所述分层结构的底部层级对所述积分图像的每个像素采样。5.根据权利要求4所述的方法，进一步包括在所述分层结构的底部层级对所述图像帧对中的每个图像帧的所述积分图像轮廓进行插值(40)，以在所述分层结构的所述底部层级提供针对兴趣区域的位移的子像素测量。6.根据权利要求1所述的方法，其中所述位移响应于所述相关确定所述兴趣区域内的多于一个位移，以用于根据所述多于一个位移使所述目标图像内的所述分割的兴趣区域不同地位移。7.根据权利要求1所述的方法，其中所述分割响应于所述相关确定所述兴趣区域内的多于一个位移，以用于确定所述兴趣区域的非均匀分割(H1、H2、V1)，并且以用于根据所述非均匀分割不同地分割所述兴趣区域。8.根据权利要求1所述的方法，包括计算针对目标帧的全尺寸积分图像，并且计算针对参考帧的减尺寸积分图像，所述减尺寸积分图像仅包括与所述分层结构内的兴趣区域的边界对应的所述图像帧的像素的积分图像数据。9.根据权利要求8所述的方法，包括从图像帧序列选取所述参考帧和所述目标帧，使得所述参考帧交替出现在所述目标帧之前和之后。10.根据权利要求1所述的方法，进一步包括从相机运动传感器接收对所述图像帧对之间的相机移动的测量；并且其中所述选取包括选取所述图像内的多个区域，所述目标帧内的至少一个兴趣区域根据对相机移动的所述测量进行位移。11.根据权利要求1所述的方法，包括基于针对在所述分层结构的底部层级的兴趣区域确定的运动矢量阵列，生成指示所述帧对的相对移动的几何变换。12.根据权利要求11所述的方法，包括在所述生成之前对所述运动矢量滤波(38)，以消除异常运动矢量。13.根据权利要求1所述的方法，其中对于步骤c)的每次重复，所述子采样间隔被减半。14.一种图像处理设备(10)，被布置为获取场景的图像帧序列，并且被布置为根据权利要求1至13中的任一项所述的方法估算所述场景的图像帧对之间的运动。15.一种确定给定...

【专利技术属性】
技术研发人员：P·比焦伊，P·科尔科兰，P·斯特克，
申请(专利权)人：快图有限公司，
类型：发明
国别省市：爱尔兰;IE