利用共位块进行运动估计制造技术

利用共位块进行运动估计。一种用于在帧序列中执行运动估计的数据处理系统，该帧序列包括分别划分为相应像素块集合的第一帧和第二帧，该系统包括：向量生成器，其被构造成形成表示第一帧和第二帧之间的像素映射的运动向量候选；以及向量处理器，其被构造成，针对第一帧的搜索块，识别在第二帧的与该搜索块共位的帧的像素映射。

【技术实现步骤摘要】

本专利技术涉及用于在帧序列中执行运动估计的方法和数据处理系统。
技术介绍
在用于处理视频流或其他帧序列的系统中，能够估计流中描绘的特征在帧之间的运动是有用的。这种运动估计信息具有多种应用。例如，在播放设备中，运动估计信息可用于猜测特征将在视频帧之间的时间点在什么位置，并因此通过在视频流的帧之间生成一个或多个插值帧来进行帧率转换。在记录或编码设备中，运动估计信息允许视频流的有效压缩，因为其可在一个或多个视频帧的时间段内用表示相同特征像素的压缩描述和描述这些像素在帧之间运动的信息来替换多个视频帧中的这些像素。已知多种技术用于估计视频帧之间像素或像素组的运动。现将以示例的形式来描述一种称为基于块的运动估计的常规方法。该基于块的运动估计将视频序列帧细分为称为块或宏块的多个区。总体上说，为识别块在帧之间的运动，帧的每个块中的像素数据与来自前一帧或后一帧的多个候选位置的像素数据进行比较。给出最佳匹配的候选的相对位置可被表示为向量，然后其用于表示块在帧之间的运动。通过在帧的块中重复该步骤，可以生成针对该帧的运动向量的集合，称为该帧的运动向量场。运动估计技术通常使用可以称为单端运动向量。图1示出了示例性的基于块的单端运动估计。图像100被划分为块105的规则阵列，而运动估计对每个块依次进行。图1示出了运动对象110，其在视频序列的一个帧的特定位置处，以及重叠于同一图个中，同一对象115，其在序列的前一帧的其位置。块120中的图像数据包含表示对象110的一部分的多个像素。针对块120的运动估计包括搜索序列中的前一帧，以查找具有最类似于块120的内容的内容的图像数据的区域。假设运动估计执行良好，找到了区域125。可以看到，区域125与块120具有相同的大小，但不对齐于网格105。相对于块120，匹配像素125的区域的位置确定运动向量130，其反映对象110的运动，并且称为块120的运动向量。单端运动估计在某些应用运行良好，诸如视频编码，因为其在被编码的每个帧100中，针对每个块诸如120生成一个向量。在运动补偿了的帧率转换器中，在视频序列中的两个已有的源帧之间的中间位置生成插值帧是一般而言必要的。图2示出了从图1的运动估计结果用于在来自原始视频序列的两个源帧之间的新帧中插值图像数据。针对块200的运动估计确定运动向量205，而从块200的像素并且从区域210的像素导出位于向量中点的帧215的新区域的像素。请注意，插值区域215不一定对齐于块的网格。图3例示了在帧率转换器利用单端向量时产生的问题。对象300和305以不同的速度运动，分别产生针对块310和315的不相等的运动向量320和325。在该示例中，向量是收敛的。新帧的插值涉及在两个向量的中点即位置320和325处创建像素数据。块310和315是邻接的，但插值区域320和325不邻接。这导致插值帧中的孔340。另选的情况在向量发散时存在，导致插值区域的交叠。在任一种情况下，需要附加的帧处理来解决孔和交叠区域，以生成在每个像素位置具有一个值的输出帧。图4示出了双端(或双向)运动估计的示例。当用于帧率转换器的示例应用时，该类型的运动估计具有针对插值帧中的每个像素位置准确地生成一个值的优点。要被插值的帧400被划分为块405的规则阵列，而运动估计针对每个块依次进行。针对块405的运动估计涉及针对图像数据彼此最类似的区域，搜索序列中的前一帧和下一帧。在该示例中，搜索通过要求所测试的区域的偏移量量级上相等并且相对于插值帧(表示前一和下一源帧之间的时间中点的插值)中的块的位置在方向上相反而受约束。在该示例中，最佳匹配发现于前一帧的区域410和下一帧的区域415之间，两者被示出重叠在插值帧的块的网格上。注意任何区域均不一定对齐于网格。前向偏移量420等于后向偏移量425。组合起来，两个偏移量可称为块405的运动向量，并表示对象在源帧之间的间隙中的运动。块405中的像素数据的插值需要从像素数据410和415的区域之一或两者导出像素数据。网格与插值帧的对齐表示针对每个像素位置确实只生成一个值。图4的示例示出了插值出现于两个源帧之间的时间中点。在帧率转换中，通常需要其他插值阶段，例如源帧之间间隙的四分之一处的插值。在该情况，某些可能性是存在的，图5例示了两种情况。在一个示例中，块500被进行运动估计并且利用类似于图4说明的方法插值。然而，已知需要在帧间隙的四分之一进行插值，因此前向偏移量505被缩放以使其为后向偏移量510的三倍大小。缩放后的偏移量然后用于运动估计和插值。其给出了对象515的正确插值。在需要进一步插值的情况下，例如在一半和四分之三间隙，通过相应调整前向和后向偏移量大小来执行进一步运动估计。该方法执行良好，但会需要每个源帧间隙的多次运动估计。在帧率以较大因数增加时，该运动估计的成本是显著的。在另一示例中，在源帧间隙的某些部分需要插值，但每个间隙仅执行一次运动估计，典型地在中点处执行。针对块550的运动估计因此搜索具有相等和相反偏移量的匹配图像区域，并可以找到分别具有偏移量565和570的区域555和560。对于插值，运动向量根据间隙中的插值位置来缩放。例如，在间隙的四分之一处的插值将向量缩放为前向成分575和后向成分580。总体上，当运动在图像的大部分呈均匀时，得到的插值比较精确。图5的示例示出了产生误差的示例。偏移量575和580造成从图像区域585和590导出差值。请注意，用于块500的运动估计的方法将不会选择区域585和590，因为这些区域中的图像数据不匹配。然而，块550的插值没有另选，只能从该数据导出插值输出。结果可为两个区域的综合，如在595示出。基于块的运动评估器典型地通过使用诸如绝对差的和(SAD)或方差均值(MSD)的方法相对于源帧的像素测试针对块的运动向量候选的集合以识别给出最低误差块匹配的运动向量，来选择其输出运动向量。通过搜索该帧对中的像素块的匹配，生成一个或多个单端或双端运动向量候选，以描述像素块在帧间的运动。在多种视频编码标准中，例如，H.264，利用不同于上述针对帧率转换的机制，“B帧”被双向预测。每一个编码块可选择使用一个或两个基准帧。在使用一个基准帧时，编码类似于用于单向预测的“P”帧中的编码。在使用两个基准帧时，预测可以是从编码帧之前的一帧以及其后继的一帧提取的基准像素的均值。识别两个基准帧的基准像素区域的向量不一定在长度上相等或共线，并且运动估计尝试将每个基准帧的像素数据与正被编码的块的像素数据匹配。在用于执行运动估计的系统中，无论被构造成用于视频编码还是帧率转换，由于对象在帧内的运动，帧的区域的遮挡和展现表现出显著的问题。这对利用双端运动向量的系统尤其如此。简单示例发生于对象在背景中运动时：在运动对象的前缘，背景部分被遮挡，而在运动对象后缘，背景部分被展现。图6示出了单端运动估计的展现区域的简单示例。场景的背景为静态并包含对象600。对象605在前景中并从左到右运动。在序列的前一帧，同一对象位于由阴影矩形610示出的位置。针对块615的运动估计是直接的。块内容被发现于前一帧的区域620，因此运动向量625被分配至块615。针对块630的运动估计是复杂的，因为该区域中的背景刚刚由对象605的运动展现。在当前帧，针对块63本文档来自技高网...

【技术保护点】
一种用于在帧序列中执行运动估计的数据处理系统，所述帧序列包括分别被划分为相应像素块集合的第一帧和第二帧，所述系统包括：向量生成器，所述向量生成器被构造成形成表示所述第一帧和所述第二帧之间的像素映射的运动向量候选；以及向量处理器，所述向量处理器被构造成针对所述第一帧的搜索块，识别在所述第二帧的与所述搜索块共位的块中结束的第一运动向量候选并形成针对所述搜索块的输出向量，所述输出向量基本平行于所述第一运动向量候选并表示从所述搜索块到所述第二帧的像素映射。

【技术特征摘要】
2015.06.08 GB 1509889.01.一种用于在帧序列中执行运动估计的数据处理系统，所述帧序列包括分别被划分为相应像素块集合的第一帧和第二帧，所述系统包括：向量生成器，所述向量生成器被构造成形成表示所述第一帧和所述第二帧之间的像素映射的运动向量候选；以及向量处理器，所述向量处理器被构造成针对所述第一帧的搜索块，识别在所述第二帧的与所述搜索块共位的块中结束的第一运动向量候选并形成针对所述搜索块的输出向量，所述输出向量基本平行于所述第一运动向量候选并表示从所述搜索块到所述第二帧的像素映射。2.根据权利要求1所述的数据处理系统，其中，所述向量处理器被构造成如果针对所述搜索块没有运动向量候选可用，则形成所述输出向量。3.根据权利要求1或2所述的数据处理系统，所述数据处理系统还包括候选评估器，所述候选评估器被构造成计算针对每个运动向量候选的得分，每个得分为所述第一帧和所述第二帧的在相应运动向量候选的每一端的像素的相似性的度量，并且所述候选评估器被构造成在以下情况下使所述向量处理器形成所述输出向量：针对所述搜索块可用的每个运动向量候选的得分指示在所述运动向量候选的端点的像素之间的低相似性；或针对所述搜索块没有运动向量候选可用；所述数据处理系统被构造成使用所述输出向量作为描述从所述搜索块到所述第二帧的像素映射的向量。4.根据权利要求3所述的数据处理系统，其中，所述候选评估器被构造成，如果针对所述搜索块有至少一个运动向量候选可用，所述至少一个运动向量候选具有表示在其端点的像素之间高相似性的得分，则提供具有指示在其端点像素之间最大相似性的得分的运动向量候选，用作为描述从所述搜索块到所述第二帧的像素映射的向量。5.根据权利要求1或2所述的数据处理系统，所述数据处理系统还包括候选评估器，所述候选评估器被构造成计算针对每个运动向量候选的得分，每个得分为所述第一帧和所述第二帧的在相应运动向量候选的每一端的像素的相似性的度量，其中，所述向量处理器被构造成将所述输出向量加到针对所述搜索块可用的任何运动向量候选，并且所述数据处理系统被构造成使用具有表示在其端点像素之间最大相似性的得分的向量作为描述从所述搜索块到所述第二帧的像素映射的向量，所述输出向量被分配预定得分或依赖于第一运动向量候选的得分而形成的得分。6.根据权利要求5所述的数据处理系统，其中，所述向量处理器被构造成对所述第一帧的每个块作为搜索块进行处理，以在运动向量候选结束于所述第二帧的相应共位块的每个情况下，形成针对所述第一帧的所述块的输出向量。7.根据权利要求3至6任一项所述的数据处理系统，其中，所述候选评估器被构造成不计算针对所述输出向量的得分。8.根据以上权利要求中任一项所述的数据处理系统，其中，所述运动向量候选包括始于所述第一帧和/或所述第二帧的块的单端向量。9.根据以上权利要求中任...

【专利技术属性】
技术研发人员：S·菲舍维克，J·狄金斯，
申请(专利权)人：想象技术有限公司，
类型：发明
国别省市：英国;GB