用于在视频比特流和输出视频序列之间的时间同步的方法和装置制造方法及图纸

本发明专利技术涉及用于将视频解码器的输入比特流与由视频解码器解码的处理视频序列时间同步的方法和装置。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于将视频解码器的输入视频比特流与由视频解码器解码的所处理视频序列同步的方法和装置。
技术介绍
最近几年间视频通信应用的激增使鲁棒性视频质量测量的发展成为必要，从而评估由用户感知的服务质量来定义的体验质量(QoE)。视频质量评估是用于使内容提供者高效地设计、规划和监控服务的重要方面。 如今，混合视频质量评估模型/系统使用包信息、比特流信息和解码的重构图像的组合。通常，在混合视频质量评估算法中，将从比特流中提取或计算的特征(例如，动作向量、宏块类型、转换系数、量化参数等)，和由包标头提取的信息(例如，比特率、包丢失、延时等)与从像素域中的输出重构图像中提取的特征相结合。然而，如果由于时间同步的丢失，前者的特征与后者的特征不时间上对应，那么质量的评价会不准确。因此，在每个混合视频质量评估算法中的第一步都是将视频比特流与解码的重构图像同步。图1中示出了混合视频质量评估系统的框图。在最终用户侧，探测器装置获取进来的比特流，并且随后为了提取和计算一些特征而分解并分析该比特流。这些特征输入至负责使视频比特流与输出视频序列时间同步的模块。此外，例如机顶盒(STB)的解码装置将收到的比特流解码并且产生由输出装置显示的处理视频序列(PVS)。PVS也输入至使其能够与视频比特流时间同步的负责时间同步的模块。通常，在比特流和PVS之间的时间同步丢失的主要原因是延时。当视频流在诸如因特网的最高效(best-effort)网络上传输时，各个包的到达时间不是恒定的并且可以显著地变化。跨网络的包延时的随着时间的变化称为抖动(jitter)。为了确保序列无振动地平滑重放，大多数视频系统采用去抖动缓冲器。所接收的比特流基于各个包的到达时间而写入至输入缓冲器，并且从帧中读出的与该帧对应的画面数据在与帧周期对应的预定时间间隔中进入解码器。各个画面的显示时刻由记录在包标头中的时间戳字段确定。即，时间戳值与从画面起始代码的检测起到画面显示时刻为止经过的延时时间段对应。在上述视频解码系统中，根据包括在用于确定显示时刻的视频比特流中的数据来确定各个视频帧的显示时刻。因为用于帧的显示的时间不固定，所以PVS可以不总是精确地匹配至原始比特流。在文献中，在源和扭曲视频序列之间的时间同步问题被先前研究过并且被称为视频配准(video registration)。在 M Barkowsky, R. Bitto, J. bialkowski 和A. Kaup 的“Comparison of matching strategies for temporalframe registrationin the perceptual evaluation of video quality，，，Proc. of theSecondInternational Workshop on Video Processing and Quality Metrics forConsumerElectronics, Jan. 2006 一文中，在性能和复杂性的方面提出并且检查了在用于视频配准的块匹配与相位关联之间的比较。而且，在Y.Y.Lee，C. S. Kim和S. U. LEE的“VideoFrame-matching algorithm usingdynamic programming,，，Journal of ElectronicImaging, SPIE，2009中，基于使用动态编程的匹配代价函数的最小化而提出了用于帧的移除、插入、置乱(shuffle)和数据压缩的帧匹配算法。在J. Lu的“Fast videotemporalalignment estimation, ”(US-B1-6751360)中提出了用于将扭曲视频时间对准于相应的用于视频质量测量的源视频的快速时间对准估算方法。通过将用于每帧的数据点计算为在两个后续巾贞之间的互关联，各个视频序列被转换为签名曲线(signature curve)。随后通过找到在检查的视频序列的签名曲线之间的归一化互关联的最大值来确定扭曲视频的时间失配。在 H. Cheng 的“ Video registration based on local prediction errors,，，(US-B2-7366361)中描述了用于识别在两个视频序列之间的空间的、时间的和直方图的对应性的另一方法。通过产生从一个以上的原始帧中的所选组到处理的组的映射从而使各个映射将本地预测错误最小化，PVS被对准至参考视频序列。在K. Ferguson的“System andmethods for robust video temporalregistration,，，(US-A-2008/0253689)中，从参考·和测试视频序列中产生帧和子图像的提取测量。然后，使用帧之间的本地皮尔斯互关联系数来将它们线性对准。此外，在C. Souchard的“Spatial and temporal alignment ofvideosequences, ”(US-A-2007/0097266)中，将动作函数定义为描述测试和参考视频序列的帧之间的像素组的动作并且使用变换以对准两个图像。在J. Baina 等人的 “Method for controlling digital televisionmetrologyequipment, US6, 618，077B1, 2003” 中，提出了用于从 MPEG-2 传输流中提取参数的方法从而产生同步信号。然而，该方法只在视频基本流被分包在MPEG-2传输流中时可用并且不能应用于任意传输协议。与之相反，所提出方法可以应用于任何视频流而不需要具体的传输或应用协议。此外，以上方法将同步信号提供给视频质量监控算法从而表示视频信号的哪些画面(视频帧)应当被用于质量预测。与之相反，所提出的方法识别与考虑中的来自外部解码器的各个图像对应的比特流的部分。最终，该方法不利用比特流信息来将视频比特流与来自外部视频解码器的画面同步，然而所提出的专利技术利用比特流来进行同步。视频比特流的利用能够考虑包丢失所产生的影响并且可以应用于传输错误的情况。在M. Keyhl, C. Schmidmer 和 R. Bitto 的 “Apparatus for determining datainorder to temporally align two data signals, W02008/034632A1, 2008，，中提出了用于对准两个数据信号的另一方法。与之相反，所提出的专利技术提供了来自外部视频解码器的图像与输入视频比特流之间的同步。此外，以上方法在像素域中进行同步，因此其需要输入视频比特流的完全解码。相反，所提出的方法提供了两个实施方式(第二和第三实施方式)，在它们中，从包标头并且不通过完全解码而进行同步。然而，在J. Baina 等的 “Method for synchronising digitalsignals”, US2003/0179740A1，2003中，提出了用于同步数字信号的另一方法。其为全参考方法，即，需要参考信号来进行同步。与之相反，本专利技术提出了用于在视频比特流和来自外部视频解码器的解码画面之间同步的非参本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.07.30 EP 10171454.11.一种用于将视频解码器的输入比特流与由外部视频解码器解码的处理视频序列时间同步的方法，所述方法包括以下步骤a)获取所述输入比特流并且将其提供给比特流分析器；b)由所述比特流分析器分解并且分析所获取的所述输入比特流；c)解码所述输入比特流并且由此提供个重构图像；d)将所述Nra个重构图像存储在缓冲器中；并且e)将从所述视频解码器的输出侧接收的处理视频序列与各个所存储的所述重构图像相比较，从而从所述缓冲器中的重构图像组中找到匹配帧n'2.根据权利要求1所述的方法，还包括步骤f):将所述匹配帧η*和与其相对应的所述比特流的部分提供给视频质量评估单元。3.根据权利要求1或2所述的方法，其中，步骤e)在像素域中执行。4.根据权利要求1、2或3所述的方法，其中，步骤b)还包括对于各个图像从所述比特流中提取由于传输错误而丢失的包和受到包丢失影响的各帧内的相应区域；以及基于动作向量和宏块类型的错误传播图，所述错误传播图表示各帧中的哪些像素参考了错误区域以用于它们的预测并且因此倾向于受到包丢失的影响。5.根据前述的任一权利要求所述的方法，其中，步骤e)包括通过利用从所述比特流和 PVS提取的信息来计算在所述处理视频序列和所述缓冲器中的所述重构图像之间的距离度量。6.根据权利要求5所述的方法，其中，从所述比特流提取的所述信息包括由于包丢失而引起的损伤的空间位置和时间位置。7.根据权利要求2至6中的任一项所述的方法，其中，在步骤f)中，所述视频质量评估单元基于从所述比特流和所述处理视频序列获得的信息来估算主观质量分数。8.一种用于将视频解码器的输入比特流与由所述视频解码器解码的处理视频序列时间同步的方法，所述方法包括以下步骤a)获取所述输入比特流并且将其提供给比特流分析器；b)通过所述比特流分析器分析所获取的比特流从而产生错误图1(X，y, t)和受到包丢失影响的像素组A,其中I (x,y, t)表示在第t巾贞的(x,y)位置的错误图值，χ=0、1、…、 M，以及y=0、l、…、N，其中M、N分别是所述视频序列的各帧的水平和垂直尺度，c)将由探测器内的所述比特流分析器内部产生的Nm。个帧的错误图存储在缓冲器中；以及d)将所存储的Nra个重构帧的错误图与当前的处理视频序列的相应错误图相比较，从而从所述缓冲器中的重构帧组中找到与所述处理视频序列的当前图像相匹配的匹配帧n'9.根据权利要求8所述的方法，还包括步骤e):将所述匹配帧η*和与其相对应的所述比特流的部分提供给视频质量评估单元的。10.根据权利要求8所述的方法，其中，在步骤c)和d)之间执行以下步骤估算所述处理视频序列的当前图像的受损宏块；计算属于受包丢失影响的区域的像素的轮廓；将所述处理视频序列的轮廓与存储在所述缓冲器中的所述错误图的轮廓相比较。11.一种用于将视频解码器的加密输入比特流与由所述视频解码器解码的处理视频序列时间同步的方法，所述方法包括以下步骤a)将所述加密输入比特流提供给分析模块；b)在所述分析模块中分析所述加密输入比特流的包标头信息，并且计算在所述比特流中包含的画面的尺寸和类型；c)基于所计算的所述画面的尺寸和类型来提取代表在视频画面中示出的内容的特征；d)从所述处理视频序列的画面中提取内容的类型和代表所述内容的各特征；e)将在步骤d)中从所述处理视频序列的当前画面中提取的所述特征与在步骤c)中从所分析的画面中提取的所述特征相比较，从而计算与当前处理视频序列相对应的所述比特流的部分。12.根据权利要求11所述的方法，其中，在步骤c)和d)中提取的所述特征是时变特征。13.根据权利要求11或12所述的方法，其中，步骤c)和d)在像素域中执行。14.根据权利要求11、12或13所述的方法，其中，与所述当前处理视频序列相对应的所述比特流的部分还被输入至视频质量评估模块。15.根据权利要求11所述的方法，其中，步骤b)还检测受包丢失影响的帧，并且还包括以下步骤f)检查所述处...

【专利技术属性】
技术研发人员：萨瓦斯·阿伊罗普洛斯，伯恩哈德·费坦恩，玛丽内日·加西亚，彼得·利斯特，亚历山大·拉克，
申请(专利权)人：德国电信股份有限公司，
类型：
国别省市：