用于帧间编码序列的差错消隐技术制造技术

本发明专利技术公开了一种对编码图像中的差错进行消隐的技术。对被显示的编码图像和被存储作为参考图像的编码图像使用不同的差错消隐技术，这提高了差错消隐的质量。为实时使用而优化的消隐技术将为被显示的图像提供最佳的视觉质量，而为恢复丢失数据而优化的消隐技术提高了所存储的参考图像的质量。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种对编码图像中的差错进行消隐的技术。
技术介绍
在许多例子中，视频流经过压缩(编码)以便于存储和传输。目前存在多种编码方案，包括诸如被提议的ISO/ITU H.2.64编码技术这样的基于块的方案。这种编码视频流常常因为信道差错和/或网络拥塞而在传输期间发生数据丢失或变得损坏。在解码时，数据的丢失/损坏自我表示为产生图像伪像(artifact)的缺失/损坏像素值。要减少这类伪像，解码器将通过根据同一图像的其他宏块(macroblock)或根据其他图像来估值，以“消隐”这类缺失/损坏像素值。短语“差错消隐”(error concealment)有点用词不当，因为解码器实际上未将缺失/损坏像素值隐藏。 空间消隐依靠空间域中临近区域间的相似性试图根据同一图像中其他区域的像素值来得到(估计)缺失/损坏像素值。时间消隐试图从具有时间冗余的其他图像得到缺失/损坏像素值。通常，差错消隐后的图像将接近原始图像。然而，利用差错消隐后的图像作为参考将传播差错。现代实时应用对差错消隐有两条硬性约束·时间约束(time constraint)，将消隐的计算限于一时间窗口，该时间窗口限定了差错检测与损坏帧的显示之间的间隔；以及·因果约束(causal constraint)，迫使基于先前所传输的信息对图像进行消隐，而不管与消隐潜在相关的位流中的输入信息。 两条约束都严重限制了消隐算法的性能并增加了差错传播。 差错传播的问题取决于将消隐后图像用于显示还是后续参考而不同。当消隐后的图像是可显示的图像且不被用作参考时，消隐的不精确决不损害其他帧间编码(inter-coded)图像的质量。然而，对结果的需求是实时的。当消隐后的图像被用作参考图像时，差错常常因为它们的时间暂留(time persistence)而传播并变得可见。然而，实时约束将不会限制与从消隐后图像得到参考图像相关的算法的复杂性。减少差错传播通常被称为容错问题。以编码效率和增加时延为代价，最普通的容错技术要求在传输流中包含冗余位并利用反馈信道来重发丢失或损坏的分组。 对于不支持时间和因果约束的应用，为了在解码器处校正传输差错，差错消隐算法变得必要。在这种环境下，差错传播将取决于对参考图像进行消隐的质量。迄今为止，防止差错传播需要避免使用先前所消隐的块作为参考。然而，取决于损坏图像将充当参考还是仅需用于显示，这种技术未解决差错传播的问题。 因此，需要一种提高差错消隐质量同时克服上述缺点的技术。
技术实现思路
简要的，根据本专利技术的优选实施例，提供了一种用于对编码图像中的差错进行消隐的方法。所述方法由首先识别所述编码图像是否具有差错开始。如果是的话，则利用用于显示的第一消隐技术对所述图像进行消隐。对被识别为具有差错的所述图像进行判定，以确定该图像是否将充当参考图像。如果是的话，则利用第二消隐技术对所述图像进行消隐。附图说明图1图示了根据本专利技术的用于执行差错消隐的解码器的示意性框图；图2以流程图的形式图示了根据本专利技术的第一优选实施例的一种用于对可显示和被存储(参考)的图像进行消隐的方法的步骤；图3以流程图的形式图示了根据本专利技术的第二优选实施例的一种用于对可显示和被存储的图像进行消隐的方法的步骤；图4图示了一组图像，其说明了时间递归的消隐如何可以提高帧间预测的质量；以及图5以流程图的形式图示了根据本专利技术的第三优选实施例的一种用于对可显示和被存储的图像进行消隐的方法的步骤。具体实施方式图1图示了用于对编码图像进行解码的解码装置10的示意性框图。解码装置10包括熵解码器11，熵解码器11产生解码后视频流，以输入到尺度和反变换(scaling and inverse transformation)块12。根据输入的编码视频流，熵解码器11产生一组运动向量、产生对帧间预测(inter-prediction)模式的指定，以及产生对一个或多个参考图像的选择，以输入到运动补偿块14，所述运动补偿块14利用存储在参考图像存储器16中的先前所存储的一个或多个参考图像来执行运动补偿。加法块18将由运动补偿块14产生的经运动补偿的图像与来自尺寸和逆变换块12的图像相加。去块(deblocking)过滤器20对由加法块18输出的图像进行去块，以产生用于显示的解码后图像。因为稍后可能被用作参考图像，所以由去块过滤器20输出的解码后图像也被存储在参考图像存储器16中。 被输入解码装置10的所有编码图像终究被显示，但是它们之中只有一些被用于参考。当由熵解码器11接收到的输入视频流是利用H.264压缩标准压缩的时，每个经编码图像的NAL头中的nal_ref_idc域将指示出图像是否将充当参考图像。熵解码器11将利用这种信息来决定具体图像是否将充当参考图像。如果nal_ref_idc等于零，则图像将不充当参考。如果nal_ref_idc不等于0，则图像可充当参考图像。 图2、3和5各自以流程图的形式图示了根据本专利技术的用于执行差错消隐的替代方法。如在下文中更详细描述的，图2、3和5中图示的差错消隐方法利用了一种用于显示图像的技术，以及一种用于那些被选择为参考图像的图像的不同技术。利用专用于显示图像的差错消隐技术提供了实时约束下的最佳视觉质量，而利用专用于参考图像的差错消隐技术允许更精确地恢复丢失的数据。因为所有编码图像都要被显示，所以对这种图像可以利用专用于显示的技术来进行消隐，而只有对那些被选择为参考图像的图像才利用专用于参考图像的技术来进行消隐。图2图示了根据本专利技术的第一消隐方法，其中通过第一技术对显示图像进行差错消隐，并且通过结合(例如链接(chaining))第一技术与第二消隐技术来对参考图像进行差错消隐。图2的消隐方法从执行初始化步骤(步骤100)开始，在该初始化步骤期间参数通过各种过程被初始化。接着，进行步骤102，在步骤102期间输入宏块被检查以检测差错是否以缺失或损坏像素值的形式存在。当找到包含差错的宏块时，在步骤104期间利用第一消隐技术进行差错消隐，以产生用于显示的消隐后图像106。在步骤108期间，然后确定在步骤104期间被消隐的宏块是否表示将充当参考图像的图像的一部分。如果是的话，则先前在步骤104期间被消隐的图像106在步骤109期间经由第二消隐技术进行进一步消隐，以产生为后续参考而被存储的消隐后图像。如果在步骤108期间执行的判定发现由输入宏块部分地表示的图像将不充当参考图像，则处理在步骤112期间结束。 图2中图示的消隐过程利用在步骤104期间进行消隐后得到的图像106作为在步骤109期间进行的消隐的输入。这样，步骤109期间执行的消隐被“链接到”步骤104期间执行的消隐。图2的方法提供了一种对消隐后图像106的实时显示的简单且快速的解决方案，所述消隐后图像106随后被进一步消隐以产生对所存储的参考图像的更好预测。 在步骤104和109期间执行的消隐技术的选择将取决于想要实现时间还是空间差错消隐。例如，对于时间差错消隐，在步骤104期间执行的差错消隐将通过在减少了的数目的运动向量中搜索最佳匹配来填入缺失/损坏区域，而在步骤109期间执行的消隐扩大了搜索区域或被测试的位移(displacement)的数目。对于空间差错消隐可以实现相似的方法。在本文档来自技高网...

【技术保护点】
一种用于在解码时对编码图像中的差错进行消隐的方法，包括以下步骤：　　　　识别所述图像是否具有差错并且如果是的话，　　　　则利用用于显示的第一消隐技术对所述图像进行消隐；　　　　确定具有所述差错的图像是否将充当参考图像，并且如果是的话，　　　　则利用第二消隐技术对所述图像进行消隐。

【技术特征摘要】
【国外来华专利技术】1.一种用于在解码时对编码图像中的差错进行消隐的方法，包括以下步骤识别所述图像是否具有差错并且如果是的话，则利用用于显示的第一消隐技术对所述图像进行消隐；确定具有所述差错的图像是否将充当参考图像，并且如果是的话，则利用第二消隐技术对所述图像进行消隐。2.根据权利要求1所述的方法，其中，所述利用第二消隐技术对图像进行消隐的步骤增强了所述第一消隐技术所实现的消隐。3.根据权利要求2所述的方法，其中，随着时间递归地执行所述第二消隐技术，以提高先前所解码的图像的质量。4.根据权利要求1所述的方法，其中，随着时间递归地执行所述第二消隐技术，以提高先前所解码的图像的质量。5.根据权利要求1所述的方法，其中，所述第一和第二消隐技术被并行执行。6.根据权利要求1所述的方法，其中所述第一和第二消隐技术各自实现了时间消隐。7.根据权利要求1所述的方法，其中所述第一和第二消隐技术各自实现了空间消隐。8.根据权利要求6所述的方法，其中，所述利用第一消隐技术对图像进行消隐的步骤还包括在图像解码期间得到的一组减少了的运动向量中搜索最佳匹配的步骤。9.根据权利要求8所述的方法，其中，所述利用第二消隐技术对图像进行消隐的步骤还包括扩大搜索区域以在一组增加了的运动向量中进行搜索的步骤。10.根据权利要求7所述的方法，其中，所述利用第一消隐技术对图像进行消隐的步骤还包括只对在图像解码期间得到的一组使用最多的帧内预测模式进行测试的步骤。11.根据权利要求11所述的方法，其中，所述利用第二消隐技术对图像进行消隐的步骤还包括对所有未经测试的帧内预测模式进行匹配的步骤。12.一种对正被解码的编码图像中的差错进行消隐的方法，包括以下步骤识别所述图像是否...

【专利技术属性】
技术研发人员：克里斯蒂娜古米拉，吉尔麦克唐纳伯恩斯，
申请(专利权)人：汤姆逊许可证公司，
类型：发明
国别省市：FR[法国]