用于环内去伪影滤波的方法和设备技术

提供了一种用于环内去伪影滤波的方法和设备。设备包括用于对图像区域进行编码的编码器(300)。编码器(300)具有至少两个滤波器(365、344)用于相继执行环内滤波以分别减少至少第一种和第二种量化伪影。

【技术实现步骤摘要】
用于环内去伪影滤波的方法和设备本申请是申请日为2007年10月25日、申请号为200780041729.1、并且专利技术名称为“用于环内去伪影滤波的方法和设备”的专利技术专利申请的分案申请。相关申请的交叉引用本申请要求2006年11月8日递交的美国临时申请序列号No.60/864,917的权益，通过引用将其全部结合于此。
本专利技术一般涉及视频编码和解码，并且具体地涉及用于环内(in-loop)去伪影(de-artifact)滤波的方法和设备。
技术介绍
所有的视频压缩伪影(artifact)都由量化引起，量化是混合视频编码架构中仅有的有损编码部分。然而，这些伪影可能以各种形式存在，例如，块状伪影(blockyartifact)、环状伪影(ringingartifact)、边缘失真(edgedistortion)和/或纹理恶化(texturecorruption)。一般，经过解码的序列可能由所有各种视觉伪影组成，但有不同的区别。在不同类型的视觉伪影中，块状伪影是基于块的视频编码所共有的。这些伪影可能既源自剩余编码(residuecoding)中基于块的变换阶段又源自运动补偿阶段。过去已经研究了自适应去块滤波器，并且已经提出了并在各种标准中采用了一些公知的去块滤波方法(例如，在国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)Part10高级视频编码(AVC)标准/国际电信联盟远程通信标准化组(ITU-T)H.264推荐(以下称为“MPEG-4AVC标准”)中所采用的去块滤波方法)。当设计很好时，去块滤波器可以改善客观和主观视频质量两者。在诸如与MPEG-4AVC标准相对应的现有视频编码器和/或解码器的情况中，自适应环内去块滤波器被设计用来减少块状伪影，其中，滤波的强度由一些语法元素的值来控制。基本思想是：如果在块边缘附近的样本之间相对大的绝对差被测量到，则该差很可能是成块伪影因此应当被减小。然而，如果该差的幅值如此之大以致它不能通过编码中所使用的量化的粗糙度(coarseness)来解释，则该边缘更可能反映源图像的实际行为并且不应当被平滑。以这种方式，减少了了内容的块状化，同时内容的清晰度基本不变。去块滤波器在几个级别上是自适应的。在条带级别上，可以根据视频序列的个体特征来调整整体滤波强度。在块-边缘级别上，可以根据帧间/帧内预测判决、运动差和在两个相邻块中是否存在编码后的残差来决定滤波强度。在宏块边界上，特殊的强滤波被用来除去“拼接伪影”(tilingartifact)。在采样级别上，采样值和依赖量化器的阈值可以针对各个单独的采样关闭滤波。根据MPEG-4AVC标准的去块滤波被很好的设计用于减少块状伪影，但是，它并不试图对由量化噪声引起的其它伪影进行校正。例如，根据MPEG-4AVC标准的去块滤波不理会边缘和纹理。因此，它不能改善失真的边缘或纹理。性能的这一缺失的一个原因是MPEG-4AVC标准去块滤波器应用平滑图像模型并且所设计的滤波器通常包括一系列低通滤波器。然而，图像包括很多奇异点(singularity)、纹理等，并且因此它们没有被MPEG-4AVC标准去块滤波器正确地处理。为了克服MPEG-4AVC标准去块滤波器的局限性，最近已经提出了一种涉及去噪型非线性环内滤波器方法。在这个提出的方法中，非线性去噪滤波器适应不固定图像统计，不固定图像统计开发了使用线性变换过完备集和硬阈值分割(hard-thresholding)的稀疏(sparse)图像模型。非线性去噪滤波器根据该滤波器正在对其进行操作的区域而自动变成或高通、或低通、或带通等。非线性去噪滤波器可以处理所有类型的量化噪声。该特定的去噪方法通常包括三个步骤：变换；变换系数阈值分割；和反变换。然后，在每个像素处使用加权平均，对通过使用(通常通过用同一变换的移位版本来应用去噪而产生的)变换的过完备集进行去噪而提供的几个经过去噪的估计进行合并。基于稀疏性的去噪工具可以减少包含了由奇异点分隔的局部均匀区域(平滑、高频、纹理等)的视频帧的量化噪声。然而，去噪工具被设计用于附加的、独立同分布(independentandidenticallydistributed，i.i.d)的噪声去除，但是，量化噪声具有明显不同的特性，就恰当的失真减少和视觉去伪影而言，这可能提出了重要的问题。这意味着这些技术会因为真实的边缘或者假的块状边缘而混乱。一种可能的解决方案是空间频率阈值自适应(spatio-frequentialthresholdadaptation)，空间频率阈值自适应可以校正判决，但是它的实现很不容易。不充分的阈值选择的可能结果是：稀疏去噪可能引起被过度平滑的重建图像，或者尽管进行了滤波过程，(一个或多个)块状伪影可能仍然存在。特别是，对于平滑的图像区域，如果同一变换被用于压缩和去噪，则信号和被添加到该信号的块状伪影将可能在滤波阶段具有稀疏表示。所以，阈值分割操作将很可能仍然保持伪影。现在，已经看到，基于稀疏性的去噪技术，即使它们就客观测量而言(例如，均方根误差(MSE))比其他技术表现出更高的失真减少，它们还是存在需要解决的重要的视觉伪影。已经看到，单个去噪滤波器的使用在去除编码伪影中不是非常有效或者是无效的。原因是，通用去噪滤波器通常是基于与它所应用于的实际场景并不严格匹配的那样的失真模型的。该模型不考虑块状伪影的局部结构。另一方面，专用去伪影滤波器被设计用于减轻某种类型的伪影。因此，专用去噪滤波器不足以校正其余量化噪声。例如，MPEG-4AVC标准中使用的环内去块滤波器是专用滤波器，它不被设计用于去除远离边界的像素处的、纹理内的噪声/伪影或者用于校正失真的边缘。参见图1，由标号100一般地指示能够根据MPEG-4AVC标准执行视频编码的视频编码器。视频编码器100包括帧排序缓冲器110，帧排序缓冲器110的输出在信号通信中与组合器185的正相输入连接。组合器185的输出在信号通信中与变换器和量化器125的第一输出连接。变换器和量化器125的输出在信号通信中与熵编码器145的第一输入和反变换器和反量化器150的第一输入连接。熵编码器145的输出在信号通信中与组合器190的第一正相输入连接。组合器190在信号通信中与输出缓冲器135的第一输入连接。编码器控制器105的第一输出在信号通信中与以下输入连接：帧排序缓冲器110的第二输入、反变换器和反量化器150的第二输入、图像型判决模块115的输入、宏块型(MB型)判决模块120的输入、帧内预测模块160的第二输入、去块滤波器165的第二输入、运动补偿器170的第一输入、运动估计器175的第一输入和参考图像缓冲器180的第二输入。编码器控制器105的第二输出在信号通信中与以下输入连接：补充增强信息(SupplementalEnhancementInformation，SEI)插入器130的第一输入、变换器和量化器125的第二输入、熵编码器145的第二输入、输出缓冲器135的第二输入和序列参数集(SequenceParameterSet，SPS)和图像参数集(PictureParameterSet，PPS)插入器140的输入。图像型判决模块115的第一输出在信号通信中与本文档来自技高网...

【技术保护点】
一种方法，包括：对图像区域进行解码，其中，该解码包括相继使用至少两个滤波器执行环内滤波，所述至少两个滤波器包括用于执行第一通道的去块滤波器、以及用于执行第二通道的稀疏去噪滤波器，其中，所述稀疏去噪滤波器在给定级别被选择性地使能或禁用，所述给定级别至少是宏块级或条带级。

【技术特征摘要】
2006.11.08 US 60/864,9171.一种方法，包括：对图像区域进行解码，其中，该解码包括获取标志以及相继使用至少两个滤波器执行环内滤波以降低至少第一和第二类型的编码伪影，所述标志指示在给定级别使能还是禁用稀疏去噪滤波器，所述给定级别至少是宏块级、条带级、图像级、或序列级，所述至少两个滤波器包括用于执行第一通道的去块滤波器、以及用于执行第二通道的自适应稀疏去噪滤波器，其中，响应于所述标志，所述自适应稀疏去噪滤波器被选择性地使能或禁用。2.如权利要求1所述的方法，其中，所述至少两个滤波器中的至少一个滤波器被用来实施至少一个压缩约束。3.如权利要求1所述的方法，其中，所述至少两个滤波器中的至少一个滤波器至少基于与所述图像区域相对应的数据特征、或者与所述图像区域相对应的数据统计信息被自适应地使能或禁用。4.如权利要求1所述的方法，其中，所显示的所述图像区域的版本与在至少两个环内滤波器之后与所述图像区域相对应的输出信号和在至少两个环内滤波器之前与所述图像区域相对应的初始输入信号中的至少一个不同。5.一种装置，包括：解码器，被配置为对图像区域进行解码以及获取标志，所述标志指示在给定级别使能还是禁用稀疏去噪滤波器，所述给定级别至少是宏块级、条带级、图像级、或序列级，所述解码器包括用于相继执行环内滤波以降低至少第一和第二类型的编码伪影的至少两个滤波器，所述至少两个滤波器包括用于执行第一通道的去块滤波器、以及用于执行第二通道的自适应稀疏去噪滤波器，其中，响应于所述标志，所述自适应稀疏去噪滤波器被选择性地使能或禁用。6.如权利要求5所述的装置，其中，所述至少两个滤波器中的至少一个滤波器被用来实施至少一个压缩约束。7.如权利要求5所述的装置，其中，所述至少两个滤波器中的至少一个滤波器至少基于与所述图像区域相对应的数据特征、或者与所述图像区域相对应的数据统计信息被自适应地使能或禁用。8.如权利要求5所述的装置，其中，所显示的所述图像区域的版本与在至少两个环内滤波器之后与所述图像区域相对应的输出信号和在至少两个环内滤波器之前与所述图像区域相对应的初始输入信号中的至少一个不同。9.一种方法，包括：对图像区域进行编码，其中，该编码包括设置标志以及相继使用至少两个滤波器执行环内滤波以降低至少第一和第二类型的编码伪影，所述标志指示在给定级别使能还是禁用稀疏去噪滤波器，所述给定级别至少是宏块级、条带级、图像级、或序列级，所述至少两个滤波器包括用于执行第一通道的去块滤波器、以及用于执行第二通道的自适应稀疏去噪滤波器，其中，响应于所述标志，所述自适应稀疏去噪滤波器被选择性地使能或禁用。10.如权利要求9所述的方法，其中，所述至少两个滤波器中的至少一个滤波器被用来实施至少一个压缩约束。11.如权利要求9所述的方法，其中，所述至少两个滤波器中的至少一个滤波器至少基于与所述图像区域相对应的数据特征、或者与所述图像区域相对应的数据统计信息被自适应地使能或禁用。12.如权利要求9所述的方法，其中，所显示的所述图像区域的版本与在至少两个环内滤波器之后与所述图像区域相对应的输出信号和在至少两个环内滤波器之前与所述图像区域相对应的初始输入信号中的至少一个不同。13.一种装置，包括：编码器，被配置为对图像区域进行编码以及设置标志，所述标志指示在给定级别使能还是禁用稀疏去噪滤波器，所述给定级别至少是宏块级、条带级、图像级、或序列级，所述编码器包括用于相继执行环内滤波以降低至少第一和第二类型的编码伪影的至少两个滤波器，所述至少两个滤波器包括用于执行第一通道的去块滤波器、以及用于执行第二通道的自适应稀疏去噪滤波器，其中，响应于所述标志，所述自适应稀疏去噪滤波器被选择性地使能或禁用。14.如权利要求13所述的装置，其中，所述至少两个滤波器中的至少一个滤波器被用来实施至少一个压缩约束。15.如权利要求13所述的装置，其中，所述至少两个滤波器中的至少一个滤波器至少基于与所述图像区域相对应的数据特征、或者与所述图像区域相对应的数据统计信息被自适应地使能或禁用。16.如权利要求13所述的装置，其中，所显示的所述图像区域的版本与在至少两个环内滤波器之后与所述图像区域相对应的输出信号和在至少两个环内滤波器之前与所述图像区域相对应的初始输入信号中的至少一个不同。17.一种用于发送信号的方法，该方法包括：发送包括标志以及图像区域的信号，所述标志指示在给定级别使能还是禁用稀疏去噪滤波器，所述给定级别至少是宏块级、条带级、图像级、或序列级，该图像区域被相继利用至少两个滤波器使用环内滤波进行编码以降低至少第一和第二类型的编码伪影，所述至少两个滤波器包括用于执行第一通道的去块滤波器、以及用于执行第二通道的自适应稀疏去噪滤波器，其中，响应于所述标志，所述自适应稀疏去噪滤波器被选择性地使能或禁用。18.如权利要求17所述的方法，其中，所述至少两个滤波器中的至少一个滤波器被用来实施至少一个压缩约束。19.如权利要求17所述的方法...

【专利技术属性】
技术研发人员：高梦平，尹鹏，奥斯卡·帝文瑞艾斯柯达，
申请(专利权)人：汤姆逊许可证公司，
类型：发明
国别省市：法国;FR