像素层级自适应帧内平滑化制造技术

本发明专利技术描述用于对视频数据进行帧内译码的帧内平滑化技术。在一个实例中，视频编码器经配置以执行以下操作：确定用于视频帧中的待译码块的帧内预测译码的多个预测样本；对于所述预测样本中的第一预测样本计算局部统计数据；基于所述局部统计数据从多个滤波器中选择滤波器；以及将所述选定滤波器应用于所述第一预测样本。视频编码器还可经配置以进行以下操作：对于所述预测样本中的每一预测样本计算至少一个局部统计数据；基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及将每一选定滤波器应用于对应预测样本以产生预测样本的经滤波版本。实施例进一步包含对经编码视频信号进行解码的视频解码器和方法。

【技术实现步骤摘要】
【国外来华专利技术】像素层级自适应帧内平滑化主张优先权本申请案涉及且主张2011年1月28日申请的第61/437,482号临时申请案的优先权，所述申请案经转让给本受让人且在此以引用的方式明确并入本文中。本申请案还涉及且主张2011年7月13日申请的第61/507,459号临时申请案的优先权，所述申请案经转让给本受让人且在此以引用的方式明确并入本文中。
本专利技术涉及视频译码领域，例如视频数据的编码。
技术介绍
数字视频能力可并入到各种各样的装置中，包含数字电视、数字直播系统、例如无线电电话手机的无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台和类似物。数字视频装置实施例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分高级视频译码(AVC)的视频压缩技术以更有效地发射和接收数字视频。视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，可将视频帧或切片分割为多个块。可对每一块进行进一步分割。使用相对于邻近块的空间预测来对经帧内译码(I)的帧或切片中的块进行编码。经帧间译码(P或B)的帧或切片中的块可使用相对于同一帧或切片中的邻近块的空间预测或相对于其它参考帧的时间预测。
技术实现思路
大体来说，本专利技术描述用于支持对视频数据进行帧内译码的帧内平滑化技术。确切地说，在一些实例中，本专利技术的技术涉及使用自适应帧内平滑化(AIS)来对视频内容进行译码和解码，其中逐个像素地进行滤波决策。在一些实例中，本专利技术还包含用于确定针对每一预测样本使用多个可能的平滑化滤波器中的哪一者的技术。在一些实例中，本专利技术还包含用于确定针对经译码块的每一像素使用经滤波还是未经滤波预测样本的技术。在一个方面中，处理视频数据的方法包含：确定用于视频帧中的待译码块的帧内预测译码的多个预测样本；以及计算所述预测样本中的第一预测样本的局部统计数据。所述方法还包括：基于所述局部统计数据从多个不同滤波器中选择滤波器；以及将所述选定滤波器应用于所述第一预测样本。在另一方面中，一种用于对数据进行编码的装置包括视频编码器，所述视频编码器经配置以进行以下操作：确定用于视频帧中的待译码块的帧内预测译码的多个预测样本；针对所述预测样本中的第一预测样本计算局部统计数据；基于所述局部统计数据从多个不同滤波器中选择滤波器；以及将所述选定滤波器应用于所述第一预测样本。在另一方面中，一种计算机可读媒体包括计算机可读存储媒体，所述计算机可读存储媒体上存储有指令，所述指令在被执行时致使视频译码装置的处理器进行以下操作：确定用于视频帧中的待译码块的帧内预测译码的多个预测样本；以及计算所述预测样本中的第一预测样本的局部统计数据。所述指令进一步致使所述视频译码装置的所述处理器进行以下操作：基于所述局部统计数据从多个不同滤波器中选择滤波器；以及将所述选定滤波器应用于所述第一预测样本。在另一方面中，提供一种装置，所述装置包括：用于确定用于视频帧中的待译码块的帧内预测译码的多个预测样本的装置；以及用于计算所述预测样本中的第一预测样本的局部统计数据的装置。所述装置进一步包括：用于基于所述局部统计数据从多个不同滤波器中选择滤波器的装置；以及用于将所述选定滤波器应用于所述第一预测样本的装置。在又一方面中，一种对视频数据进行编码的方法包括计算待译码块中的像素的局部统计数据，其中所述块形成视频帧的至少一部分。所述方法进一步包括接收与所述块相关联的预测样本。所述方法还包括基于所述局部统计数据在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择。所述方法进一步包括应用所述预测样本的所述选定版本来对所述像素进行帧内预测译码。在另一方面中，一种用于对数据进行解码的装置包括视频解码器，所述视频解码器经配置以进行以下操作：计算待译码块中的像素的局部统计数据，其中所述块形成视频帧的至少一部分；接收与所述块相关联的预测样本；基于所述局部统计数据在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择；以及应用所述预测样本的所述选定版本来对所述像素进行帧内预测译码。在另一方面中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体上存储有指令，所述指令在被执行时致使视频解码装置的处理器进行以下操作：计算待译码块中的像素的局部统计数据，其中所述块形成视频帧的至少一部分；以及接收与所述块相关联的预测样本。所述指令进一步致使所述视频解码装置进行以下操作：基于所述局部统计数据在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择；以及应用所述预测样本的所述选定版本来对所述像素进行帧内预测译码。在另一方面中，一种装置包括：用于计算待译码块中的像素的局部统计数据的装置，其中所述块形成视频帧的至少一部分；以及用于用于接收与所述块相关联的预测样本的装置。所述装置进一步包括用于基于所述局部统计数据在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择的装置。所述装置还包括用于应用所述预测样本的所述选定版本来对所述像素进行帧内预测译码的装置。在又一方面中，一种处理视频数据的方法包括：接收指示视频帧的至少一部分的像素的经译码块；以及确定与所述经译码块相关联的预测样本。所述方法进一步包括：计算所述视频帧的与所述经译码块相关联的所述部分中的像素的局部统计数据；以及基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择。所述方法进一步包括应用所述预测样本的所述选定版本来对所述像素进行解码。在另一方面中，一种用于对数据进行解码的装置包括视频解码器，所述视频解码器经配置以进行以下操作：接收指示视频帧的至少一部分的像素的经译码块；确定与所述经译码块相关联的预测样本；计算所述视频帧的与所述经译码块相关联的所述部分中的像素的局部统计数据；基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择；以及应用所述预测样本的所述选定版本来对所述像素进行解码。在另一方面中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体上存储有指令，所述指令在被执行时致使视频解码装置的处理器进行以下操作：接收指示视频帧的至少一部分的像素的经译码块；确定与所述经译码块相关联的预测样本；计算所述视频帧的与所述经译码块相关联的所述部分中的像素的局部统计数据；基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择；以及应用所述预测样本的所述选定版本来对所述像素进行解码。在另一方面中，一种装置包括：用于接收指示视频帧的至少一部分的像素的经译码块的装置；用于确定与所述经译码块相关联的预测样本的装置；用于计算与所述视频帧的所述经译码块相关联的所述部分中的像素的局部统计数据的装置；用于基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择的装置；以及用于应用所述预测样本的所述选定版本来对所述像素进行解码的装置。本专利技术中所描述的技术可以用硬件、软件、固件或其任一组合来实施。如果用软件实施，则软件可在处理器中执行，所述处理器可指一个或一个以上处理器，例如微处理器、专用集成电路(ASI本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.01.28 US 61/437,482;2011.07.13 US 61/507,459;1.一种处理视频数据的方法，所述方法包括：计算待译码的视频数据的块中的多个像素中的每个像素的局部统计数据，其中所述块形成视频帧的至少一部分，且其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于待译码的所述块内，并且与所述局部统计数据被计算的像素相邻；接收与所述块相关联的预测样本；针对所述多个像素中的每个相应像素，基于所述局部统计数据在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择；针对所述多个像素中的每个相应像素，应用所述预测样本的相应选定版本来对相应像素进行帧内预测；以及使用经帧内预测的像素对待译码的视频数据的所述块进行译码。2.根据权利要求1所述的方法，其进一步包括：对于所述预测样本中的每一预测样本计算至少一个局部统计数据；对于所述预测样本中的每一预测样本，基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本。3.根据权利要求1所述的方法，其中计算所述局部统计数据包括至少部分地基于与所述其他像素中的一个或多个相关联的一个或多个强度值或与所述其他像素中的一个或多个相关联的一个或多个位置来计算所述局部统计数据。4.根据权利要求1所述的方法，其中计算待译码的所述块中的所述多个像素中的每个相应像素的所述局部统计数据进一步包括基于所述相应像素的至少一个局部因果相邻像素计算每个相应像素的局部统计数据。5.根据权利要求4所述的方法，其中所述相应像素的所述至少一个局部因果相邻像素包括邻近于所述相应像素的四个像素。6.根据权利要求1所述的方法，其进一步包括：确定所述局部统计数据的阈值，且其中在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择进一步包括：当所述局部统计数据的值低于所述阈值时，选择所述预测样本的所述未经滤波版本；以及当所述局部统计数据的所述值等于或大于所述阈值时，选择所述预测样本的所述经滤波版本。7.根据权利要求1所述的方法，其中在所述预测样本中的所述预测样本的所述相应经滤波版本与所述预测样本的所述相应未经滤波版本之间进行选择包括基于待译码的所述块内的所述相应像素的所述局部统计数据选择所述预测样本的所述未经滤波版本与所述预测样本的所述经滤波版本中的一者。8.根据权利要求1所述的方法，其进一步包括：对于所述预测样本中的每一预测样本计算至少一个局部统计数据；对于所述预测样本中的每一预测样本，基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本，其中每一预测样本的所述至少一个局部统计数据包括与所述对应预测样本相关联的局部梯度、方差、强度值或位置中的至少一者。9.一种用于对数据进行编码的装置，其包括视频编码器，所述视频编码器经配置以进行以下操作：计算待译码的视频数据的块中的多个像素中的每个像素的局部统计数据，其中所述块形成视频帧的至少一部分，其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于待译码的所述块内，并且与所述局部统计数据被计算的像素相邻；接收与所述块相关联的预测样本；且针对所述多个像素中的每个相应像素，基于所述局部统计数据在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择；针对所述多个像素中的每个相应像素，应用所述预测样本的相应选定版本来对相应像素进行帧内预测；以及使用经帧内预测的像素对待译码的视频数据的所述块进行译码。10.根据权利要求9所述的装置，其中所述视频编码器进一步经配置以进行以下操作：对于所述预测样本中的每一预测样本计算至少一个局部统计数据；基于所述预测样本中的每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本。11.根据权利要求10所述的装置，其中计算所述局部统计数据包括至少部分地基于与所述其他像素中的一个或多个相关联的一个或多个强度值或与所述其他像素中的一个或多个相关联的一个或多个位置来计算所述局部统计数据。12.根据权利要求9所述的装置，其中计算待译码的所述块中的所述多个像素中的每个相应像素的所述局部统计数据进一步包括基于所述相应像素的至少一个局部因果相邻像素计算每个相应像素的局部统计数据。13.根据权利要求12所述的装置，其中所述相应像素的所述至少一个局部因果相邻像素包括邻近于所述相应像素的四个像素。14.根据权利要求9所述的装置，其中所述视频编码器进一步经配置以确定所述局部统计数据的阈值，且其中在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择进一步包括当所述局部统计数据的值低于所述阈值时选择所述预测样本的所述未经滤波版本，且当所述局部统计数据的所述值等于或大于所述阈值时选择所述预测样本的所述经滤波版本。15.根据权利要求9所述的装置，其中所述视频编码器进一步经配置以至少通过基于待译码的所述块内的所述相应像素的所述局部统计数据选择所述预测样本的所述未经滤波版本与所述预测样本的所述经滤波版本中的一者而在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择。16.根据权利要求9所述的装置，其中所述视频编码器进一步经配置以进行以下操作：对于所述预测样本中的每一预测样本计算至少一个局部统计数据；对于所述预测样本中的每一预测样本，基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本，其中每一预测样本的所述至少一个局部统计数据包括与所述对应预测样本相关联的局部梯度、方差、强度值或位置中的至少一者。17.一种用于处理视频数据的装置，其包括：用于计算待译码的视频数据的块中的多个像素中的每个像素的局部统计数据的装置，其中所述块形成视频帧的至少一部分，且其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于待译码的所述块内，并且与所述局部统计数据被计算的像素相邻；用于接收与所述块相关联的预测样本的装置；用于针对所述多个像素中的每个相应像素，基于所述局部统计数据在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择的装置；用于针对所述多个像素中的每个相应像素，应用所述预测样本的相应选定版本来对相应像素进行帧内预测的装置；以及用于使用经帧内预测的像素对待译码的视频数据的所述块进行译码的装置。18.根据权利要求17所述的装置，其进一步包括：用于对于所述预测样本中的每一预测样本计算至少一个局部统计数据的装置；对于所述预测样本中的每一预测样本，用于基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器的装置；以及用于将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本的装置。19.根据权利要求17所述的装置，其中用于计算所述局部统计数据的装置包括用于至少部分地基于与所述其他像素中的一个或多个相关联的一个或多个强度值或与所述其他像素中的一个或多个相关联的一个或多个位置来计算所述局部统计数据的装置。20.根据权利要求17所述的装置，其中计算待译码的所述块中的所述多个像素中的每个相应像素的所述局部统计数据进一步包括基于所述相应像素的至少一个局部因果相邻像素计算每个相应像素的局部统计数据。21.根据权利要求17所述的装置，其进一步包括：用于确定所述局部统计数据的阈值的装置，且其中用于在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择的装置进一步包括：用于当所述局部统计数据的值低于所述阈值时选择所述预测样本的所述未经滤波版本的装置；以及用于当所述局部统计数据的所述值等于或大于所述阈值时选择所述预测样本的所述经滤波版本的装置。22.根据权利要求17所述的装置，其中所述装置进一步包括：用于在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择的装置包括基于待译码的所述块内的所述相应像素的所述局部统计数据选择所述预测样本的所述未经滤波版本与所述预测样本的所述经滤波版本中的一者。23.根据权利要求17所述的装置，其进一步包括：用于对于所述预测样本中的每一预测样本计算至少一个局部统计数据的装置；用于对于所述预测样本中的每一预测样本基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器的装置；以及用于将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本的装置，其中每一预测样本的所述至少一个局部统计数据包括与所述对应预测样本相关联的局部梯度、方差、强度值或位置中的至少一者。24.一种处理视频数据的方法，所述方法包括：接收指示视频帧的至少一部分的像素的经译码块；确定与所述经译码块相关联的预测样本；计算所述视频帧的与所述经译码块相关联的所述部分中的多个像素中的每个像素的局部统计数据，其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于所述...

【专利技术属性】
技术研发人员：郑云非，穆罕默德·蔡德·科班，马尔塔·卡切维奇，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：