用于预测残差的增强型多重变换制造技术

本发明专利技术描述用以确定在视频编码及视频解码期间使用的变换的实例技术。视频编码器及视频解码器可选择各自识别一或多个候选变换的变换子集。所述视频编码器及所述视频解码器可从所述经选择的变换子集确定变换。

Enhanced multiple transforms for prediction of residuals

The present invention describes an instance technique for determining transformations used during video encoding and video decoding. A video encoder and a video decoder may select respective transformed subsets of one or more candidate transforms. The video encoder and the video decoder can determine the transform from the selected transform subset.

【技术实现步骤摘要】
【国外来华专利技术】本申请案请求于2015年1月26日申请的美国临时申请案第62/107,996号及2015年3月23日申请的美国临时申请案第62/137,038号的权利，所述申请案的全部内容以引用的方式并入本文中。
本专利技术涉及视频编码及解码。
技术介绍
数字视频能力可并入至广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式发射装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分先进视频译码(AVC)、ITU-TH.265、高效率视频译码(HEVC)所定义的标准及这些标准的扩展中所描述的所述视频压缩技术。视频装置可通过实施这类视频压缩技术而更高效地发射、接收、编码、解码及/或存储数字视频信息。视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频图块(即，视频帧或视频帧的一部分)分割成视频块。图片的经帧内译码(I)图块中的视频块使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)图块中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。空间或时间预测产生待译码的块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测性块的参考样本的块的运动向量来编码，且残差数据指示经译码块与预测性块之间的差。根据帧内译码模式及残差数据来编码经帧内译码块。为进行进一步压缩，可将残差数据从像素域变换至变换域，从而产生可接着进行量化的残差变换系数。
技术实现思路
本专利技术描述用于确定用以从变换块产生系数块而作为视频编码的一部分的变换及用以从系数块产生变换块作为视频解码的一部分的变换的技术。在一些实例中，视频编码器可确定多个变换子集。同样地，视频解码器可确定多个变换子集。视频编码器及视频解码器可使用不一定要求额外信令的隐式技术选择多个变换子集的变换子集并从所选择的变换子集确定变换。以这种方式，视频编码器及视频解码器可从具有需要信令的最小增长量的信息的相对大的变换集合进行选择。在一个实例中，本专利技术描述解码视频数据的方法，所述方法包括：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集；针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集；从所述经选择的第一变换子集确定左变换；从所述经选择的第二变换子集确定右变换；基于左变换、右变换及当前系数块确定当前变换块；及基于当前变换块及预测性块重建视频块。在一个实例中，本专利技术描述编码视频数据的方法，所述方法包括：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集；针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集；从所述经选择的第一变换子集确定左变换；从所述经选择的第二变换子集确定右变换；基于左变换、右变换及当前变换块确定当前系数块；及产生包含信息的视频位流，所述信息指示用于重建视频块的当前系数块的系数。在一个实例中，本专利技术描述用于视频解码视频数据的装置，所述装置包括：视频数据存储器，其经配置以存储视频数据及变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；及包括集成电路的视频解码器，所述视频解码器经配置以从经存储的变换子集确定多个变换子集，针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集，针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集，从经选择的第一变换子集确定左变换，从经选择的第二变换子集确定右变换，基于左变换、右变换及当前系数块确定当前变换块，且基于当前变换块及预测性块重建视频块。在一个实例中，本专利技术描述用于编码视频数据的装置，所述装置包括：视频数据存储器，其经配置以存储视频数据及变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；及视频编码器，其经配置以从经存储的变换子集确定多个变换子集，针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集，针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集，从经选择的第一变换子集确定左变换，从经选择的第二变换子集确定右变换，基于左变换、右变换及当前变换块确定当前系数，且产生包含信息的视频位流，所述信息指示用于重建视频块的当前系数块的系数。在一个实例中，本专利技术描述用于解码视频数据的装置，所述装置包括：用于确定多个变换子集的装置，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；用于针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集的装置；用于针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集的装置；用于从经选择的第一变换子集确定左变换的装置；用于从经选择的第二变换子集确定右变换的装置；用于基于左变换、右变换及当前系数块确定当前变换块的装置；及用于基于当前变换块及预测性块重建视频块的装置。在一个实例中，本专利技术描述存储指令的非暂时性计算机可读存储媒体，所述指令在执行时使得用于视频解码的装置的视频解码器进行以下操作：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对视频数据的当前系数块的左变换从多个变换子集选择第一变换子集；针对视频数据的当前系数块的右变换从多个变换子集选择第二变换子集；从经选择的第一变换子集确定左变换；从经选择的第二变换子集确定右变换；基于左变换、右变换及当前系数块确定当前变换块；及基于当前变换块及预测性块重建视频块。在一个实例中，本专利技术描述用于编码视频数据的装置，所述装置包括：用于确定多个变换子集的装置，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；用于针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集的装置；用于针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集的装置；用于从经选择的第一变换子集确定左变换的装置；用于从经选择的第二变换子集确定右变换的装置；用于基于左变换、右变换及当前变换块确定当前系数块的装置；及用于产生包含信息的视频位流的装置，所述信息指示用于重建视频块的当前系数块的系数。在一个实例中，本专利技术描述存储指令的非暂时性计算机可读存储媒体，所述指令在执行使得用于视频编码的装置的视频编码器进行以下操作：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对视频数据的视频块的当前变换块的左变换从多个变换子集选择第一变换子集；针对视频数据的视频块的变换块的右变换从多个变换子集选择第二变换子集；从经选择的第一变换子集确定左变换；本文档来自技高网...

【技术保护点】
一种解码视频数据的方法，所述方法包括：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对所述视频数据的当前系数块的左变换从所述多个变换子集选择第一变换子集；针对所述视频数据的所述当前系数块的右变换从所述多个变换子集选择第二变换子集；从所述经选择的第一变换子集确定所述左变换；从所述经选择的第二变换子集确定所述右变换；基于所述左变换、右变换及所述当前系数块确定当前变换块；及基于所述当前变换块及预测性块重建视频块。

【技术特征摘要】
【国外来华专利技术】2015.01.26 US 62/107,996;2015.03.23 US 62/137,038;1.一种解码视频数据的方法，所述方法包括：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对所述视频数据的当前系数块的左变换从所述多个变换子集选择第一变换子集；针对所述视频数据的所述当前系数块的右变换从所述多个变换子集选择第二变换子集；从所述经选择的第一变换子集确定所述左变换；从所述经选择的第二变换子集确定所述右变换；基于所述左变换、右变换及所述当前系数块确定当前变换块；及基于所述当前变换块及预测性块重建视频块。2.根据权利要求1所述的方法，其进一步包括：基于所述视频块的预测模式为帧内预测而确定所述视频块的帧内预测模式，其中选择所述第一变换子集包括基于所述经确定的帧内预测模式选择所述第一变换子集，其中选择所述第二变换子集包括基于所述经确定的帧内预测模式选择所述第二变换子集，且其中重建所述视频块包括基于所述经确定的帧内预测模式重建所述视频块。3.根据权利要求1所述的方法，其进一步包括：基于所述视频块的预测模式为帧间预测而确定所述视频块中的所述当前变换块的位置，其中选择所述第一变换子集包括基于所述经确定的所述当前变换块的位置而选择所述第一变换子集，且其中选择所述第二变换子集包括基于所述经确定的所述当前变换块的位置而选择所述第二变换子集。4.根据权利要求1所述的方法，其进一步包括：接收对所述第一变换子集的第一变换子集索引；及接收对所述第二变换子集的第二变换子集索引，其中确定所述左变换包括基于通过所述第一变换子集索引识别的所述第一变换子集中的变换而确定所述左变换，且其中确定所述右变换包括基于通过所述第二变换子集索引识别的所述第二变换子集中的变换而确定所述右变换。5.根据权利要求1所述的方法，其进一步包括：确定所述当前系数块中的非零系数的数目小于阈值，其中确定所述左变换包括响应于确定所述当前系数块中的非零系数的所述数目小于所述阈值，在不接收对所述第一变换子集的变换子集索引的情况下，确定在所述第一变换子集中识别的第一变换为所述左变换，且其中确定所述右变换包括响应于确定所述当前系数块中的非零系数的所述数目小于所述阈值，在不接收对所述第二变换子集的变换子集索引的情况下，确定在所述第二变换子集中识别的第一变换为所述右变换。6.根据权利要求1所述的方法，其进一步包括：接收指示包含所述当前变换块的块的所有变换块并非是使用相同变换而变换的旗标，其中针对所述视频数据的所述当前系数块的所述左变换选择所述第一变换子集、针对所述视频数据的所述当前系数块的所述右变换选择所述第二变换子集、从所述经选择的第一变换子集确定所述左变换及从所述经选择的第二变换子集确定所述右变换包括：响应于接收到指示包含所述当前变换块的所述块的所有变换块并非是使用所述相同变换而变换的所述旗标，针对所述视频数据的所述当前系数块的所述左变换选择所述第一变换子集，针对所述视频数据的所述当前系数块的所述右变换选择所述第二变换子集，从所述经选择的第一变换子集确定所述左变换，及从所述经选择的第二变换子集确定所述右变换。7.根据权利要求6所述的方法，其中所述视频块包括以下中的一者：译码树型单元CTU、译码单元CU或预测单元PU。8.根据权利要求1所述的方法，其中所述第一变换子集或所述第二变换子集中的至少一者包含与离散余弦变换DCT-II变换及离散正弦变换DST-VII变换不同的变换。9.根据权利要求1所述的方法，其中所述第一变换子集及所述第二变换子集包含不同变换类型。10.根据权利要求1所述的方法，其中所述多个变换子集包括三个或三个以上变换子集。11.根据权利要求1所述的方法，其中所述候选变换为不同变换类型。12.根据权利要求1所述的方法，其中确定所述多个变换子集包括基于所述视频块的大小确定所述多个变换子集。13.根据权利要求1所述的方法，其进一步包括：从位流接收指示预测模式的信息；从所述位流接收指示所述当前系数块的系数的信息；基于所述经接收的指示所述系数的信息构建所述当前系数块；及基于所述预测模式确定所述预测性块。14.根据权利要求13所述的方法，其中所述预测模式包括帧间预测模式或帧间预测模式中的一者。15.根据权利要求1所述的方法，其中所述当前变换块为所述视频块及所述预测性块的残差。16.一种编码视频数据的方法，所述方法包括：确定多个变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；针对所述视频数据的视频块的当前变换块的左变换从所述多个变换子集选择第一变换子集；针对所述视频数据的所述视频块的所述变换块的右变换从所述多个变换子集选择第二变换子集；从所述经选择的第一变换子集确定所述左变换；从所述经选择的第二变换子集确定所述右变换；基于所述左变换、右变换及所述当前变换块确定当前系数块；及产生包含信息的视频位流，所述信息指示用于重建所述视频块的所述当前系数块的系数。17.根据权利要求16所述的方法，其进一步包括：确定所述视频块的帧内预测模式，其中选择所述第一变换子集包括基于所述经确定的帧内预测模式选择所述第一变换子集，且其中选择所述第二变换子集包括基于所述经确定的帧内预测模式选择所述第二变换子集。18.根据权利要求16所述的方法，其进一步包括：基于所述视频块是帧间预测编码而确定所述视频块中的所述当前变换块的位置，其中选择所述第一变换子集包括基于所述经确定的所述当前变换块的位置而选择所述第一变换子集，及其中选择所述第二变换子集包括基于所述经确定的所述当前变换块的位置而选择所述第二变换子集。19.根据权利要求16所述的方法，其进一步包括：在所述视频位流中产生对所述第一变换子集的第一变换子集索引以识别用于确定所述当前系数块的所述第一变换子集中的变换；及在所述视频位流中产生对所述第二变换子集的第二变换子集索引以识别用于确定所述当前系数块的所述第二变换子集中的变换。20.根据权利要求19所述的方法，其进一步包括：确定所述当前系数块中的非零系数的数目，其中用信号发送所述第一变换子集索引包括基于非零系数的所述数目大于阈值而用信号发送所述第一变换子集索引，且其中用信号发送所述第二变换子集索引包括基于非零系数的所述数目大于所述阈值而用信号发送所述第二变换子集索引。21.根据权利要求16所述的方法，其中所述第一变换子集或所述第二变换子集中的至少一者包含与离散余弦变换DCT-II变换及离散正弦变换DST-VII变换不同的变换。22.根据权利要求16所述的方法，其中所述第一变换子集及所述第二变换子集包含不同变换类型。23.根据权利要求16所述的方法，其中所述多个变换子集包括三个或三个以上变换子集。24.根据权利要求16所述的方法，其中所述候选变换为不同变换类型。25.根据权利要求16所述的方法，其中确定所述多个变换子集包括基于所述视频块的大小确定所述多个变换子集。26.根据权利要求16所述的方法，其进一步包括：确定所述预测性块；及基于所述预测性块在所述视频位流中产生指示所述视频块的预测模式的信息。27.根据权利要求26所述的方法，其中所述预测性块是基于所述视频块是帧内预测而处于与所述视频块相同的图片中或基于所述视频块是帧间预测而处于与包含所述视频块的所述图片不同的图片中的块。28.根据权利要求16所述的方法，其进一步包括：确定所述当前变换块是所述视频块与所述预测性块之间的残差。29.一种用于视频解码视频数据的装置，所述装置包括：视频数据存储器，其经配置以存储所述视频数据及变换子集，每一子集识别一或多个候选变换，其中至少一个变换子集识别多个候选变换；及包括集成电路的视频解码器，所述视频解码器经配置以：从所述经存储的变换子集确定多个变换子集；针对所述视频数据的当前系数块的左变换从所述多个变换子集选择第一变换子集；针对所述视频数据的所述当前系数块的右变换从所述多个变换子集选择第二变换子集；从所述经选择的第一变换子集确定所述左变换；从所述经选择的第二变换子集确定所述右变换；基于所述左变换、右变换及所述当前系数块确定当前变换块；及基于所述当前变换块及预测性块重建视频块。30.根据权利要求29所述的装置，其中所述视频解码器经配置以基于所述视频块的预测模式为帧内预测而确定所述视频块的帧内预测模式，其中为了选择所述第一变换子集，所述视频解码器经配置以基于所述经确定的帧内预测模式选择所述第一变换子集，其中为了选择所述第二变换子集，所述视频解码器经配置以基于所述经确定的帧内预测模式选择所述第二变换子集，且其中为了重建所述视频块，所述视频解码器经配置以基于所述经确定的帧内预测模式重建所述视频块。31.根据权利要求29所述的装置，其中所述视频解码器经配置以基于所述视频块的预测模式为帧间预测而确定所述视频块中的所述当前变换块的位置，其中为了选择所述第一变换子集，所述视频解码器经配置以基于所述经确定的所述当前变换块的位置选择所述第一变换子集，且其中为了选择所述第二变换子集，所述视频解码器经配置以基于所述经确定的所述当前变换块的位置选择所述第二变换子集。32.根据权利要求29所述的装置，其中所述视频解码器经配置以：接收对所述第一变换...

【专利技术属性】
技术研发人员：赵欣，李圣远，陈建乐，张莉，李想，陈颖，马尔塔·卡切维奇，刘鸿彬，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US