用于视频译码的参考图像列表构造制造技术

本发明专利技术描述涉及修改初始参考图像列表的技术。所述实例技术可识别用以构造所述初始参考图像的参考图像子集中的至少一者中的参考图像。所述实例技术可在所述初始参考图像列表的当前条目中列出所述所识别的参考图像以构造修改的参考图像列表。

【技术实现步骤摘要】
【国外来华专利技术】用于视频译码的参考图像列表构造本申请案主张以下各申请案的权利:2011年9月23日申请的第61/538，787号美国临时申请案；2011年9月26日申请的第61/539，433号美国临时专利申请案；以及2011年9月30日申请的第61/542，034号美国临时专利申请案，所述申请案中的每一者的全部内容以其全文引用的方式并入本文中。
本专利技术涉及视频译码且，更明确地说，涉及用于译码视频数据的技术。
技术介绍
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板型计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电信会议装置、视频流装置，及其类似者。数字视频装置实施视频压缩技术，例如以下各者中所描述的那些技术:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))定义的标准、目前在开发中的高效率视频译码(HEVC)标准，以及这些标准的扩展。视频装置可通过实施这些视频压缩技术而更有效率地传输、接收、编码、解码及/或存储数字视频信息。视频压缩技术执行空间(图像内)预测和/或时间(图像间)预测，以减少或去除视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片(即，视频图像或视频图像的一部分)分割成视频块，视频块还可被称作树块、译码树块(CTB)、译码树单元(CTU)、译码单元(CU)和/或译码节点。使用相对于相同图像中的相邻块中的参考样本的空间预测来编码图像的经帧内译码(I)切片中的视频块。图像的经帧间译码(P或B)切片中的视频块可使用相对于相同图像中的相邻块中的参考样本的空间预测或相对于其它参考图像中的参考样本的时间预测。图像可被称作帧，且参考图像可被称作参考帧。空间预测或时间预测导致译码用于块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码经帧内译码块。为了进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可然后量化残余变换系数。可扫描最初布置成二维阵列的经量化的变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。
技术实现思路
一般来说，本专利技术描述与导出用于视频译码中的参考图像集有关的技术。举例来说，所述参考图像集可构成多个参考图像子集的组合。所述参考图像子集中的每一者可识别多个潜在参考图像，但少于全部的潜在参考图像。在本专利技术中所描述的实例技术中，一种视频译码器(编码器或解码器)可构造多个列表，每一列表包含所述潜在参考图像的一子集的识别符。从这些多个列表，所述视频译码器可构造所述多个参考图像子集，此情形导致所述视频译码器导出所述参考图像集。除与导出所述参考图像集有关的技术之外，本专利技术还描述简化的参考图像列表初始化技术。此参考图像列表初始化可去除对将所述参考图像重新排序的需要。举例来说，如果不需要参考图像列表修改，那么所述初始参考图像列表可形成所述最终参考图像列表，且可能不需要任何进一步重新排序。所述技术还可关于以如下方式构造所述参考图像列表:其中所述视频译码器重复地将参考图像添加到所述参考图像列表，直到所述参考图像列表的条目数等于条目的最大可允许数目为止。在一些实例中，所述技术是关于参考图像列表修改。举例来说，所述视频译码器可通过以下操作来修改所述初始参考图像列表:参考所述参考图像子集中的一者或一者以上，且在所述构造所述初始参考图像列表之后将所述参考图像子集中的一个或一个以上图像包含在所述参考图像列表中。在一些实例中，所述视频译码器可执行已解码图像缓冲器(DPB)管理。在这些实例中，如果已解码图像并不属于所述参考图像集，那么所述视频译码器可将所述已解码图像从所述DPB中去除。在一些实例中，所述视频译码器可在译码当前图像之前去除所述已解码图像。在一个实例中，本专利技术描述一种用于译码视频数据的方法，所述方法包含译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述方法还包含:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；以及基于所述多个参考图像子集而译码所述当前图像。在一个实例中，本专利技术描述一种用于译码视频数据的装置。所述装置包含视频译码器，所述视频译码器经配置以译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述视频译码器还经配置以:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；以及基于所述多个参考图像子集而译码所述当前图像。在一个实例中，本专利技术描述一种具有存储在其上的指令的计算机可读存储媒体，所述指令在经执行时致使用于译码视频数据的装置的处理器译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述指令还致使所述处理器:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；以及基于所述多个参考图像子集而译码所述当前图像。在一个实例中，本专利技术描述一种用于译码视频数据的装置。所述装置包含用于译码指示属于参考图像集的参考图像的信息的装置。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述装置还包含:用于构造多个参考图像子集的装置，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；以及用于基于所述多个参考图像子集而译码所述当前图像的装置。在一个实例中，本专利技术描述一种用于译码视频数据的方法，所述方法包含译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述方法还包含:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；只要参考图像列表条目的数目不大于可允许参考列表条目的最大数目，便将以下各参考图像添加到参考图像列表中:来自所述多个参考图像子集中的第一子集的参考图像、后接续有来自所述多个参考图像子集中的第二子集的参考图像，及后接续有来自所述多个参考图像子集中的第三子集的参考图像；以及基于所述参考图像列表而译码所述当前图像。在一个实例中，本专利技术描述一种用于译码视频数据的装置。所述装置包含视频译码器，所述视频译本文档来自技高网...

【技术保护点】
一种用于译码视频数据的方法，所述方法包括：译码指示属于参考图像集的参考图像的信息，其中所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像；构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；基于所述所构造的参考图像子集而构造初始参考图像列表；在需要参考图像修改时：识别所述所构造的参考图像子集中的至少一者中的参考图像；以及在所述初始参考图像的当前条目中添加所述所识别的参考图像以构造修改的参考图像列表；以及基于所述修改的参考图像列表而译码所述当前图像。

【技术特征摘要】
【国外来华专利技术】2011.09.23 US 61/538,787;2011.09.26 US 61/539,433;1.一种用于译码视频数据的方法，所述方法包括: 译码指示属于参考图像集的参考图像的信息，其中所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像； 构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者； 基于所述所构造的参考图像子集而构造初始参考图像列表； 在需要参考图像修改时: 识别所述所构造的参考图像子集中的至少一者中的参考图像；以及 在所述初始参考图像的当前条目中添加所述所识别的参考图像以构造修改的参考图像列表；以及 基于所述修改的参考图像列表而译码所述当前图像。2.根据权利要求1所述的方法，其中识别所述参考图像包括: 确定到所述所构造的参考图像子集中的至少一者中的索引；以及 基于所述所确定的索 引而确定在所述所构造的参考图像子集中的所述至少一者中的条目处识别的所述参考图像。3.根据权利要求2所述的方法，其中确定所述索引包括: 译码第一语法元素以识别从其识别所述参考图像的所述所构造的参考图像子集中的所述至少一者；以及 译码第二语法元素，所述第二语法元素指示到所述所构造的参考图像子集中的所述至少一者中的所述索引。4.根据权利要求3所述的方法,其中所述第一语法元素包括modification_of_ref_pic_idc语法元素，且所述第二语法元素包括ref_pic_set_idX语法元素。5.根据权利要求1所述的方法， 其中构造所述多个参考图像子集包括: 构造第一参考图像子集，所述第一参考图像子集识别在解码次序上在所述当前图像之前及在输出次序上在所述当前图像之前且可潜在地用于对所述当前图像及在解码次序上在所述当前图像之后的所述一个或一个以上图像中的一者或一者以上进行帧间预测的短期参考图像； 构造第二参考图像子集，所述第二参考图像子集识别在解码次序上在所述当前图像之前及在输出次序上在所述当前图像之后且可潜在地用于对所述当前图像及在解码次序上在所述当前图像之后的所述一个或一个以上图像中的一者或一者以上进行帧间预测的短期参考图像；以及 构造第三参考图像子集，所述第三参考图像子集识别在解码次序上在所述当前图像之前且可潜在地用于对所述当前图像及在解码次序上在所述当前图像之后的所述一个或一个以上图像中的一者或一者以上进行帧间预测的长期参考图像， 且 其中识别所述参考图像包括: 在所述第一参考图像子集、所述第二参考图像子集和所述第三参考图像子集中的至少一者中识别所述参考图像。6.根据权利要求1所述的方法，其进一步包括: 在需要参考图像列表修改时: 在所述修改的参考图像列表中将在所述初始参考图像列表中在所述当前条目之后的条目中识别的参考图像移动到下一条目。7.根据权利要求1所述的方法，其进一步包括: 译码指示需要所述参考图像列表修改的语法元素。8.根据权利要求1所述的方法， 其中译码包括:通过视频解码器解码指示属于所述参考图像集的参考图像的信息，其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像；其中构造包括:通过所述视频解码器构造所述多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者； 其中构造包括:通过所述视频解码器基于所述所构造的参考图像子集而构造所述初始参考图像列表； 其中在需要参考图像修改时: 识别包括:通过所述视频解码器识别所述所构造的参考图像子集中的至少一者中的所述参考图像；且 添加包括:通过所述视频解码器在所述初始参考图像的所述当前条目中添加所述所识别的参考图像以构造所述修改的参考图像列表；且 其中译码包括:通过所述视频解码器基于所述修改的参考图像列表而解码所述当前图像。9.根据权利要求1所述的方法， 其中译码包括:通过视频编码器编码指示属于所述参考图像集的参考图像的信息，其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像；其中构造包括:通过所述视频编码器构造所述多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者； 其中构造包括:通过所述视频编码器基于所述所构造的参考图像子集而构造所述初始参考图像列表； 其中在需要参考图像修改时: 识别包括:通过所述视频编码器识别所述所构造的参考图像子集中的至少一者中的所述参考图像；且 添加包括:通过所述视频编码器在所述初始参考图像的所述当前条目中添加所述所识别的参考图像以构造所述修改的参考图像列表；且 其中译码包括:通过所述视频编码器基于所述修改的参考图像列表而编码所述当前图像。10.一种用于译码视频数据的装置，所述装置包括视频译码器，所述视频译码器经配置以:译码指示属于参考图像集的参考图像的信息，其中所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像； 构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者； 基于所述所构造的参考图像子集而构造初始参考图像列表； 在需要参考图像修改时: 识别所述所构造的参考图像子集中的至少一者中的参考图像；以及在所述初始参考图像的当前条目中添加所述所识别的参考图像以构造修改的参考图像列表；以及 基于所述修改的参考图像列表而译码所述当前图像。11.根据权利要求10所述的装置，其中为了识别所述参考图像，所述视频译码器经配置以: 确定到所述所构造的参考图像子集中的至少一者中的索引；以及基于所述所确定的索引而确定在所述所构造的参考图像子集中的所述至少一者中的条目处识别的所述参考图像。12.根据权利要求11所述的装置，其中为了确定所述索引，所述视频译码器经配置以: 译码第一语法元素以识别从其识别所述参考图像的所述所构造的参考图像子集中的所述至少一者；以及 译码第二语法元素，所述第二语法元素指示到所述所构造的参考图像子集中的所述至少一者中的所述索引。13.根据权利要求12所述的装置,其中所述第一语法元素包括modification_of_ref_pic_idc语法元素，且所述第二语法元素包括ref_pic_set_idX语法元素。14.根据权利要求10所述的装置， 其中为了构造所述多个参考图像子集，所述视频译码器经配置以: 构造第一参考图像子集，所述第一参考图像子集识别满足以下情形的短期参考图像:在解码次序上在所述当前图像之前及在输出次序上在所述当前图像之前，且可潜在地用于对所述当前图像及在解码次序上在所述当前图像之后的所述一个或一个以上图像中的一者或一者以上进行帧间预测； 构造第二参考图像子集，所述第二参考图像子集识别满足以下情形的短期参考图像:在解码次序上在所述当前图像之前及在输出次序上在所述当前图像之后，且可潜在地用于对所述当前图像及在解码次序上在所述当前图像之后的所述一个或一个以上图像中的一者或一者以上进行帧间预测；以及 构造第三参考图像子集，所述第三参考图像子集识别满足以下情形的长期参考图像:在解码次序上在所述当前图像之前，且可潜在地用于对所述当前图像及在解码次序上在所述当前图像之后的所述一个或一个以上图像中的一者或一者以上进行帧间预测，且其中为了识别所述参考图像，所述视频译码器经配置以: 在所述第一参考图像子集、所述第二参考图像子集和所述第三参考图像子集中的至少一者中识别所述参考图像。15.根据权利要求10所述的装置，其中所述视频译码器经配置以: 在需要参考图像列表修改时: 在所述修改的参考图像列表中将在所述初始参考图像列表中在所述当前条目之后的条目中识别的参考图像移动到下一条目。16.根据权利要求10所述的装置，其中所述视频译码器经配置以: 译码指示需要所述参考图像列表修改的语法元素。17.根据权利要求10所述的装置，其中所述视频译码器包括视频解码器，且其中所述...

【专利技术属性】
技术研发人员：陈盈，王益魁，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US