用于视频编码和解码的装置、方法和计算机程序制造方法及图纸

一种方法，包括：在第一可伸缩层和最低时间子层上编码第一图片；在第二可伸缩层和最低时间子层上编码第二图片，其中第一图片和第二图片表示相同的时刻；利用指示第一图片的图片类型不是逐步时间子层访问(STSA)图片的值来编码与第一图片相关联的一个或多个第一语法元素；利用指示第二图片的图片类型是逐步时间子层访问(STSA)图片的值来编码与第二图片相关联的一个或多个第二语法元素；在第二可伸缩层和高于最低时间子层的时间子层上编码至少第三图片。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于视频编码和解码的装置、方法和计算机程序。
技术介绍
可伸缩视频编码是指编码结构，其中一个比特流可以包含内容在不同比特率、分辨率或帧速率处的多个表示。在这些情况下，接收器可以依赖于其特性来提取期望的表示。替代地，服务器或网络元件可以依赖于例如网络特性或接收器的处理能力来提取要向接收器传输的比特流的部分。可伸缩比特流通常包括提供可用的最低质量视频的基本层以及在连同较低层一起被接收和解码时增强视频质量的一个或多个增强层。为了改善增强层的编码效率，该层的编码表示通常依赖于较低层。编码标准或系统可以指代术语操作点等，其可以指示解码在其下面进行操作的可伸缩层和/或子层和/或可以与包括被解码的可伸缩层和/或子层的子比特流相关联。在SHVC(H.265/HEVC的可伸缩扩展)和MV-HEVC(H.265/HEVC的多视图扩展)中，操作点定义可以包括目标输出层集合的考虑。在SHVC和MV-HEVC中，操作点可以被定义为比特流，该比特流利用另一比特流、目标最高时间级别和目标层标识符列表作为输入通过子比特流提取过程的操作根据该另一比特流创建，并且该比特流与目标输出层的集合相关联。然而，现有技术的各种视频编码标准中的可伸缩性设计具有一些限制。例如，在SHVC中，要求访问单元的图片具有相同的时间(temporal)级别。这使得编码器不能够跨层来不同地确定预测层级，从而限制了使用频繁的子层向上切换点和/或实现更好的速率失真性能的可能性。此外，另外的限制在于，在最低时间级别不允许时间级别切换图片。这使得不能够向实现一些时间级别(但是不一定全部时间级别)的解码的层指示访问图片或访问点。
技术实现思路
现在，为了至少缓解以上问题，本文中介绍用于对受限层访问图片进行编码和解码的方法。根据第一实施例的方法包括：接收第一可伸缩层的已编码图片；解码第一可伸缩层的已编码图片；接收第二可伸缩层的已编码图片，第二可伸缩层依赖于第一可伸缩层；从第二可伸缩层的已编码图片中选择在第二可伸缩层上的层访问图片，其中所选择的层访问图片是最低时间子层上的逐步(step-wise)时间子层访问(STSA)图片；忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片；以及解码所选择的层访问图片。根据实施例，逐步时间子层访问图片提供访问点用于具有一个或多个时间子层的比特流的解码的逐层初始化。根据实施例，逐步时间子层访问图片提供访问点用于具有一个或多个时间层的比特流的逐层比特率适配。根据实施例，方法还包括：接收关于沿着比特流提供的具体NAL单元类型的逐步时间子层访问图片的指示。根据实施例，方法还包括：接收关于具有定义可解码子层数目的SEI消息的逐步时间子层访问图片的指示。根据实施例，方法还包括：响应于基本层包含在最低子层上的帧内随机访问点(IRAP)图片或逐步时间子层访问(STSA)图片来开始比特流的解码；响应于所述至少一个增强层包含在最低子层上的IRAP图片或STSA图片来开始至少一个增强层的逐步解码；以及渐进地增加已解码层的数目和/或已解码时间子层的数目。根据实施例，方法还包括：生成用于特别增强层中针对按照解码顺序的第一图片的参考图片的不可用图片。根据实施例，方法还包括：省略先于IRAP图片的图片中的特别增强层的解码能够从其被启动的图片的解码。根据实施例，方法还包括：用一个或多个具体的NAL单元类型来标记被省略的图片。根据实施例，方法还包括：维持每个层的哪些子层已经被正确解码的信息。根据实施例，开始逐步解码包括以下条件操作中的一项或多项：-在当前图片是IRAP图片并且IRAP图片的所有参考层的解码已经被启动的情况下，IRAP图片以及相同的层中按照解码顺序在IRAP图片之后的所有图片被解码。-在当前图片是最低子层处的STSA图片并且STSA图片的所有参考层的最低子层的解码已经被启动的情况下，STSA图片以及相同的层中按照解码顺序在STSA图片之后的最低子层处的所有图片被解码。-在当前图片是比最低子层高的子层处的TSA或STSA图片并且相同层中的下一较低子层的解码已经开始并且TSA或STSA图片的所有参考层的相同子层的解码已经被启动的情况下，TSA或STSA图片以及相同层中按照解码顺序在TSA或STSA之后的相同子层处的所有图片被解码。根据第二实施例的方法，包括：接收第一可伸缩层的已编码图片；接收第二可伸缩层的已编码图片，第二可伸缩层依赖于第一可伸缩层；从第二可伸缩层的已编码图片中选择在第二可伸缩层上的层访问图片，其中所选择的层访问图片是最低时间子层上的逐步时间子层访问图片；忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片；在比特流中发送第一可伸缩层的已编码图片和所选择的层访问图片。根据第三实施例的装置，包括：至少一个处理器和至少一个存储器，至少一个存储器上存储有代码，代码在由至少一个处理器执行时使得装置至少执行：接收第一可伸缩层的已编码图片；解码第一可伸缩层的已编码图片；接收第二可伸缩层的已编码图片，第二可伸缩层依赖于第一可伸缩层；从第二可伸缩层的已编码图片中选择在第二可伸缩层上的层访问图片，其中所选择的层访问图片是最低时间子层上的逐步时间子层访问图片；忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片；以及解码所选择的层访问图片。根据第四实施例的装置，包括：至少一个处理器和至少一个存储器，至少一个存储器上存储有代码，代码在由至少一个处理器执行时使得装置至少执行：接收第一可伸缩层的已编码图片；接收第二可伸缩层的已编码图片，第二可伸缩层依赖于第一可伸缩层；从第二可伸缩层的所述已编码图片中选择在所述第二可伸缩层上的层访问图片，其中所选择的层访问图片是最低时间子层上的逐步时间子层访问图片；忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片；在比特流中发送第一可伸缩层的已编码图片和所选择的层访问图片。根据第五实施例，提供了一种计算机可读存储介质，其上存储有用于由装置来使用的代码，代码在被处理器执行时使得装置执行：接收第一可伸缩层的已编码图片；解码第一可伸缩层的已编码图片；接收第二可伸缩层的已编码图片，第二可伸缩层依赖于第一可伸缩层；从第二可伸缩层的已编码图片中选择在第二可伸缩层上的层访问图片，其中所选择的层访问图片是最低时间子层上的逐步时间子层访问图片；忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片；以及解码所选择的层访问图片。根据第六实施例，提供了一种装置，其包括被配置用于解码包括图像序列的比特流的视频解码器，视频解码器包括：用于接收第一可伸缩层的已编码图片的装置；用于解码第一可伸缩层的已编码图片的装置；用于接收第二可伸缩层的已编码图片的装置，第二可伸缩层依赖于第一可伸缩层；用于从第二可伸缩层的已编码图片中选择在第二可伸缩层上的层访问图片的装置，其中所选择的层访问图片是最低时间子层上的逐步时间子层访问图片；用于忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片的装置；以及用于解码所选择的层访问图片的装置。根据第七实施例，提供了一种被配置用于解码包括图像序列的比特流的视频解码器，其中视频解码器还被配置用于：接收第一可伸缩层的已编码图片；解码本文档来自技高网...

【技术保护点】
一种方法，包括：接收第一可伸缩层的已编码图片；解码所述第一可伸缩层的所述已编码图片；接收第二可伸缩层的已编码图片，所述第二可伸缩层依赖于所述第一可伸缩层；从第二可伸缩层的所述已编码图片中选择在所述第二可伸缩层上的层访问图片，其中所选择的层访问图片是最低时间子层上的逐步时间子层访问(STSA)图片；忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片；以及解码所选择的层访问图片。

【技术特征摘要】
【国外来华专利技术】2014.03.17 US 61/954,3061.一种方法，包括：接收第一可伸缩层的已编码图片；解码所述第一可伸缩层的所述已编码图片；接收第二可伸缩层的已编码图片，所述第二可伸缩层依赖于所述第一可伸缩层；从第二可伸缩层的所述已编码图片中选择在所述第二可伸缩层上的层访问图片，其中所选择的层访问图片是最低时间子层上的逐步时间子层访问(STSA)图片；忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片；以及解码所选择的层访问图片。2.根据权利要求1所述的方法，其中所述逐步时间子层访问图片提供访问点用于具有一个或多个时间子层的比特流的解码的逐层初始化。3.根据权利要求1所述的方法，其中所述逐步时间子层访问图片提供访问点用于具有一个或多个时间层的比特流的逐层比特率适配。4.根据权利要求1到3中的任一项所述的方法，其中所述选择包括基于图片的网络访问层(NAL)单元类型指示所述逐步时间子层访问图片以及所述图片的时间子层标识符指示所述最低时间子层来推断所述图片是逐步时间子层访问图片。5.根据权利要求1到4中的任一项所述的方法，所述方法还包括：接收关于沿着所述比特流被提供的具体NAL单元类型的所述逐步时间子层访问图片的指示。6.根据权利要求1到4中的任一项所述的方法，所述方法还包括：接收关于具有定义可解码子层的数目的SEI消息的所述逐步时间子层访问图片的指示。7.根据权利要求1到6中的任一项所述的方法，所述方法还包括：响应于基本层包含在最低子层上的帧内随机访问点(IRAP)图片或逐步时间子层访问(STSA)图片来启动所述比特流的解码；响应于至少一个增强层包含在所述最低子层上的IRAP图片或STSA图片来启动所述至少一个增强层的逐步解码；以及渐进地增加已解码层的数目和/或已解码时间子层的数目。8.根据权利要求7所述的方法，所述方法还包括：生成特别增强层中针对按照解码顺序的第一图片的参考图片的不可用图片。9.根据权利要求7或8所述的方法，所述方法还包括：省略先于所述IRAP图片的图片中的特别增强层的所述解码能够从其被启动的图片的解码。10.根据权利要求9所述的方法，所述方法还包括：用一个或多个具体的NAL单元类型来标记所述被省略的图片。11.根据权利要求7到10中的任一项所述的方法，所述方法还包括：维持每个层的哪些子层已经被正确解码的信息。12.根据权利要求7到11中的任一项所述的方法，其中启动所述逐步解码包括以下有条件的操作中的一项或多项：-在当前图片是IRAP图片并且对于所述IRAP图片的所有参考层的解码已经被启动的情况下，所述IRAP图片以及相同的层中按照解码顺序在所述IRAP图片之后的所有图片被解码。-在所述当前图片是所述最低子层处的STSA图片并且所述STSA图片的所有参考层的所述最低子层的解码已经被启动的情况下，所述STSA图片以及相同的层中按照解码顺序在所述STSA图片之后的所述最低子层处的所有图片被解码。-在所述当前图片是比所述最低子层高的子层处的TSA或STSA图片并且相同层中的下一较低子层的解码已经被启动并且所述TSA或STSA图片的所有所述参考层的相同子层的解码已经被启动的情况下，所述TSA或STSA图片以及相同层中按照解码顺序在所述TSA或STSA之后的相同子层处的所有图片被解码。13.一种方法，包括：接收第一可伸缩层的已编码图片；接收第二可伸缩层的已编码图片，所述第二可伸缩层依赖于所述第一可伸缩层；从第二可伸缩层的所述已编码图片中选择在所述第二可伸缩层上的层访问图片，其中所选择的层访问图片是最低时间子层上的逐步时间子层访问图片；忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片；在比特流中发送所述第一可伸缩层的所述已编码图片和所选择的层访问图片。14.一种装置，包括：至少一个处理器和至少一个存储器，所述至少一个存储器上存储有代码，所述代码在由所述至少一个处理器执行时使得装置至少执行：接收第一可伸缩层的已编码图片；解码所述第一可伸缩层的所述已编码图片；接收第二可伸缩层的已编码图片，所述第二可伸缩层依赖于所述第一可伸缩层；从第二可伸缩层的所述已编码图片中选择在所述第二可伸缩层上的层访问图片，其中所选择的层访问图片是最低时间子层上的逐步时间子层访问图片；忽略按照解码顺序先于所选择的层访问图片的第二可伸缩层上的已编码图片；以及解码所选择的层访问图片。15.根据权利要求14所述的装置，其中所述逐步时间子层访问图片提供访问点用于具有一个或多个时间子层的比特流的解码的逐层初始化。16.根据权利要求14所述的装置，其中所述逐步时间子层访问图片提供访问用于具有一个或多个时间层的比特流的逐层比特率适配点。17.根据权利要求14到16中的任一项所述的装置，还包括使得所述装置通过以下方式来执行所述选择的代码：基于图片的网络访问层(NAL)单元类型指示所述逐步时间子层访问图片并且所述图片的时间子层标识符指示所述最低时间子层来推断所述图片是逐步时间子层访问图片。18.根据权利要求14到17中的任一项所述的装置，还包括使得所述装置执行以下操作的代码：接收关于沿着所述比特流被提供的具体NAL单元类型的所述逐步时间子层访问图片的指示。19.根据权利要求14到17中的任一项所述的装置，还包括使得所述装置执行以下操作的代码：接收关于具有定义可解码子层的数目的SEI消息的所述逐步时间子层访问图片的指示。20.根据权利要求14到19中的任一项所述的装置，还包括使得所述装置执行以下操作的代码：响应于基本层包含在最低子层上的帧内随机访问点(IRAP)图片或逐步时间子层访问(STSA)图片来启动所述比特流的解码；响应于所述至少一个增强层包含在所述最低子层上的IRAP图片或STSA图片来启动所述至少一个增强层的逐步解码；以及渐进地增加已解码层的数目和/或已解码时间子层的数目。21.根据权利要求20所述的装置，还包括使得所述装置执行以下操作的代码：生成特别增强层中按照解码顺序的第一图片的参考图片的不可用图片。22.根据权利要求20或21所述的装置，还包括使得所述装置执行以下操作的代码：省略先于所述IRAP图片的图片中的特别增强层的所述解码能够从其被启动的图片的解码。23.根据权利要求22所述的装置，还包括使得所述装置执行以下操作的代码：用一个或多个具体的NAL单元类型来标记所述被省略的图片。24.根据权利要求20到23中的任一项所述的装置，还包括引起所述装置执行以下操作的代码：维持每个层的哪些子层已经被正确解码的信息。25.根据权利要求20到24中的任一项所述的装置，其中开始所述逐步解码包括以下有条件的操作中的一项或多项：-在当前图片是IRAP图片并且所述IRAP图片的所有参考层的解码已经被启动的情况下，所述IRAP图片以及相同的层中按照解码顺序在所述IRAP图片之后的所有图片被解码。-在所述当前图片是所述最低子层处的STSA图片并且所述STSA图片的所有参考层的所述最低子层的解码已经被启动的情况下，所述STSA图片以及相同的层中按照解码顺序在所述STSA图片之后的所述最低子层处的所有图片被解码。-在所述当前图片是比所述最低子层高的子层处的TSA或STSA图片并且相同层中的下一较低子层的解码已经被启动并且所述TSA或STSA图片的所有参考层的相同子层的解码已经被启动的情况下，所述TSA或STSA图片以及相同层中按照解码顺序在所述TSA或STSA之后的相同子层处的所有图片被解码。26.一种装置，包括：至少一个处理器和至少一个存储器，所述至少一个存储器上存储有代码，所述代码在由所述至少一个处理器执行时使得装置至少执行：接收第一可伸缩层的已编码图片；接收第二可伸缩层的已编码图片，所述第二可伸缩层依赖于所述第一可伸缩...

【专利技术属性】
技术研发人员：M·安尼克塞拉，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰;FI