视频编码的输出层集处理制造技术

输出层集可以描述能够从多层视频比特流中提取的视频比特流或视频序列。描述了与输出层集有关的构思，包括可随机访问子比特流指示的构思、用于处理参考图片对齐的构思、基于比特流的OLS确定的构思、所提取的视频比特流的序列开始访问单元的构思、用于在输出层集的提取过程中处理时间子层的构思、用于处理视频参数信令中的时间子层的构思、以及感兴趣区域应用中的输出层选择的构思。用中的输出层选择的构思。用中的输出层选择的构思。

【技术实现步骤摘要】
【国外来华专利技术】视频编码的输出层集处理


[0001]本专利技术的实施例涉及用于将视频编码到视频比特流中的装置、用于对视频比特流进行解码的装置、以及用于处理视频比特流(例如，从视频比特流中提取诸如子比特流的比特流)的装置。其他实施例涉及用于编码的方法、用于解码的方法、用于处理视频比特流的方法(例如，用于提取的方法)。其他实施例涉及视频比特流。

技术介绍

[0002]设想新兴的VVC编解码器从开始就支持时间、保真度和空间可扩展性的分层编码，即结构化为所谓的层和(时间)子层的编码视频比特流以及对应于时间实例的编码图片数据，即所谓的访问单元(AU)可以包含每个层内的图片，这些图片可以相互预测并且其中一些图片在解码之后被输出。所谓的输出层集(OLS)构思向解码器指示参考关系以及在对比特流进行解码时要输出哪些层。OLS还可用于以缓冲周期、图片定时和解码单元信息SEI消息的形式标识对应的HRD相关定时/缓冲信息，将它们封装在所谓的可扩展嵌套SEI消息中以携带在比特流中。
[0003]期望具有用于处理输出层集以允许从视频比特流中提取子比特流的构思，这些构思在以下各项之间提供了改进的折衷：通过输出层集对可提取子比特流的精确定义(在精确描述要提取视频比特流的哪些部分方面)、解码器资源的有效利用(例如，在避免提取对所选择的子比特流进行解码而言不必要的部分方面，或在提供关于对所选择的子比特流进行解码的解码器设置或要求的精确信息方面)、以及较少的信令开销。

技术实现思路

[0004]根据本专利技术的第一方面提供了用于从多层视频比特流中指示、提取和/或解码可随机访问子比特流的构思。根据第一方面，所提取的可随机访问子比特流选择性地包括多层视频比特流的访问单元的比特流部分中与由可随机访问子比特流的输出层集指示所指示的可随机访问子比特流的输出层相关联的比特流部分，或者用于对输出层的可随机访问比特流部分进行解码所需的比特流部分。
[0005]本专利技术的第二方面提供了具有多个层和多个时间层的多层视频比特流的构思。多层视频比特流包括：对包括多层视频比特流的一个或多个层的输出层集的指示，以及指示输出层集的层的层间参考的参考层指示。多层视频比特流包括例如时间层指示或时间层内指示的指示，其允许结合多层视频比特流被编码的方式来识别输出层集的层中属于输出层集的比特流部分。该构思允许通过比特流部分的比特流部分类型和/或通过由参考层指示所指示的OLS的层之间的依赖关系来识别OLS的比特流部分。因此，第二方面的实施例允许精确提取子比特流，同时避免了不必要的高信令开销。
[0006]本专利技术的第三方面提供了一种允许解码器基于视频比特流中提供给解码器的属性来确定要解码的输出层集以对视频比特流进行解码的构思。因此，该构思使解码器在没有解码器对哪个OLS进行解码的指示的情况下也可以选择OLS。解码器能够在没有指示的情
况下选择OLS可以例如通过视频比特流中的指示来确保由解码器解码的比特流满足解码器已知的级别要求。
[0007]本专利技术的第四方面提供了一种用于从多层视频数据流中提取子比特流的构思，使得在所提取的子比特流内，排他性地包括预定比特流部分类型或图片类型(例如，可随机访问或独立编码的比特流部分类型或图片类型)集合中的一种(例如，相同的)类型的图片或比特流部分的访问单元通过序列开始指示符来指示，即使在相应访问单元在从中提取子比特流的原始多层视频比特流中的非序列开始访问单元的情况下也是如此。因此，子比特流中的序列开始访问单元的频率可以高于多层视频数据流中的频率，并且因此，解码器可以从具有更多可用的序列开始访问单元中受益，从而避免直到对视频序列的解码可以开始的不必要的长等待时间。
[0008]本专利技术的第五方面提供了一种允许从多层视频比特流中提取子比特流的构思，使得子比特流排他性地包括属于与描述要提取的子比特流的输出层集相关联的一个或多个时间子层的图片。为此，使用多层视频比特流中以区分不同状态的方式指示OLS的预定时间子层的语法元素，不同状态包括如下状态：根据该状态，预定时间子层在访问单元内的时间子层中的最大时间子层之下，层子集中的至少一个层的图片属于该访问单元。避免转发多层视频比特流的不必要子层可以减小子比特流的大小并且可以降低解码器对子比特流进行解码的要求。
[0009]根据实施例，在子比特流中和/或多层视频数据流中以信号发送排他性地包括属于描述子比特流的OLS的时间子层的图片的子比特流的解码器能力相关参数。因此，可以高效地利用解码器能力，因为在确定解码器相关能力参数时可以省略不属于OLS的图片。
[0010]本专利技术的第六方面提供了在用于多层视频比特流的输出层集的视频参数的信令中处理时间子层的构思。根据实施例，OLS与在视频比特流中以信号发送的一个或多个比特流一致性集之一、一个或多个缓冲器要求集之一、以及一个或多个解码器要求集之一相关联，其中，比特流一致性集、缓冲器要求集和解码器要求集中的每一个针对由对最大时间子层(例如，分级排序的时间子层)的约束指示的一个或多个时间子层有效。实施例提供了与OLS相关联的比特流一致性集、缓冲器要求集与解码器要求集之间关于它们所关联的最大时间子层的关系的构思，从而允许解码器容易地确定OLS的参数，这些参数与比特流一致性集、缓冲器要求集和解码器要求集相关联。例如，实施例可以允许解码器得出以下结论：在OLS的比特流一致性集、缓冲器要求集和解码器要求集中给出的参数对于OLS完全有效。其他实施例允许解码器得出以下结论：在OLS的比特流一致性集、缓冲器要求集和解码器要求集中给出的参数对OLS有效的程度。
[0011]根据实施例，由与OLS相关联的解码器要求集指示的最大时间子层小于或等于由与OLS相关联的缓冲器要求集和比特流一致性集中的每一个指示的最大时间子层，并且只要缓冲器要求集和比特流一致性集与等于或小于由与OLS相关联的解码器要求集指示的最大时间子层的时间子层相关，缓冲器要求集和比特流一致性集内的参数就仅对OLS有效。因此，如果由与OLS相关联的解码器要求集指示的最大时间子层小于或等于由与OLS相关联的缓冲器要求集和比特流一致性集中的每一个指示的最大时间子层，则解码器可以推断：只要与OLS相关联的缓冲器要求集和比特流一致性集与等于或小于由与OLS相关联的解码器要求集指示的最大时间子层的时间子层相关，与OLS相关联的缓冲器要求集和比特流一致
性集中的参数就仅对OLS有效。因此，实施例可以使解码器能够基于对针对参数的相应集合以信号发送的最大时间子层的约束的指示来确定OLS的视频参数，从而可以避免对OLS和视频参数的复杂分析。此外，由于该构思允许将OLS与缓冲器要求集和比特流一致性集相关联，其对最大时间子层的约束大于针对与OLS相关联的解码器要求集的约束，可以省略以信号发送和与解码器要求集相同的最大时间子层有关的专用缓冲器要求集和专用比特流一致性集，从而减少用于视频参数集的信令开销。
[0012]本专利技术的第七方面提供了用于处理多层视频比特流的例如由于比特流错误或传输丢失而导致图片缺失的构思，该图片使用层间预测进行编码本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于从表示编码视频序列(20)的视频比特流(14)中提取子比特流(12)的装置(30)，所述视频比特流包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分(16)，其中每个比特流部分与所述视频比特流(14)的多个层(24)之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述装置被配置为：在所述视频比特流(14)中检测所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示(19)，所述OLS包括一个或多个输出层和一个或多个非输出层，通过以下操作，基于所述视频比特流(14)来提供所述可随机访问子比特流作为所述子比特流：针对所述访问单元(22)中的每一个，对于相应访问单元的比特流部分(16)中的每一个，如果相应比特流部分(16)是可随机访问比特流部分且所述相应比特流部分与所述一个或多个输出层之一相关联，或者如果相应比特流部分(16)与所述输出层之一的参考层相关联且所述相应比特流部分(16)与所述一个或多个非输出层之一相关联，并且在所述相应访问单元的比特流部分(16)之外，所述输出层中的至少一个输出层的比特流部分(16)是可随机访问比特流部分，或者在所述相应访问单元的比特流部分(16)之外，所述输出层中的所有输出层的比特流部分(16)是可随机访问比特流部分，则将所述相应比特流部分(16)接管到所述子比特流(12)中，否则丢弃所述相应比特流部分(16)。2.一种用于从表示编码视频序列(20)的视频比特流(14)中提取子比特流(12)的装置(30)，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分(16)，其中每个比特流部分与所述视频比特流(14)的多个层之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述装置被配置为：在所述视频比特流(14)中检测所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，通过以下操作，基于所述视频比特流(14)来提供所述可随机访问子比特流作为所述子比特流：针对所述访问单元(22)中的每一个，对于相应访问单元的比特流部分(16)中的每一个，如果所述相应访问单元包括针对所述输出层中的至少一个输出层或每个输出层的可随机访问比特流部分，则在相应比特流部分(16)是可随机访问比特流部分的情况下，选择性地转发所述相应
访问单元的所述相应比特流部分(16)。3.一种用于提供表示编码视频序列(20)的视频比特流(14)的编码器(10)，所述视频比特流(14)包括所述编码视频序列的访问单元(22)，所述访问单元(22)中的每一个包括所述视频比特流(14)的一个或多个比特流部分(16)，其中，所述比特流部分(16)中的每一个与所述视频比特流(14)的多个层之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述编码器被配置为：在所述视频比特流(14)中提供所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，其中，针对所述访问单元(22)中的每一个，对于相应访问单元的比特流部分(16)中的每一个，在以下条件满足的情况下，所述可提取性指示所指示的所述可随机访问子比特流选择性地包括相应比特流部分(16)：如果所述相应比特流部分(16)是可随机访问比特流部分且所述相应比特流部分(16)与所述一个或多个输出层之一相关联，或者如果所述相应比特流部分(16)与所述输出层之一的参考层相关联且所述相应比特流部分(16)与所述一个或多个非输出层之一相关联，并且在所述相应访问单元的比特流部分之外，所述输出层中的至少一个输出层的比特流部分是可随机访问比特流部分，或者在所述相应访问单元的比特流部分之外，所述输出层中的所有输出层的比特流部分是可随机访问比特流部分。4.根据权利要求3所述的编码器，被配置为：在所述视频比特流(14)内提供所述可随机访问子比特流(12)的级别指示。5.根据权利要求4所述的编码器，其中，所述级别指示包括以下一项或多项：编码图片缓冲器大小、解码图片缓冲器大小、图片大小、图片速率、最小压缩比、图片划分限制、比特率和缓冲器调度。6.一种由根据权利要求3至5中任一项所述的编码器提供的视频比特流(14)。7.一种表示编码视频序列(20)的视频比特流(14)，所述视频比特流(14)包括所述编码视频序列的访问单元(22)，所述访问单元(22)中的每一个包括所述视频比特流(14)的一个或多个比特流部分(16)，其中，所述比特流部分(16)中的每一个与所述视频比特流(14)的多个层之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述视频比特流(14)包括：所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，其中，
针对所述访问单元(22)中的每一个，对于相应访问单元的比特流部分(16)中的每一个，在以下条件满足的情况下，所述可提取性指示所指示的所述可随机访问子比特流选择性地包括相应比特流部分(16)：如果所述相应比特流部分(16)是可随机访问比特流部分且所述相应比特流部分(16)与所述一个或多个输出层之一相关联，或者如果所述相应比特流部分(16)与所述输出层之一的参考层相关联且所述相应比特流部分(16)与所述一个或多个非输出层之一相关联，并且在所述相应访问单元的比特流部分之外，所述输出层中的至少一个输出层的比特流部分是可随机访问比特流部分，或者在所述相应访问单元的比特流部分之外，所述输出层中的所有输出层的比特流部分是可随机访问比特流部分。8.一种用于提供表示编码视频序列(20)的视频比特流(14)的编码器(10)，所述视频比特流(14)包括所述编码视频序列的访问单元(22)，所述访问单元(22)中的每一个包括所述视频比特流(14)的一个或多个比特流部分(16)，其中，所述比特流部分(16)中的每一个与所述视频比特流(14)的多个层之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述编码器被配置为：在所述视频比特流(14)中提供所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，提供所述视频比特流(14)，使得针对所述OLS中的每个层，对于所述访问单元(22)中的每一个：如果相应访问单元包括可随机访问比特流部分(16)之一，则在所述相应访问单元的比特流部分之外，所述输出层中的至少一个输出层的比特流部分是可随机访问比特流部分。9.根据权利要求8所述的编码器，被配置为：提供所述视频比特流(14)，使得针对所述OLS中的每个层，对于所述访问单元(22)中的每一个：如果所述相应访问单元包括所述可随机访问比特流部分之一，则在所述相应访问单元的所述比特流部分之外，所述输出层中的所有输出层的比特流部分是可随机访问比特流部分。10.根据权利要求8至9中任一项所述的编码器(10)，其中，针对所述访问单元(22)中的每一个，对于所述相应访问单元(22)的所述比特流部分中的每一个，在以下条件满足的情况下，所述可随机访问子比特流选择性地包括相应比特流部分：如果所述相应比特流部分是可随机访问比特流部分且所述相应比特流部分与所述一个或多个输出层之一相关联，或者如果所述相应比特流部分与所述输出层之一的参考层相关联且所述相应比特流部分
与所述一个或多个非输出层之一相关联，并且在所述相应访问单元的所述比特流部分之外，所述输出层中的至少一个输出层的比特流部分是可随机访问比特流部分，或者在所述相应访问单元的所述比特流部分之外，所述输出层中的所有输出层的比特流部分是可随机访问比特流部分。11.根据权利要求8至10中任一项所述的编码器，被配置为：在所述视频比特流(14)内提供所述可随机访问子比特流的级别指示。12.根据权利要求8至11中任一项所述的编码器，其中，所述级别指示包括以下一项或多项：编码图片缓冲器大小、解码图片缓冲器大小、图片大小、图片速率、最小压缩比、图片分区限制、比特率和缓冲器调度。13.一种由根据权利要求8至12中任一项所述的编码器提供的视频比特流(14)。14.一种表示编码视频序列(20)的视频比特流(14)，所述视频比特流(14)包括所述编码视频序列的访问单元(22)，所述访问单元(22)中的每一个包括所述视频比特流(14)的一个或多个比特流部分(16)，其中，所述比特流部分(16)中的每一个与所述视频比特流(14)的多个层之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述视频比特流(14)包括所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，并且其中，在所述视频比特流(14)中，针对所述OLS中的每个层，对于所述访问单元(22)中的每一个：如果相应访问单元包括可随机访问比特流部分(16)之一，则在所述相应访问单元的比特流部分之外，所述输出层中的至少一个输出层的比特流部分是可随机访问比特流部分。15.一种用于对表示编码视频序列(20)的视频比特流(14)进行解码的解码器(50)，所述视频比特流(14)包括所述编码视频序列的访问单元(22)，所述访问单元(22)中的每一个包括所述视频比特流(14)的一个或多个比特流部分(16)，其中，所述比特流部分(16)中的每一个与所述视频比特流(14)的多个层之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述解码器被配置为：从所述视频比特流(14)中导出所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流(12)的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，其中，针对所述访问单元(22)中的每一个，对于相应访问单元(22)的比特流部分(16)中的每一个，在以下条件满足的情况下，所述可随机访问子比特流(12)选择性地包括相应比特流部分(16)：如果所述相应比特流部分(16)是可随机访问比特流部分且所述相应比特流部分与所述一个或多个输出层之一相关联，或者
如果所述相应比特流部分(16)与所述输出层之一的参考层相关联且所述相应比特流部分与所述一个或多个非输出层之一相关联，并且在所述相应访问单元的比特流部分之外，所述输出层中的至少一个输出层的比特流部分是可随机访问比特流部分，或者在所述相应访问单元的比特流部分之外，所述输出层中的所有输出层的比特流部分是可随机访问比特流部分，根据所述可提取性指示来检查图片缓冲器是否符合所述可随机访问子比特流(12)。16.根据权利要求15所述的解码器(50)，其中，所述图片缓冲器包括编码图片缓冲器CPB和解码图片缓冲器DPB之一或二者。17.根据权利要求15至16中任一项所述的解码器(50)，被配置为：从所述视频比特流(14)导出所述可随机访问子比特流(12)的定时信息，以及基于所述定时信息对所述可随机访问子比特流(12)进行解码。18.一种用于从表示编码视频序列(20)的视频比特流(14)中提取(30)子比特流(12)的方法，所述视频比特流包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分(16)，其中每个比特流部分与所述视频比特流(14)的多个层(24)之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述方法包括：在所述视频比特流(14)中检测所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示(19)，所述OLS包括一个或多个输出层和一个或多个非输出层，通过以下操作，基于所述视频比特流(14)来提供所述可随机访问子比特流作为所述子比特流：针对所述访问单元(22)中的每一个，对于相应访问单元(22)的比特流部分(16)中的每一个，如果相应比特流部分(16)是可随机访问比特流部分且所述相应比特流部分与所述一个或多个输出层之一相关联，或者如果相应比特流部分(16)与所述输出层之一的参考层相关联且所述相应比特流部分(16)与所述一个或多个非输出层之一相关联，并且在所述相应访问单元的比特流部分(16)之外，所述输出层中的至少一个输出层的比特流部分(16)是可随机访问比特流部分，或者在所述相应访问单元的比特流部分(16)之外，所述输出层中的所有输出层的比特流部分(16)是可随机访问比特流部分，则将所述相应比特流部分(16)接管到所述子比特流(12)中，否则丢弃所述相应比特流部分(16)。19.一种用于从表示编码视频序列(20)的视频比特流(14)中提取(30)子比特流(12)的方法，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分(16)，其中每个比特流部分与所述视频比特流(14)的多个层之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特
流部分类型之一，其中，所述方法包括：在所述视频比特流(14)中检测所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，通过以下操作，基于所述视频比特流(14)来提供所述可随机访问子比特流作为所述子比特流：针对所述访问单元(22)中的每一个，对于相应访问单元的比特流部分(16)中的每一个，如果所述相应访问单元包括针对所述输出层中的至少一个输出层或每个输出层的可随机访问比特流部分，则在相应比特流部分(16)是可随机访问比特流部分的情况下，选择性地转发所述相应访问单元的所述相应比特流部分(16)。20.一种用于对表示编码视频序列(20)的视频比特流(14)进行编码(10)的方法，所述视频比特流(14)包括所述编码视频序列的访问单元(22)，所述访问单元(22)中的每一个包括所述视频比特流(14)的一个或多个比特流部分(16)，其中，所述比特流部分(16)中的每一个与所述视频比特流(14)的多个层之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述方法包括：在所述视频比特流(14)中提供所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，其中，针对所述访问单元(22)中的每一个，对于相应访问单元的比特流部分(16)中的每一个，在以下条件满足的情况下，所述可提取性指示所指示的所述可随机访问子比特流选择性地包括相应比特流部分(16)：如果所述相应比特流部分(16)是可随机访问比特流部分且所述相应比特流部分(16)与所述一个或多个输出层之一相关联，或者如果所述相应比特流部分(16)与所述输出层之一的参考层相关联且所述相应比特流部分(16)与所述一个或多个非输出层之一相关联，并且在所述相应访问单元的比特流部分之外，所述输出层中的至少一个输出层的比特流部分是可随机访问比特流部分，或者在所述相应访问单元的比特流部分之外，所述输出层中的所有输出层的比特流部分是可随机访问比特流部分。21.一种用于对表示编码视频序列(20)的视频比特流(14)进行编码(10)的方法，所述视频比特流(14)包括所述编码视频序列的访问单元(22)，所述访问单元(22)中的每一个包括所述视频比特流(14)的一个或多个比特流部分(16)，其中，所述比特流部分(16)中的每一个与所述视频比特流(14)的多个层之一相关联，
其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述方法包括：在所述视频比特流(14)中提供所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，提供所述视频比特流(14)，使得针对所述OLS中的每个层，对于所述访问单元(22)中的每一个：如果相应访问单元包括可随机访问比特流部分(16)之一，则在所述相应访问单元的比特流部分之外，所述输出层中的至少一个输出层的比特流部分是可随机访问比特流部分。22.一种用于对表示编码视频序列(20)的视频比特流(14)进行解码(50)的方法，所述视频比特流(14)包括所述编码视频序列的访问单元(22)，所述访问单元(22)中的每一个包括所述视频比特流(14)的一个或多个比特流部分(16)，其中，所述比特流部分(16)中的每一个与所述视频比特流(14)的多个层之一相关联，其中，所述比特流部分(16)中的每一个是包括可随机访问比特流部分类型在内的比特流部分类型之一，其中，所述方法包括：从所述视频比特流(14)中导出所述视频比特流(14)的输出层集OLS的OLS指示(18)和所述OLS的可随机访问子比特流(12)的可提取性指示，所述OLS包括一个或多个输出层和一个或多个非输出层，其中，针对所述访问单元(22)中的每一个，对于相应访问单元(22)的比特流部分(16)中的每一个，在以下条件满足的情况下，所述可随机访问子比特流(12)选择性地包括相应比特流部分(16)：如果所述相应比特流部分(16)是可随机访问比特流部分且所述相应比特流部分与所述一个或多个输出层之一相关联，或者如果所述相应比特流部分(16)与所述输出层之一的参考层相关联且所述相应比特流部分与所述一个或多个非输出层之一相关联，并且在所述相应访问单元的比特流部分之外，所述输出层中的至少一个输出层的比特流部分是可随机访问比特流部分，或者在所述相应访问单元的比特流部分之外，所述输出层中的所有输出层的比特流部分是可随机访问比特流部分，根据所述可提取性指示来检查图片缓冲器是否符合所述可随机访问子比特流(12)。23.一种用于提供表示编码视频序列(20)的视频比特流(14)的编码器(10)，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分(16)，其中每个比特流部分与所述视频比特流(14)的多个层之一和所述视频比特流(14)的多个时间层之一相关联，其中，一个访问单元(22)内的比特流部分(16)与一个时间层相关联，其中，所述比特流部分(16)中的每一个是包括预定比特流部分类型集合的比特流部分类型之一，
其中，所述编码器被配置为：在所述视频比特流(14)中提供：所述视频比特流(14)的输出层集OLS的OLS指示(18)，所述OLS包括所述视频比特流(14)的一个或多个层，参考层指示，针对所述OLS中的每个层，所述参考层指示指示相应层所依赖的参考层集合，以及时间层指示，针对所述OLS中的每个层，对于相应层的每个参考层，所述时间层指示指示所述相应层所依赖的相应参考层的所有比特流部分(16)是否是所述预定比特流部分类型集合中的预定比特流部分类型，或者如果否，则指示所述比特流部分属于所述相应层所依赖的时间层；提供所述视频比特流(14)，使得：针对所述OLS中的其时间层指示指示相应层所依赖的预定参考层的所有比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型的每个层，对于所述预定参考层直接或间接依赖的每个其他参考层，包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(22)没有除了所述预定比特流部分类型集合之外的比特流部分，或者针对所述OLS中的其时间层指示指示相应层(20B)所依赖的预定参考层(20C)的所有比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型的每个层(20B)，对于所述预定参考层(20C)直接或间接依赖的每个其他参考层(20D)：包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(40A、40B)没有(40A)除了所述预定比特流部分类型集合之外的比特流部分，或者如果不是(40B)所述情况，则根据所述参考层指示，相应的其他参考层(20D)是直接参考层(20A)的参考层，根据所述参考层指示，所述直接参考层(20A)依赖于所述相应层(20B)。24.根据权利要求23所述的编码器，其中，所述预定比特流部分类型集合包括以下一项或多项或全部：IRAP类型和ph_recovery_poc_cnt等于0的GDR类型。25.根据权利要求23至24中任一项所述的编码器，被配置为：在所述视频比特流(14)内提供能够根据所述OLS从所述视频比特流(14)中提取的比特流的级别指示。26.根据权利要求23至25中任一项所述的编码器，其中，所述级别指示包括以下一项或多项：编码图片缓冲器大小、解码图片缓冲器大小、图片大小、图片速率、最小压缩比、图片划分限制、比特率和缓冲器调度。27.一种由根据权利要求23至26中任一项所述的编码器提供的视频比特流(14)。28.一种表示编码视频序列(20)的视频比特流(14)，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分(16)，其中每个比特流部分与所述视频比特流(14)的多个层之一和所述视频比特流(14)的多个时间层之一相关联，其中，一个访问单元(22)内的比特流部分(16)与一个时间层相关联，其中，所述比特流部分(16)中的每一个是包括预定比特流部分类型集合的比特流部分类型之一，
其中，所述视频比特流(14)包括：所述视频比特流(14)的输出层集OLS的OLS指示(18)，所述OLS包括所述视频比特流(14)的一个或多个层，参考层指示，针对所述OLS中的每个层，所述参考层指示指示相应层所依赖的参考层集合，以及时间层指示，针对所述OLS中的每个层，对于相应层的每个参考层，所述时间层指示指示所述相应层所依赖的相应参考层的所有比特流部分(16)是否是所述预定比特流部分类型集合中的预定比特流部分类型，或者如果否，则指示所述比特流部分属于所述相应层所依赖的时间层；其中，在所述视频比特流(14)中，针对所述OLS中的其时间层指示指示相应层所依赖的预定参考层的所有比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型的每个层，对于所述预定参考层直接或间接依赖的每个其他参考层，包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(22)没有除了所述预定比特流部分类型集合之外的比特流部分，或者针对所述OLS中的其时间层指示指示相应层(20B)所依赖的预定参考层(20C)的所有比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型的每个层(20B)，对于所述预定参考层(20C)直接或间接依赖的每个其他参考层(20D)：包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(40A、40B)没有(40A)除了所述预定比特流部分类型集合之外的比特流部分，或者如果不是(40B)所述情况，则根据所述参考层指示，相应的其他参考层(20D)是直接参考层(20A)的参考层，根据所述参考层指示，所述直接参考层(20A)依赖于所述相应层(20B)。29.一种用于提供表示编码视频序列(20)的视频比特流(14)的编码器(10)，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分，其中每个比特流部分与所述视频比特流(14)的多个层之一和所述视频比特流(14)的多个时间层之一相关联，其中，一个访问单元(22)内的比特流部分与一个时间层相关联，其中，所述比特流部分中的每一个是包括预定比特流部分类型集合的比特流部分类型之一，其中，所述编码器被配置为：在所述视频比特流(14)中提供：所述视频比特流(14)的输出层集OLS的OLS指示(18)，所述OLS包括所述视频比特流(14)的一个或多个层，参考层指示，针对所述OLS中的每个层，所述参考层指示指示相应层所依赖的参考层集合，层内时间层指示，针对所述OLS中的每个层，所述层内时间层指示指示所述OLS是否仅需要相应层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分，或者如果否，则指示包括所述相应层的所述OLS所需的比特流部分的时间层子集，提供所述视频比特流(14)，使得：
针对所述OLS中的其层内时间层指示指示所述OLS仅需要相应层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的每个层，针对包括所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(22)中的每一个，对于相应访问单元的每个比特流部分：如果相应比特流部分属于所述OLS的层，该层的层内时间层指示指示所述OLS仅需要相应层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分，则所述相应比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型，或者根据所述参考层指示，所述相应层不依赖于所述相应比特流部分的所述层。30.根据权利要求29所述的编码器，其中，所述预定比特流部分类型集合包括以下一项或多项或全部：IRAP类型、GDR类型和ph_recovery_poc_cnt等于0的GDR。31.根据权利要求29至30中任一项所述的编码器，被配置为：在所述视频比特流(14)内提供能够根据所述OLS从所述视频比特流(14)中提取的比特流的级别指示。32.根据权利要求29至31中任一项所述的编码器，其中，所述级别指示包括以下一项或多项：编码图片缓冲器大小、解码图片缓冲器大小、图片大小、图片速率、最小压缩比、图片划分限制、比特率和缓冲器调度。33.一种由根据权利要求29至32中任一项所述的编码器提供的视频比特流(14)。34.一种表示编码视频序列(20)的视频比特流(14)，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分，其中每个比特流部分与所述视频比特流(14)的多个层之一和所述视频比特流(14)的多个时间层之一相关联，其中，一个访问单元内的比特流部分与一个时间层相关联，其中，所述比特流部分中的每一个是包括预定比特流部分类型集合的比特流部分类型之一，其中，所述视频比特流(14)包括：所述视频比特流(14)的输出层集OLS的OLS指示(18)，所述OLS包括所述视频比特流(14)的一个或多个层，参考层指示，针对所述OLS中的每个层，所述参考层指示指示相应层所依赖的参考层集合，层内时间层指示，针对所述OLS中的每个层，所述层内时间层指示指示所述OLS是否仅需要相应层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分，或者如果否，则指示包括所述相应层的所述OLS所需的比特流部分的时间层子集，其中，在所述视频比特流(14)中，针对所述OLS中的其层内时间层指示指示所述OLS仅需要相应层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的每个层，针对包括所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(22)中的每一个，对于相应访问单元的每个比特流部分：如果相应比特流部分属于所述OLS的层，该层的层内时间层指示指示所述OLS仅需要相应层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分，
则所述相应比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型，或者根据所述参考层指示，所述相应层不依赖于所述相应比特流部分的所述层。35.一种用于提供表示编码视频序列(20)的视频比特流(14)的编码器(10)，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分，其中每个比特流部分与所述视频比特流(14)的多个层之一和所述视频比特流(14)的多个时间层之一相关联，其中，一个访问单元(22)内的比特流部分与一个时间层相关联，其中，所述比特流部分中的每一个是包括预定比特流部分类型集合的比特流部分类型之一，其中，所述编码器被配置为：在所述视频比特流(14)中提供：所述视频比特流(14)的输出层集OLS的OLS指示(18)，所述OLS包括所述视频比特流(14)的一个或多个层，参考层指示，针对所述OLS中的每个层，所述参考层指示指示相应层所依赖的参考层集合，以及时间层指示，针对所述OLS中的每个层，对于相应层的每个参考层，所述时间层指示指示所述相应层所依赖的相应参考层的所有比特流部分是否是所述预定比特流部分类型集合中的预定比特流部分类型，或者如果否，则指示所述比特流部分属于所述相应层所依赖的时间层；针对所述OLS中的其时间层指示指示相应层所依赖的预定参考层的所有比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型的每个层，对于所述预定参考层直接或间接依赖的每个其他参考层，如果包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元具有除了所述预定比特流部分类型集合之外的比特流部分，则针对相应层，在不对属于以下层的比特流部分使用帧间预测方法的情况下对包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元的比特流部分进行编码：直接或间接参考具有除了所述预定比特流部分类型集合之外的比特流部分的其他参考层之一的层。36.根据权利要求35所述的编码器，其中，所述预定比特流部分类型集合包括以下一项或多项或全部：IRAP类型、GDR类型和ph_recovery_poc_cnt等于0的GDR。37.根据权利要求35至36中任一项所述的编码器，被配置为：在所述视频比特流(14)内提供能够根据所述OLS从所述视频比特流(14)中提取的比特流的级别指示。38.根据权利要求35至37中任一项所述的编码器，其中，所述级别指示包括以下一项或多项：编码图片缓冲器大小、解码图片缓冲器大小、图片大小、图片速率、最小压缩比、图片划分限制、比特率和缓冲器调度。39.一种由根据权利要求35至38中任一项所述的编码器提供的视频比特流(14)。40.一种表示编码视频序列(20)的视频比特流(14)，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分，其中每个比特流部分与所述视
频比特流(14)的多个层之一和所述视频比特流(14)的多个时间层之一相关联，其中，一个访问单元(22)内的比特流部分与一个时间层相关联，其中，所述比特流部分中的每一个是包括预定比特流部分类型集合的比特流部分类型之一，其中，所述视频比特流(14)包括：所述视频比特流(14)的输出层集OLS的OLS指示(18)，所述OLS包括所述视频比特流(14)的一个或多个层，参考层指示，针对所述OLS中的每个层，所述参考层指示指示相应层所依赖的参考层集合，以及时间层指示，针对所述OLS中的每个层，对于相应层的每个参考层，所述时间层指示指示所述相应层所依赖的相应参考层的所有比特流部分是否是所述预定比特流部分类型集合中的预定比特流部分类型，或者如果否，则指示所述比特流部分属于所述相应层所依赖的时间层；其中，在所述视频比特流(14)中，针对所述OLS中的其时间层指示指示相应层所依赖的预定参考层的所有比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型的每个层，对于所述预定参考层直接或间接依赖的每个其他参考层，如果包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(22)具有除了所述预定比特流部分类型集合之外的比特流部分，则针对相应层，在不对属于以下层的比特流部分使用帧间预测方法的情况下对包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(22)的比特流部分进行编码：直接或间接参考具有除了所述预定比特流部分类型集合之外的比特流部分的其他参考层之一的层。41.一种用于对表示编码视频序列(20)的视频比特流(14)进行(10)编码的方法，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分(16)，其中每个比特流部分与所述视频比特流(14)的多个层之一和所述视频比特流(14)的多个时间层之一相关联，其中，一个访问单元(22)内的比特流部分(16)与一个时间层相关联，其中，所述比特流部分(16)中的每一个是包括预定比特流部分类型集合的比特流部分类型之一，其中，所述方法包括：在所述视频比特流(14)中提供：所述视频比特流(14)的输出层集OLS的OLS指示(18)，所述OLS包括所述视频比特流(14)的一个或多个层，参考层指示，针对所述OLS中的每个层，所述参考层指示指示相应层所依赖的参考层集合，以及时间层指示，针对所述OLS中的每个层，对于相应层的每个参考层，所述时间层指示指示所述相应层所依赖的相应参考层的所有比特流部分(16)是否是所述预定比特流部分类
型集合中的预定比特流部分类型，或者如果不是，则指示所述比特流部分属于所述相应层所依赖的时间层；提供所述视频比特流(14)，使得：针对所述OLS中的其时间层指示指示相应层所依赖的预定参考层的所有比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型的每个层，对于所述预定参考层直接或间接依赖的每个其他参考层，包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(22)没有除了所述预定比特流部分类型集合之外的比特流部分，或者针对所述OLS中的其时间层指示指示相应层(20B)所依赖的预定参考层(20C)的所有比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型的每个层(20B)，对于所述预定参考层(20C)直接或间接依赖的每个其他参考层(20D)：包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(40A、40B)没有(40A)除了所述预定比特流部分类型集合之外的比特流部分，或者如果不是(40B)所述情况，则根据所述参考层指示，相应的其他参考层(20D)是直接参考层(20A)的参考层，根据所述参考层指示，所述直接参考层(20A)依赖于所述相应层(20B)。42.一种用于对表示编码视频序列(20)的视频比特流(14)进行(10)编码的方法，所述视频比特流(14)包括访问单元(22)的序列，每个访问单元包括一个或多个比特流部分，其中每个比特流部分与所述视频比特流(14)的多个层之一和所述视频比特流(14)的多个时间层之一相关联，其中，一个访问单元(22)内的比特流部分与一个时间层相关联，其中，所述比特流部分中的每一个是包括预定比特流部分类型集合的比特流部分类型之一，其中，所述方法包括：在所述视频比特流(14)中提供：所述视频比特流(14)的输出层集OLS的OLS指示(18)，所述OLS包括所述视频比特流(14)的一个或多个层，参考层指示，针对所述OLS中的每个层，所述参考层指示指示相应层所依赖的参考层集合，以及时间层指示，针对所述OLS中的每个层，对于相应层的每个参考层，所述时间层指示指示所述相应层所依赖的相应参考层的所有比特流部分是否是所述预定比特流部分类型集合中的预定比特流部分类型，或者如果否，则指示所述比特流部分属于所述相应层所依赖的时间层；针对所述OLS中的其时间层指示指示相应层所依赖的预定参考层的所有比特流部分是所述预定比特流部分类型集合中的预定比特流部分类型的每个层，对于所述预定参考层直接或间接依赖的每个其他参考层，如果包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部分的访问单元(22)具有除了所述预定比特流部分类型集合之外的比特流部分，则针对相应层，在不对属于以下层的比特流部分使用帧间预测方法的情况下对包括所述预定参考层的作为所述预定比特流部分类型集合中的预定比特流部分类型的比特流部
分的访问单元(22)的比特流部分进行编码：直接或间接参考具有除了所述预定比特流部分类型集合之外的比特流部分的其他参考层之一的层。43.一种用于提供多层视频比特流(14)的编码器(10)，被配置为：在多层比特流内，指示多个输出层集OLS，每个OLS指示所述多层视频比特流(14)的层子集，以及提供所述多层视频比特流(14)，使得针对所述OLS中的每个OLS，由相应OLS定义的所述多层视频比特流(14)的子比特流(12)能够与由所述OLS中的任何其他OLS定义的所述多层视频比特流(14)的子比特流(12)区分。44.根据权利要求43所述的编码器，被配置为：在所述多层视频比特流(14)内，指示所述多层视频比特流(14)可明确地归属于所述OLS之一。45.根据权利要求43至44中任一项所述的编码器，被配置为：指示所述多个OLS，使得针对所述OLS中的每个OLS，相应OLS的层子集与其他OLS的层子集中的任何一个层子集不同。46.根据权利要求43至45中任一项所述的编码器，被配置为：在所述多层视频比特流(14)内，指示所述多层视频比特流(14)的层集合可明确地归属于所述OLS之一。47.根据权利要求43至46中任一项所述的编码器，被配置为：通过检查以下内容来检查所述多层视频比特流(14)的一致性：针对所述OLS中的每个OLS，由相应OLS定义的所述多层视频比特流(14)的子比特流(12)是否能够与由所述OLS中的任何其他OLS定义的所述多层视频比特流(14)的子比特流(12)区分。48.一种由根据权利要求43至47中任一项所述的编码器提供的视频比特流(14)。49.一种多层视频比特流(14)，其中，所述视频比特流(14)包括多个输出层集OLS的指示，每个OLS指示所述多层视频比特流(14)的层子集，并且其中，在所述多层视频比特流(14)中，针对所述OLS中的每个OLS，由相应OLS定义的所述多层视频比特流(14)的子比特流(12)能够与由所述OLS中的任何其他OLS定义的所述多层视频比特流(14)的子比特流(12)区分。50.一种用于对视频比特流(14)进行解码的解码器(50)，其中，所述视频比特流(14)包括编码视频序列(20)的访问单元(22)，并且其中，每个访问单元(22)包括所述编码视频序列的一个或多个图片(26)，其中，所述图片中的每一个属于所述视频比特流(14)的一个或多个层之一，所述解码器(50)被配置为：从所述视频比特流(14)中导出：一个或多个输出层集OLS，每个O...

【专利技术属性】
技术研发人员：亚戈，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：