用于在已编码图片中支持混合NAL单元类型的方法技术

提供了用于对至少一个视频流进行解码的方法和系统。方法包括：接收已编码图片的第一切片的第一网络抽象层(NAL)单元和已编码图片的第二切片的第二VCL NAL单元，第一VCL NAL单元具有第一VCL NAL单元类型，第二VCL NAL单元具有不同于第一VCL NAL单元类型的第二VCL NAL单元类型；以及对已编码图片进行解码，解码包括：基于第一VCL NAL单元的第一VCL NAL单元类型和第二VCL NAL单元的第二VCL NAL单元类型，或者基于由至少一个处理器接收的指示符指示已编码图片包括混合VCL NAL单元类型，来确定已编码图片的图片类型。定已编码图片的图片类型。定已编码图片的图片类型。

【技术实现步骤摘要】
【国外来华专利技术】用于在已编码图片中支持混合NAL单元类型的方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年1月1日提交的第62/956,254号美国临时专利申请和2020年10月22日提交的第17/077,035号美国专利申请的优先权，这两个申请的全部内容并入本文中。


[0003]本公开的实施例涉及视频编码和解码，更具体地涉及用于使已编码图片支持混合网络抽象(NAL)单元类型。

技术介绍

[0004]在下一代视频编码(Versatile Video Coding，VVC)规范草案JVET
‑
P2001(其全部内容并入本文中)(由JVET
‑
Q0041编辑更新)中，支持混合网络抽象层(NAL)单元类型特征，该特征使得所具有的一个或多个切片NAL单元的NAL单元类型能够等于帧内随机存取点(IRAP)或干净随机存取(CRA)，以及使得一个或多个切片NAL单元的NAL单元类型能够等于非IRAP。该特征可用于将两个不同的比特流合并成一个比特流，或者对每个局部区域(子图片)支持不同的随机存取周期。目前，定义如下语法和语义以支持该功能：
[0005]在下面的表1中提供了示例性图片参数集原始字节序列载荷(RBSP)语法。
[0006]表1
[0007][0008]语法元素mixed_nalu_types_in_pic_flag等于1，则表示参考图片参数集(PPS)的每个图片具有多于一个视频编码层(VCL)NAL单元，且VCL NAL单元不具有相同的nal_unit_type值，且该图片不是IRAP图片。语法元素mixed_nalu_types_in_pic_flag等于0，则表示参考PPS的每个图片具有一个或多个VCL NAL单元，且参考PPS的每个图片的VCL NAL单元具有相同的nal_unit_type值。
[0009]当语法元素no_mixed_nalu_types_in_pic_constraint_flag等于1时，语法元素mixed_nalu_types_in_pic_flag的值应等于0。
[0010]根据当前VVC规范，NAL单元类型代码和NAL单元类型类别如下面的表2所示的定义。
[0011]表2
[0012][0013][0014]对于图片picA中的、其nal_unit_type值nalUnitTypeA在IDR_W_RADL至CRA_NUT(包括端点)范围内的每个切片(图片picA还包含具有另一个nal_unit_type值的一个或多个切片(即，图片picA的mixed_nalu_types_in_pic_flag的值等于1))，应用如下：
[0015](A)切片应属于子图片subpicA，其中，对于子图片subpicA，对应语法元素subpic_treated_as_pic_flag[i]的值等于1。
[0016](B)切片不应属于包含VCL NAL单元的picA的子图片，其中切片的语法元素nal_unit_type不等于nalUnitTypeA。
[0017](C)对于编码层视频序列(CLVS)中按解码次序在后面的所有PU，subpicA中的切片的RefPicList[0]和RefPicList[1]均不应包括在有效条目中按解码次序位于picA之前的任何图片。
[0018]对于任何特定图片的VCL NAL单元，应用如下：
[0019]如果语法元素mixed_nalu_types_in_pic_flag等于0，则对于图片的所有已编码切片NAL单元，语法元素nal_unit_type的值应该相同。图片或PU称为与图片或PU的已编码切片NAL单元具有相同的NAL单元类型。
[0020]否则(语法元素mixed_nalu_types_in_pic_flag等于1)，一个或多个VCL NAL单元应全部具有在IDR_W_RADL至CRA_NUT(包括端点)范围内的特定nal_unit_type值，而其他VCL NAL单元应全部具有在TRAIL_NUT至RSV_VCL_6(包括端点)范围内的特定nal_unit_type值，或者其nal_unit_type值等于GDR_NUT。

技术实现思路

[0021]在上述
技术介绍
部分中描述的混合VCL NAL单元类型的当前设计可能存在一些问题。
[0022]在一些情况下，当图片由混合VCL NAL单元类型组成时，图片的图片类型可能是模棱两可的。
[0023]在一些情况下，当NAL单元类型在同一个PU(图片)中混合时，时间标识符(例如，TemporalId)约束可能发生冲突。
[0024]例如，当前VVC规范对TemporalId的约束如下：当语法元素nal_unit_type在IDR_W_RADL至RSV_IRAP_12(包括端点)的范围内时，语法元素TemporalId应等于0。当语法元素nal_unit_type等于STSA_NUT时，语法元素TemporalId不应等于0。
[0025]在一些情况下，如果语法元素mixed_nalu_types_in_pic_flag在PPS中用信号表示，则至少两个PPS NAL单元应由CLVS中的切片NAL单元引用。此外，当提取子图片时，应通过改变语法元素mixed_nalu_types_in_pic_flag的值来重写相关联的PPS。
[0026]在一些情况下，当前设计可能不支持随机存取解码前置(RADL)/随机存取跳过前置(RASL)NAL单元与图片(PU)中的拖尾图片共存。
[0027]在一些情况下，当一层中的图片引用不同层中的另一图片时，语法元素mixed_nalu_types_in_pic_flag可能不对齐。
[0028]本公开的实施例可解决上文描述的一个或多个问题和/或其他问题。
[0029]根据一个或多个实施例，提供由至少一个处理器执行的方法。该方法包括：接收已编码图片的第一切片的第一视频编码层(VCL)网络抽象层(NAL)单元和已编码图片的第二切片的第二VCL NAL单元，第一VCL NAL单元具有第一VCL NAL单元类型，第二VCL NAL单元具有不同于第一VCL NAL单元类型的第二VCL NAL单元类型；以及对已编码图片进行解码，解码包括：基于第一VCL NAL单元的第一VCL NAL单元类型和第二VCL NAL单元的第二VCL NAL单元类型，或者基于由至少一个处理器接收的指示符指示已编码图片包括不同的VCL NAL单元类型，来确定已编码图片的图片类型。
[0030]根据一个实施例，该确定包括：基于第一VCL NAL单元类型指示第一VCL NAL单元包含拖尾图片已编码切片，以及第二VCL NAL单元类型指示第二VCL NAL单元包含瞬时解码刷新(IDR)图片已编码切片或干净随机存取(CRA)图片已编码切片，来确定已编码图片是拖尾图片。
[0031]根据一个实施例，该确定包括：基于第一V本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由至少一个处理器执行的方法，所述方法包括：接收已编码图片的第一切片的第一视频编码层VCL网络抽象层NAL单元和所述已编码图片的第二切片的第二VCL NAL单元，所述第一VCL NAL单元具有第一VCL NAL单元类型，所述第二VCL NAL单元具有不同于所述第一VCL NAL单元类型的第二VCL NAL单元类型；以及对所述已编码图片进行解码，所述解码包括：基于所述第一VCL NAL单元的所述第一VCL NAL单元类型和所述第二VCL NAL单元的所述第二VCL NAL单元类型，或者基于由所述至少一个处理器接收的指示所述已编码图片包括混合VCL NAL单元类型的指示符，来确定所述已编码图片的图片类型。2.根据权利要求1所述的方法，其中，所述确定包括：基于所述第一VCL NAL单元类型指示所述第一VCL NAL单元包含拖尾图片已编码切片，以及所述第二VCL NAL单元类型指示所述第二VCL NAL单元包含瞬时解码刷新IDR图片已编码切片或干净随机存取CRA图片已编码切片，来确定所述已编码图片是拖尾图片。3.根据权利要求1所述的方法，其中，所述确定包括：基于所述第一VCL NAL单元类型指示所述第一VCL NAL单元包含随机存取解码前置RADL图片已编码切片，以及所述第二VCL NAL单元类型指示所述第二VCL NAL单元包含瞬时解码刷新IDR图片已编码切片或干净随机存取CRA图片已编码切片，来确定所述已编码图片是RADL图片。4.根据权利要求1所述的方法，其中，所述确定包括：基于所述第一VCL NAL单元类型指示所述第一VCL NAL单元包含逐步式时间子层存取STSA图片已编码切片，以及所述第二VCL NAL单元类型指示所述第二VCL NAL单元不包含瞬时解码刷新IDR图片已编码切片，来确定所述已编码图片是STSA图片。5.根据权利要求1所述的方法，其中，所述确定包括：基于所述第一VCL NAL单元类型指示所述第一VCL NAL单元包含逐步式时间子层存取STSA图片已编码切片，以及所述第二VCL NAL单元类型指示所述第二VCL NAL单元不包含干净随机存取CRA图片已编码切片，来确定所述已编码图片是拖尾图片。6.根据权利要求1所述的方法，其中，所述确定包括：基于所述第一VCL NAL单元类型指示所述第一VCL NAL单元包含逐渐解码刷新GDR图片已编码切片，以及所述第二VCL NAL单元类型指示所述第二VCL NAL单元包含不包含瞬时解码刷新IDR图片已编码切片或干净随机存取CRA图片已编码切片，来确定所述已编码图片是拖尾图片。7.根据权利要求1所述的方法，其中，所述指示符是标志，以及所述确定包括：基于所述标志指示所述已编码图片包括混合VCL NAL单元类型，来确定所述已编码图片是拖尾图片。8.根据权利要求1所述的方法，其中，所述指示符是标志，以及对所述已编码图片进行解码进一步包括：基于所述标志指示所述已编码图片包括混合VCL NAL单元类型，来确定所述已编码图片的时间ID为0。
9.根据权利要求1所述的方法，其中，所述指示符是标志，以及所述方法进一步包括：在图片报头或切片报头中接收所述标志。10.根据权利要求1所述的方法，其中，所述指示符是标志，且所述已编码图片位于第一层中，以及所述方法进一步包括：接收所述标志；以及基于所述标志指示所述已编码图片包括混合VCL NAL单元类型，来确定位于第二层中的附加已编码图片包括混合VCL NAL单元类型，其中所述第二层为所述第一层的参考层。11.一种系统，包括：存储器，配置成存储计算机程序代码；以及至少一个处理器，配置成接收至少一个已编码视频流、访问所述计算机程序代码并根据所述计算机程序代码的指令操作，所述计算机程序代码包括：解码代码，配置成使得所述至少一个处理器对来自所述至少一个已编码视频流的已编码图片进行解码，所述解码代...

【专利技术属性】
技术研发人员：崔秉斗，史蒂芬，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：