支持一个图像内的混合NAL单元类型的解码方法、译码设备和解码器技术

本发明专利技术公开了一种视频译码机制。所述机制包括接收包括标志和与图像相关联的多个子图像的码流。所述多个子图像包含在多个视频译码层(video coding layer，VCL)网络抽象层(network abstraction layer，NAL)单元中。所述机制根据所述标志的值确定所述图像的所述子图像中的一个或多个子图像所在的所述VCL NAL单元都具有第一特定NAL单元类型值，且所述图像的其它VCL NAL单元都具有不同的第二特定NAL单元类型值。所述子图像中的一个或多个子图像是根据所述第一特定NAL单元类型值或所述第二特定NAL单元类型值解码的。所述子图像中的一个或多个子图像被转发，以便作为解码视频序列的一部分显示。序列的一部分显示。序列的一部分显示。

【技术实现步骤摘要】
支持一个图像内的混合NAL单元类型的解码方法、译码设备和解码器
[0001]本申请是分案申请，原申请的申请号是202080019678.8，原申请日是2020年03月11日，原申请的全部内容通过引用结合在本申请中。


[0002]本专利技术大体上涉及视频译码，具体涉及视频译码中图像的子图像的译码。

技术介绍

[0003]即使在视频较短的情况下也需要对大量的视频数据进行描述，当数据要在带宽容量受限的通信网络中发送或以其它方式发送时，这样会造成困难。因此，视频数据通常要先压缩然后在现代电信网络中发送。由于内存资源有限，当在存储设备中存储视频时，视频的大小也会成为问题。视频压缩设备通常在源侧使用软件和/或硬件，以在发送或存储之前对视频数据进行译码，从而减少用来表示数字视频图像所需的数据量。然后，压缩数据在目的侧由用于对视频数据进行解码的视频解压缩设备接收。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术在几乎不影响图像质量的情况下能够提高压缩比。

技术实现思路

[0004]在一个实施例中，本专利技术包括在解码器中实现的方法，所述方法包括：所述解码器的接收器接收包括标志和与图像相关联的多个子图像的码流，其中，所述子图像包含在多个视频译码层(video coding layer，VCL)网络抽象层(network abstraction layer，NAL)单元中；所述处理器根据所述标志的值确定所述图像的所述子图像中的一个或多个子图像所在的所述VCL NAL单元都具有第一特定NAL单元类型值，且所述图像的其它VCL NAL单元都具有不同的第二特定NAL单元类型值；所述处理器根据所述第一特定NAL单元类型值或所述第二特定NAL单元类型值，解码所述子图像中的一个或多个子图像。
[0005]一个图像可以分割为多个子图像。这些子图像可以被编码到不同的子码流中，然后，这些子码流可以融合成一个用于传输到解码器的码流。例如，子图像可以用于虚拟现实(virtual reality，VR)应用。在一个具体的示例中，用户可以在任何时候只观看VR图像的一部分。因此，不同的子图像可以以不同的分辨率传输，使得可以为可能显示的子图像分配更多带宽，且可以压缩不太可能显示的子图像，以提高译码效率。此外，视频流可以通过使用帧内随机接入点(intra
‑
random access point，IRAP)图像进行编码。IRAP图像根据帧内预测编码，且可以在不参考其它图像的情况下解码。非IRAP图像可以根据帧间预测编码，且可以通过参考其它图像来解码。非IRAP图像比IRAP图像压缩更明显。但是，视频序列必须使用IRAP图像开始解码，因为IRAP图像包含足够的数据，无需参考其它图像即可解码。IRAP图像可用于子图像，支持动态分辨率变化。因此，视频系统可以为更有可能被观看的子图像传输较多的IRAP图像(例如，根据用户当前视角)，为不太可能被观看的子图像传输较少的
IRAP图像，以进一步提高译码效率。但是，子图像是同一图像的一部分。因此，该方案可以得到同时包含IRAP子图像和非IRAP子图像的图像。一些视频系统不能处理同时具有IRAP和非IRAP区域的混合图像。本专利技术包括表示图像是否为混合图像并因此同时包含IRAP和非IRAP分量的标志。此外，所述标志约束所述图像，使得所述混合图像正好包含两种NAL单元类型：一种IRAP类型和一种非IRAP类型。根据该标志，所述解码器在进行解码时可以用不同的方式处理不同的子图像，以便正确地解码和显示所述图像/子图像。该标志可以存储在PPS中，且可以称为mixed_nalu_types_in_pic_flag。因此，所公开的机制使得可以实现其它功能。此外，所公开的机制在使用子图像码流时支持动态分辨率变化。因此，所公开的机制使得可以在流式传输VR视频时传输低分辨率子图像码流，而不会显著影响用户体验。因此，所公开的机制提高了译码效率，从而使编码器和解码器使用较少的网络资源、存储器资源和/或处理资源。
[0006]可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述第一特定NAL单元类型值表示所述图像包含单个类型的帧内随机接入点(intra
‑
random access point，IRAP)子图像，所述第二特定NAL单元类型值表示所述图像包含单个类型的非IRAP子图像。
[0007]可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述码流包括包含所述标志的图像参数集(picture parameter set，PPS)。
[0008]可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述第一特定NAL单元类型值等于具有可解码随机接入前置图像的即时解码刷新(instantaneous decoding refresh，IDR)(IDR_W_RADL)、没有前置图像的IDR(IDR_N_LP)或纯随机接入(clean random access，CRA)NAL单元类型(CRA_NUT)。
[0009]可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述第二特定NAL单元类型值等于后置图像NAL单元类型(TRAIL_NUT)、可解码随机接入前置图像NAL单元类型(RADL_NUT)或跳过随机接入前置(random access skipped leading，RASL)图像NAL单元类型(RASL_NUT)。
[0010]可选地，根据上述任一方面，在所述方面的另一种实现方式中，所述标志为mixed_nalu_types_in_pic_flag。
[0011]可选地，根据上述任一方面，在所述方面的另一种实现方式中，当表示参考所述PPS的每个图像具有一个以上的VCL NAL单元且所述VCL NAL单元的NAL单元类型(nal_unit_type)值不相同时，mixed_nalu_types_in_pic_flag等于1，当参考所述PPS的每个图像具有一个或多个VCL NAL单元且参考所述PPS的每个图像的所述VCL NAL单元的nal_unit_type值相同时，mixed_nalu_types_in_pic_flag等于0。
[0012]在一个实施例中，本专利技术包括一种在编码器中实现的方法，所述方法包括：所述处理器确定图像中包含多个不同类型的子图像；所述处理器将所述图像的所述子图像编码到码流中的多个视频译码层(video coding layer，VCL)网络抽象层(network abstraction layer，NAL)单元中；所述处理器将标志编码到所述码流中，所述标志被设置为表示所述图像的所述子图像中的一个或多个子图像所在的所述VCL NAL单元都具有第一特定NAL单元类型值，且所述图像的其它VCL NAL单元都具有不同的第二特定NAL单元类型值；耦合到所述处理器的存储器存储用于发送到解码器的所述码流。
[0013]一个图像可以分割为多个子图像。这些子图像可以被编码到不同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解码方法，其特征在于，所述方法包括：接收包括标志和与图像相关联的多个子图像的码流，其中，所述子图像包含在多个视频译码层VCL网络抽象层NAL单元中；其中，所述码流包括包含所述标志的图像参数集PPS；根据所述标志的值确定所述图像的所述子图像中的一个或多个子图像所在的所述VCL NAL单元都具有第一特定NAL单元类型值，且所述图像中除所述一个或多个子图像之外的其它子图像所在的VCL NAL单元都具有不同的第二特定NAL单元类型值；根据所述第一特定NAL单元类型值或所述第二特定NAL单元类型值，解码所述子图像中的一个或多个子图像。2.根据权利要求1所述的方法，其特征在于，所述第一特定NAL单元类型值表示所述图像包含单个类型的帧内随机接入点IRAP子图像，所述第二特定NAL单元类型值表示所述图像包含单个类型的非IRAP子图像。3.根据权利要求1或2所述的方法，其特征在于，所述第一特定NAL单元类型值等于具有可解码随机接入前置图像的即时解码刷新IDR(IDR_W_RADL)、没有前置图像的IDR(IDR_N_LP)或纯随机接入CRA NAL单元类型(CRA_NUT)。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述标志为mixed_nalu_types_in_pic_flag。5.根据权利要求1至4中任一项所述的方法，其特征在于，当表示参考所述PPS的每个图像具有一个以上的VCL NAL单元且所述VCL NAL单元的NAL单元类型(nal_unit_type)值不相同时，mixed_nalu_types_in_pic_flag等于1，当参考所述PPS的每个图像具有一个或多个VCL NAL单元且参考所述PPS的每个图像的所述VCL NAL单元的nal_unit_type值相同时，mixed_nalu_types_in_pic_flag等于0。6.一种视频译码设备，其特征在于，包括：处理器、耦合到所述处理器的接收器、耦合到所述处理器的存储器和耦合到所述处理器的发送器，其中，所述处理器、所述接收器、所述存储器和所述发送器用于执行根据权利要求1至5中任一项所述的方法。7.一种非瞬时性计算机可读介质，其特征在于，包括供视频译码设备使用的计算机程序产品，其中，所述计算机程序产品包括存储在所述非瞬时性计算机可读介质中的计算机可执行指令，当所述计算机可执行指令由处理器执行时，使所述视频译码设备执行根据权利要求1至5中任一项所述的方法。8.一种解码器，其特征在于，包括：接收模块，用于接收包括标志和与图像相关联的多个子图像的码流，其中，所述多个子图像包含在多个视频译码层VCL网络抽象层NAL单元中；其中，所述码流包括包含所述标志的图像参数集PPS；确定模块，用于根据所述标志的值确定所述图像的所述子图像中的一个或多个子图像所在的所述VCL NAL单元都具有第一特定NAL单元类型值，且所述图像中除所述一个或多个子图像之外的其它子图像所在的VCL NAL单元都具有不同的第二特定NAL单元类型值；解码模块...

【专利技术属性】
技术研发人员：王业奎，弗努，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：