图像编解码方法和装置制造方法及图纸

本申请提供一种图像编解码方法和装置。本申请图像编码方法，包括：根据信道反馈信息确定当前图像的参考帧号，所述信道反馈信息用于指示解码端接收到的图像帧的信息；获取与所述参考帧号对应的第一图像帧的第一参考层号集合，所述第一参考层号集合包括N1个分层的层号，1≤N1＜L1，L1表示所述第一图像帧的总分层数；根据所述信道反馈信息和所述第一参考层号集合确定所述当前图像的参考层号；根据所述参考帧号和所述参考层号对所述当前图像进行视频编码以得到码流。本申请可以充分考虑到信道的变化情况，确保编码端和解码端所采用的参考图像一致，提高编码效率，避免花屏的情况。避免花屏的情况。避免花屏的情况。

【技术实现步骤摘要】
图像编解码方法和装置


[0001]本申请涉及视频编解码技术，尤其涉及一种图像编解码方法和装置。

技术介绍

[0002]可分级视频编码，又称可伸缩视频编码，是当前视频编码标准的扩展编码标准。在可分级视频编码中，通过在编码器中进行空域分级(分辨率分级)、时域分级或者质量分级，形成不同的码流层，从而在同一个码流中包含不同分辨率、不同帧率或者不同码率的视频码流。
[0003]编码器可以根据不同的编码配置将视频帧编码为基本层码流和增强层码流。基本层一般编码最低层空域、时域或者最低质量的码流；增强层以基本层作为基础，叠加编码更高层空域、时域或者更高质量的码流。随着增强层层数增加，编码的空域、时域或者质量层级也越来越高。传输时，优先保证基本层码流传输，当网络有余量时，逐步传输越来越高层的增强层码流。解码器先收到基本层码流并进行解码，然后根据收到的增强层从低到高层的码流，逐步解码越来越高的空域、时域或者质量层级的码流，通过将较高层级的信息叠加在较低层级，获得更高分辨率、更高帧率或者更高质量的视频重建帧。
[0004]但是，相关技术中的可分级编码方案会受到信道状况变化的影响，导致花屏。

技术实现思路

[0005]本申请提供一种图像编解码方法和装置，以充分考虑到信道的变化情况，确保编码端和解码端所采用的参考图像一致，提高编码效率，避免花屏的情况。
[0006]第一方面，本申请提供一种图像编码方法，包括：根据信道反馈信息确定当前图像的参考帧号，所述信道反馈信息用于指示解码端接收到的图像帧的信息；获取与所述参考帧号对应的第一图像帧的第一参考层号集合，所述第一参考层号集合包括N1个分层的层号，1≤N1＜L1，L1表示所述第一图像帧的总分层数；根据所述信道反馈信息和所述第一参考层号集合确定所述当前图像的参考层号；根据所述参考帧号和所述参考层号对所述当前图像进行视频编码以得到码流。
[0007]信道反馈信息用于指示解码端接收到的图像帧的信息。例如，当前图像帧的总分层数为4，编码端编码该当前图像帧得到4层对应的码流，但是传输过程中解码端只接收到当前图像帧的前3层对应的码流。此时编码端在编码下一帧时，用当前图像的第4层的重建图像作为参考图像，而在解码端没有接收到第4层对应的码流，因此解码端无法以当前图像的第4层的重建图像作为参考图像去解码下一帧，导致下一帧无法正常解码。因此本申请中，编码端先获取信道反馈信息，基于该信道反馈信息确定解码端接收到的图像帧的信息，例如，信道反馈信息包括解码端接收到的图像帧的帧号和层号，再基于此确定下一帧的参考帧，从而避免出现上述示例中的情况，确保编码端和解码端所使用的参考图像一致。
[0008]本申请中，可以预先设定视频中的图像帧在进行可分级编码时的最大分层数L
max
，例如L
max
＝6，该最大分层数可以是一个门限，即各个图像帧分层时最多不超过该层数，但实
际编码中可能不同的图像帧会得到不同的总分层数，第一图像帧的总分层数用L1表示，L1可以小于或等于前述最大分层数L
max
。第一图像帧被分成L1层后，可以有其中的N1个分层作为后续图像帧的参考图像，1≤N1＜L1，该N1个分层的层号组成第一图像帧的第一参考层号集合，亦即第一图像帧对应第一参考层号集合，只有层号在第一参考层号集合中的分层的重建图像才能作为后续图像帧的参考图像。视频中的其它图像帧同理，此处不再赘述。
[0009]在确定当前图像的参考帧号和参考层号后，可以从解码图像缓冲区(decoded picture buffer，DPB)提取与参考帧号和参考层号对应的重建图像作为当前图像的参考图像，从而基于该参考图像对当前图像进行可分级编码以得到码流。
[0010]本申请，通过基于信道反馈信息确定当前图像的参考帧号，再基于参考帧号和预先设定的参考层号集合确定当前图像的参考层号，该参考层号集合包括了参考帧号对应的图像帧的N个分层的层号，进而基于参考帧号和参考层号获取当前图像的参考图像，这样得到的参考图像充分考虑到了信道的变化情况，确保编码端和解码端所采用的参考图像一致，提高编码效率，避免花屏的情况。
[0011]在一种可能的实现方式中，所述根据所述参考帧号和所述参考层号对所述当前图像进行视频编码以得到码流，包括：从解码图像缓冲区DPB中获取与所述参考帧号和所述参考层号对应的重建图像，所述DPB中针对所述第一图像帧仅存有所述N1个分层的重建图像；将获取的与所述参考帧号和所述参考层号对应的所述重建图像作为参考图像，根据所述参考图像对所述当前图像进行所述视频编码以得到所述码流。
[0012]由于DPB中针对第一图像帧仅存有其N1个分层的重建图像，而不是存储第一图像帧的所有L1个分层的重建图像，这样可以节省DPB的存储空间，并且提高编码效率。
[0013]在一种可能的实现方式中，当只有一个解码端时，所述根据信道反馈信息确定当前图像的参考帧号，包括：获取多个所述信道反馈信息，所述信道反馈信息用于指示所述解码端接收到的图像帧的帧号；将所述多个信道反馈信息指示的多个帧号中最接近所述当前图像的帧号者确定为所述当前图像的参考帧号。
[0014]在一种可能的实现方式中，所述根据所述信道反馈信息和所述第一参考层号集合确定所述当前图像的参考层号，包括：将指示所述参考帧号的信道反馈信息所指示的最高层号确定为目标层号；当所述第一参考层号集合中包括所述目标层号时，将所述目标层号确定为所述当前图像的参考层号；或者，当所述第一参考层号集合中不包括所述目标层号时，将所述第一参考层号集合中小于且最接近所述目标层号的层号确定为所述当前图像的参考层号。
[0015]在一种可能的实现方式中，当有多个解码端时，所述根据信道反馈信息确定当前图像的参考帧号，包括：获取多组信道反馈信息，所述多组信道反馈信息和所述多个解码端对应，每组信道反馈信息包括多个所述信道反馈信息，所述信道反馈信息用于指示对应的解码端接收到的图像帧的帧号；根据所述多组信道反馈信息确定一个或多个共有帧号，所述共有帧号是指每组信道反馈信息中都有至少一个信道反馈信息指示了的帧号；根据所述一个或多个共有帧号确定所述当前图像的所述参考帧号。
[0016]本申请中，可以将指示所述共有帧号的信道反馈信息所指示的最高层号确定为目标层号；当所述第一参考层号集合中包括所述目标层号时，将所述目标层号确定为所述当前图像的参考层号；或者，当所述第一参考层号集合中不包括所述目标层号时，将所述第一
参考层号集合中小于且最接近所述目标层号的层号确定为所述当前图像的参考层号。
[0017]根据信道反馈信息确定的参考帧号，既可以符合信道状况，又可以将最接近当前图像的已接收图像帧确定为参考帧，可以提高编码效率。
[0018]在一种可能的实现方式中，所述根据所述信道反馈信息和所述第一参考层号集合确定所述当前图像的参考层号，包括：获取所述多组信道反馈信息的各组中指示所述参考帧号的信道反馈信息所指示的最高层号；将多个所述最高层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像编码方法，其特征在于，包括：根据信道反馈信息确定当前图像的参考帧号，所述信道反馈信息用于指示解码端接收到的图像帧的信息；获取与所述参考帧号对应的第一图像帧的第一参考层号集合，所述第一参考层号集合包括N1个分层的层号，1≤N1＜L1，L1表示所述第一图像帧的总分层数；根据所述信道反馈信息和所述第一参考层号集合确定所述当前图像的参考层号；根据所述参考帧号和所述参考层号对所述当前图像进行视频编码以得到码流。2.根据权利要求1所述的方法，其特征在于，所述根据所述参考帧号和所述参考层号对所述当前图像进行视频编码以得到码流，包括：从解码图像缓冲区DPB中获取与所述参考帧号和所述参考层号对应的重建图像，所述DPB中针对所述第一图像帧仅存有所述N1个分层的重建图像；将获取的所述与所述参考帧号和所述参考层号对应的重建图像作为参考图像，根据所述参考图像对所述当前图像进行所述视频编码以得到所述码流。3.根据权利要求1或2所述的方法，其特征在于，当只有一个解码端时，所述根据信道反馈信息确定当前图像的参考帧号，包括：获取多个所述信道反馈信息，所述信道反馈信息用于指示所述解码端接收到的图像帧的帧号；将所述多个信道反馈信息指示的多个帧号中最接近所述当前图像的帧号者确定为所述当前图像的参考帧号。4.根据权利要求3所述的方法，其特征在于，所述根据所述信道反馈信息和所述第一参考层号集合确定所述当前图像的参考层号，包括：将指示所述参考帧号的信道反馈信息所指示的最高层号确定为目标层号；当所述第一参考层号集合中包括所述目标层号时，将所述目标层号确定为所述当前图像的参考层号；或者，当所述第一参考层号集合中不包括所述目标层号时，将所述第一参考层号集合中小于且最接近所述目标层号的层号确定为所述当前图像的参考层号。5.根据权利要求1或2所述的方法，其特征在于，当有多个解码端时，所述根据信道反馈信息确定当前图像的参考帧号，包括：获取多组信道反馈信息，所述多组信道反馈信息和所述多个解码端对应，每组信道反馈信息包括多个所述信道反馈信息，所述信道反馈信息用于指示对应的解码端接收到的图像帧的帧号；根据所述多组信道反馈信息确定一个或多个共有帧号，所述共有帧号是指每组信道反馈信息中都有至少一个信道反馈信息指示了的帧号；根据所述一个或多个共有帧号确定所述当前图像的所述参考帧号。6.根据权利要求5所述的方法，其特征在于，所述根据所述信道反馈信息和所述第一参考层号集合确定所述当前图像的参考层号，包括：获取所述多组信道反馈信息的各组中指示所述参考帧号的信道反馈信息所指示的最高层号；将多个所述最高层号中的最小者确定为目标层号；
根据所述目标层号和所述第一参考层号集合确定所述当前图像的参考层号。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述信道反馈信息来自对应的解码端和/或传输链路上的网络设备。8.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述信道反馈信息基于已发送的码流生成。9.根据权利要求1或2所述的方法，其特征在于，所述根据信道反馈信息确定当前图像的参考帧号，包括：获取多个所述信道反馈信息，所述信道反馈信息用于指示所述解码端接收到的图像帧的帧号；将所述多个信道反馈信息指示的多个帧号中最接近所述当前图像的帧号者确定为目标帧号；当指示所述目标帧号的信道反馈信息所指示的最高层号大于或等于第二参考层号集合中的最高层号时，将所述目标帧号确定为所述参考帧号，所述第二参考层号集合是与所述目标帧号对应的第二图像帧的参考层号集合。10.根据权利要求9所述的方法，其特征在于，所述方法还包括：当指示所述目标帧号的信道反馈信息所指示的最高层号小于所述第二参考层号集合中的最高层号时，将所述多个信道反馈信息指示的多个帧号中的指定帧号确定为所述当前图像的参考帧号。11.根据权利要求4或6所述的方法，其特征在于，所述方法还包括：当所述第一参考层号集合中不包括所述目标层号时，若所述第一参考层号集合中不包括小于所述目标层号的层号，则将所述当前图像的前一帧的参考帧号确定为所述当前图像的参考帧号，将所述前一帧的参考层号确定为所述当前图像的参考层号。12.根据权利要求1
‑
11中任一项所述的方法，其特征在于，所述码流还包括所述第一参考层号集合。13.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述码流还包括所述参考帧号。14.根据权利要求1
‑
12中任一项所述的方法，其特征在于，所述码流还包括所述参考帧号和所述参考层号。15.根据权利要求1
‑
3中任一项所述的方法，其特征在于，当所述当前图像为图像分片时，所述信道反馈信息包括所述解码端接收到的图像帧的图像分片号和所述图像分片号对应的层号；所述根据所述信道反馈信息和所述第一参考层号集合确定所述当前图像的参考层号，包括：若所述当前图像的图像分片号和所述解码端接收到的图像帧的图像分片号相同，将所述解码端接收到的图像帧的所述图像分片号对应的层号确定为目标层号；当所述第一参考层号集合中包括所述目标层号时，将所述目标层号确定为所述当前图像的参考层号；或者，当所述第一参考层号集合中不包括所述目标层号时，将所述第一参考层号集合中小于且最接近所述目标层号的层号确定为所述当前图像的参考层号。
16.一种图像解码方法，其特征在于，包括：获取码流；解析所述码流以获取当前图像的参考帧号；获取与所述参考帧号对应的第三图像帧的第三参考层号集合，所述第三参考层号集合包括N2个分层的层号，1≤N2＜L2，L2表示所述第三图像帧的总分层数；根据所述第三参考层号集合确定所述当前图像的参考层号；根据所述参考帧号和所述参考层号进行视频解码以得到所述当前图像的重建图像。17.根据权利要求16所述的方法，其特征在于，所述根据所述参考帧号和所述参考层号进行视频解码以得到所述当前图像的重建图像，包括：从解码图像缓冲区DPB中获取与所述参考帧号和所述参考层号对应的重建图像；将获取的所述与所述参考帧号和所述参考层号对应的重建图像作为参考图像，根据所述参考图像进行所述视频解码以得到所述当前图像的重建图像。18.根据权利要求16或17所述的方法，其特征在于，所述方法还包括：将所述当前图像的N3个分层的重建图像存入DPB中，所述当前图像的第四参考层号集合包括M个分层的层号，所述M个分层包括所述N3个分层，1≤M＜L3，L3表示所述当前图像的总分层数；或者，将所述N3个分层中的最高层的重建图像存入所述DPB中。19.根据权利要求18所述的方法，其特征在于，所述方法还包括：将所述当前图像的第L4层的重建图像送显，L4表示所述当前图像解码得到的最高层的层号。20.根据权利要求16
‑
19中任一项所述的方法，其特征在于，所述根据所述第三参考层号集合确定所述当前图像的参考层号，包括：确定解码得到的所述第三图像帧的多个重建图像分别对应的层号中的最高层号；当所述第三参考层号集合中包括所述最高层号时，将所述最高层号确定为所述当前图像的参考层号；或者，当所述参考层号集合中不包括所述最高层号时，将所述第三参考层号集合中小于且最接近所述最高层号的层号确定为所述当前图像的参考层号。21.根据权利要求20所述的方法，其特征在于，所述方法还包括：当所述第三参考层号集合中不包括所述最高层号时，若所述第三参考层号集合中不包括小于所述最高层号的层号，则将所述当前图像的前一帧的参考帧号确定为所述当前图像的参考帧号，将所述前一帧的参考层号确定为所述当前图像的参考层号。22.根据权利要求16
‑
21中任一项所述的方法，其特征在于，所述方法还包括：确定接收到的图像帧的帧号和层号；向编码端发送信道反馈信息，所述信道反馈信息用于指示所述帧号和所述层号。23.根据权利要求22所述的方法，其特征在于，所述向编码端发送信道反馈信息，包括：当根据所述码流中的帧号确定开始解析第二帧时，向所述编码端发送所述信道反馈信息，所述信道反馈信息用于指示第一帧的帧号和接收到的所述第一帧的最高层的层号，所述第一帧是所述第二帧的前一帧；或者，当根据接收到的图像帧的层号确定所述第一帧已接收完时，向所述编码端发送所述信
道反馈信息，所述信道反馈信息用于指示所述第一帧的帧号和接收到的所述第一帧的最高层的层号。24.根据权利要求22或23所述的方法，其特征在于，当所述当前图像为图像分片时，所述方法还包括：确定接收到的图像帧的图像分片号；相应的，所述信道反馈信息还用于指示所述图像分片号。25.一种图像编码装置，其特征在于，包括：帧间预测模块，用于根据信道反馈信息确定当前图像的参考帧号，所述信道反馈信息用于指示解码端接收到的图像帧的信息；获取与所述参考帧号对应的第一图像帧的第一参考层号集合，所述第一参考层号集合包括N1个分层的层号，1≤N1＜L1，L1表示所述第一图像帧的总分层数；根据所述信道反馈信...

【专利技术属性】
技术研发人员：宋翼，张怡轩，邸佩云，陈绍林，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：