用于视频编码和解码的装置、方法和计算机程序制造方法及图纸

提供了用于可伸缩视频编码和解码的方法、装置和计算机程序产品。在一些实施例中，介绍了编码/解码增强层图像的改进方法以使得能够使用增强的质量和/或空间分辨率以及使用高编码效率来编码增强层图像内的区域。增强层子图像具有小于对应的增强层图像的大小。相对于之前编码的基础层图像或增强层图像来对它们进行编码。增强信息可以是以下形式：增加色度保真度；增加位深；增加区域质量；或增加区域分辨率。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于视频编码和解码的装置、方法和计算机程序。
技术介绍
视频编解码器包括：编码器，其将输入视频变换到适合于存储和/或传输的压缩表示，以及解码器，其能够将压缩的视频表示解压缩回到能够观看的形式，或它们中的任何一个。典型地，编码器丢弃原始视频序列中的一些信息，以便以更加紧凑的形式来表示视频，例如以较低的比特率。可伸缩视频编码指的是编码结构，在该编码结构中，一种比特流能够含有以不同比特率、分辨率或帧速率的内容的多种表示。可伸缩比特流典型地由“基础层”(其提供可以使用的最低质量视频)和一个或多个增强层(当其连同较低层一起被接收和解码时，其增强视频质量)组成。为了改进针对增强层的编码效率，该层的编码表示典型地依赖于较低层。针对视频可伸缩(还被称为信噪比或SNR)和/或空间可伸缩的可伸缩视频编解码器可以如下来实现。对于基础层，使用传统的非可伸缩视频编码器和解码器。基础层的重建/解码图像被包含在针对增强层的参考图像缓冲器中。在使用针对帧间预测的参考图像列表(多个)的编解码器中，类似于增强层的解码参考图像，可以将基础层解码图像插入到针对编码/解码增强层图像的参考图像列表(多个)中。因此，编码器可以选择基础层参考图像作为帧间预测参考以及在编码比特流中典型地使用参考图像索引来指示它的使用。解码器从该比特流(例如从参考图像索引)解码：基础层图像用作针对增强层的帧间预测参考。除了质量可伸缩外，能够通过空间可伸缩，其中以比增强层图像更高的分辨率来编码基础层图像，位深可伸缩，其中以比增强层图像(例如，10或12比特)更低的位深(例如8比特)来编码基础层图像，以及色度格式可伸缩，其中基础层图像在色度中提供比增强层图像(例如，4：2：0格式)更高的保真度(例如，4：4：4色度格式)，来获得可伸缩。在某些情况下，将期望的是，增强仅图像内的区域而不是整个增强层图像。然而，如果在当前的可伸缩视频编码解决方案中实现，则此类可伸缩将具有太高的复杂度开销或遭受到编码效率之苦。例如，考虑位深可伸缩，其中仅视频图像内的区域是将以较高位深编码的目标，然而当前可伸缩编码解决方案要求以高位深将整个图像编码，因此大幅地增加了复杂度。对于色度格式可伸缩的情况，整个图像的参考存储器应当是以4：4：4格式，即使仅增强图像的某个区域，因此增加了存储器需求。类似地，如果仅针对选择的区域应用空间可伸缩，则传统方法要求以全分辨率来存储和维护整个增强层图像。
技术实现思路
本专利技术从以便使得能够使用增强的质量和/或空间分辨率以及使用高编码效率来编码增强层图像内的区域的考虑出发，引入了增强层子图像的新构思。根据第一实施例的方法包括一种用于编码针对给定基础层图像的一个或多个增强层子图像的方法，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小，所述方法包括编码和重建所述基础层图像；编码和重建所述一个或多个增强层子图像；从所述重建的一个或多个增强层子图像重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。根据一个实施例，所述方法还包括：相对于所述基础层图像预测性地编码所述一个或多个增强层子图像。根据一个实施例，允许相对于较早编码的增强层图像预测性地编码所述增强层子图像。根据一个实施例，允许相对于较早编码的增强层子图像预测性地编码所述增强层子图像。根据一个实施例，所述增强层子图像含有针对对应的基础层图像的增强信息，所述增强信息包含以下中的至少一个：-相对于所述对应的基础层图像的色度，增加所述一个或多个增强层子图像的色度的保真度；-相对于所述对应的基础层图像的位深，增加所述一个或多个增强层子图像的位深；-相对于所述对应的基础层图像的质量，增加所述一个或多个增强层子图像的质量；或-相对于所述对应的基础层图像的空间分辨率，增加所述一个或多个增强层子图像的空间分辨率。根据一个实施例，使用与编码针对增强层图像的增强层信息一样的语法来编码针对子图像的增强层信息。根据一个实施例，所述增强层子图像的左上角可以与图像的最大编码单元(LCU)的左上角对齐。根据一个实施例，所述增强层子图像的大小可以被限制为最大编码单元(LCU)的大小或预测单元(PU)的大小或编码单元(CU)的大小的整数倍(1，2，3，4，…)。根据一个实施例，如果相对于基础层预测性地编码所述增强层子图像，则预测过程可以被限制以便仅在基础层图像的共位区域内的像素是能够使用的。根据一个实施例，增强层子图像的数量能够针对不同图像而改变或保持固定。根据一个实施例，如果相对于基础层预测性地编码所述增强层子图像，则预测过程可以涉及不同的图像处理操作。根据一个实施例，第一增强层子图像可以增强与第二增强层子图像不同的图像特征。根据一个实施例，单个增强层子图像可以增强图像的多个特征。根据一个实施例，所述增强层子图像的大小和位置可以针对不同图像而改变或保持固定。根据一个实施例，所述增强层子图像的方位和大小可以与在所述基础层图像中使用的图块或片相同。根据一个实施例，所述增强层子图像的大小和方位可以被限制使得它们在空间上不重叠。根据一个实施例，可以允许所述增强层子图像的大小和方位在空间上重叠。根据一个实施例，可以在补充增强信息(SEI)消息的形式中实现增强层子图像构思。根据一个实施例，所述一个或多个增强层子图像被转换为在所述重建的一个或多个增强层子图像的区域之外的从所重建的基础层图像复制到所重建的增强层图像的样本中使用的相同的格式。一种根据第二实施例的装置，所述装置包括：视频编码器，其被配置为用于编码包括基础层和至少一个增强层的可伸缩比特流，其中所述视频编码器还被配置为用于编码和重建基础层图像；编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；从所述重建的一个或多个增强层子图像重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。根据第三实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质在其上存储有供装置使用的代码，当由处理器运行所述代码时，所述代码使得所述装置执行：编码包括基础层和本文档来自技高网...

【技术保护点】
一种方法，包括：编码和重建基础层图像；编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。

【技术特征摘要】
【国外来华专利技术】2012.07.02 US 61/667,3681.一种方法，包括：
编码和重建基础层图像；
编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一
个或多个增强层子图像具有小于对应的增强层重建图像的大小；
从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在
所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层
图像复制到所重建的增强层图像。
2.根据权利要求1所述的方法，还包括：
相对于所述基础层图像预测性地编码所述一个或多个增强层子图像。
3.根据权利要求1或2所述的方法，其中
允许相对于较早编码的增强层图像预测性地编码所述增强层子图像。
4.根据任何前述权利要求所述的方法，其中
允许相对于较早编码的增强层子图像预测性地编码所述增强层子图像。
5.根据任何前述权利要求所述的方法，其中
所述增强层子图像含有针对对应的基础层图像的增强信息，所述增强
信息包含以下中的至少一个：
-相对于所述对应的基础层图像的色度，增加所述一个或多个增强层子
图像的色度的保真度；
-相对于所述对应的基础层图像的位深，增加所述一个或多个增强层子
图像的位深；
-相对于所述对应的基础层图像的质量，增加所述一个或多个增强层子
图像的质量；或
-相对于所述对应的基础层图像的空间分辨率，增加所述一个或多个增
强层子图像的空间分辨率。
6.根据权利要求5所述的方法，还包括
使用与编码针对增强层图像的增强信息一样的语法来编码针对子图像

\t的增强信息。
7.根据任何前述权利要求所述的方法，还包括
使所述增强层子图像的左上角与图像的最大编码单元(LCU)的左上
角对齐。
8.根据权利要求5所述的方法，还包括
将所述增强层子图像的大小限制为最大编码单元(LCU)的大小或预
测单元(PU)的大小或编码单元(CU)的大小的整数倍。
9.根据权利要求2-8中任何一项所述的方法，还包括
如果相对于基础层预测性地编码所述增强层子图像，则限制预测过程
以便仅在基础层图像的共位区域内的像素是能够使用的。
10.根据权利要求2-9中任何一项所述的方法，还包括
如果相对于基础层预测性地编码所述增强层子图像，则在预测过程中
涉及不同的图像处理操作。
11.根据任何前述权利要求所述的方法，其中
第一增强层子图像增强与第二增强层子图像不同的图像特征。
12.根据任何前述权利要求所述的方法，其中
单个增强层子图像增强图像的多个特征。
13.根据任何前述权利要求所述的方法，其中
所述增强层子图像的方位和大小与在所述基础层图像中使用的图块或
片相同。
14.根据任何前述权利要求所述的方法，其中
所述增强层子图像的大小和方位被限制使得它们在空间上不重叠。
15.根据权利要求1-13中的任何一项所述的方法，其中
允许所述增强层子图像的大小和方位在空间上重叠。
16.根据任何前述权利要求所述的方法，其中
在补充增强信息(SEI)消息的形式中实现增强层子图像构思。
17.根据任何前述权利要求所述的方法，还包括
将所述一个或多个增强层子图像转换为在所述重建的一个或多个增强

\t层子图像的区域之外的从所重建的基础层图像复制到所重建的增强层图像
的样本中使用的相同的格式，以及
合并所转换的增强层图像以在参考帧缓冲器中形成单个增强层图像。
18.一种装置，包括：
视频编码器，其被配置为用于编码包括基础层和至少一个增强层的可
伸缩比特流，其中所述视频编码器还被配置用于
编码和重建基础层图像；
编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一
个或多个增强层子图像具有小于对应的增强层重建图像的大小；
从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在
所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层
图像复制到所重建的增强层图像。
19.根据权利要求18所述的装置，其中所述视频编码器还被配置用于
相对于所述基础层图像预测性地编码所述一个或多个增强层子图像。
20.根据权利要求18或19所述的装置，其中
允许相对于较早编码的增强层图像预测性地编码所述增强层子图像。
21.根据权利要求18-20中任何一项所述的装置，其中
允许相对于较早编码的增强层子图像预测性地编码所述增强层子图像。
22.根据权利要求18-21中任何一项所述的装置，其中
所述增强层子图像含有针对对应的基础层图像的增强信息，所述增强
信息包含以下中的至少一个：
-相对于所述对应的基础层图像的色度，增加所述一个或多个增强层子
图像的色度的保真度；
-相对于所述对应的基础层图像的位深，增加所述一个或多个增强层子
图像的位深；
-相对于所述对应的基础层图像的质量，增加所述一个或多个增强层子
图像的质量；或
-相对于所述对应的基础层图像的空间分辨率，增加所述一个或多个增

\t强层子图像的空间分辨率。
23.根据权利要求22所述的装置，其中所述视频编码器还被配置用于
使用与编码针对增强层图像的增强信息一样的语法来编码针对子图像
的增强信息。
24.根据权利要求18-23中任何一项所述的装置，其中所述视频编码
器还被配置用于
使所述增强层子图像的左上角与图像的最大编码单元(LCU)的左上
角对齐。
25.根据权利要求22所述的装置，其中所述视频编码器还被配置用于
将所述增强层子图像的大小限制为最大编码单元(LCU)的大小或预
测单元(PU)的大小或编码单元(CU)的大小的整数倍。
26.根据权利要求19-25中任何一项所述的装置，其中所述视频编码
器还被配置用于
如果相对于基础层预测性地编码所述增强层子图像，则限制预测过程
以便仅在基础层图像的共位区域内的像素是能够使用的。
27.根据权利要求19-26中任何一项所述的装置，其中所述视频编码
器还被配置用于
如果相对于基础层预测性地编码所述增强层子图像，则在预测过程中
涉及不同的图像处理操作。
28.根据权利要求18-27中任何一项所述的装置，其中
第一增强层子图像被配置为用于增强与第二增强层子图像不同的图像
特征。
29.根据权利要求18-28中任何一项所述的装置，其中
单个增强层子图像被配置为用于增强图像的多个特征。
30.根据权利要求18-29中任何一项所述的装置，其中
所述增强层子图像的方位和大小与在所述基础层图像中使用的图块或
片相同。
31.根据权利要求18-30中任何一项所述的装置，其中
所述增强层子图像的大小和方位被限制使得它们在空间上不重叠。
32.根据权利要求18-30中的任何一项所述的装置，其中
允许所述增强层子图像的大小和方位在空间上重叠。
33.根据权利要求18-32中的任何一项所述的装置，其中
在补充增强信息(SEI)消息的形式中实现增强层子图像构思。
34...

【专利技术属性】
技术研发人员：K·乌尔，J·莱内马，M·M·汉努克塞拉，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：芬兰;FI