解码数据流的方法、生成数据流的方法及其解码器技术

本申请涉及跨平面预测。尽管将跨平面预测信息信号通知解码器的需求将导致额外开销，但当出于冗余减少的目标可利用不同平面的编码参数之间的相互关系来获得更好的率失真比。具体地，分别对于多个平面可进行是否使用跨平面预测的判定。此外，或可选地，考虑到一个次平面，能以块为单位进行判定。

【技术实现步骤摘要】
本申请是分案申请，其母案申请的申请号为201080067394.2，申请日为2010年4月13日，专利技术名称为“跨平面预测”。
本专利技术涉及用于场景图像在平面内的不同空间取样信息分量的编码方案，每个平面包括诸如视频或静态图像的信息样本数组。
技术介绍
在影像及视频编码中，图像或针对该图像的特定样本数组集合通常分解成区块，该区块与特定编码参数关联。图像通常是由多个样本数组组成。此外，一图像也可关联额外辅助样本数组，该样本数组(例如)表明透明信息或深度图。一图像的样本数组(包括辅助样本数组)也可集合成一或多个所谓的平面群组，此处各个平面群组是由一或多个样本数组组成。一图像的平面群组可独立地编码，或者，若该图像关联多于一个平面群组，则利用来自同一图像的其它平面群组的预测进行编码。各平面群组通常分解成多个区块。该区块(或样本数组的相对应区块)是通过跨图像预测或图像内预测而预测。各区块可具有不同尺寸且可以是正方形或矩形。一图像分割成多个区块可通过语法固定，或可(至少部分地)在位流内部信号通知。经常发送的语法元素信号通知针对区块细分的预定大小。这种语法元素可表明一区块是否且如何细分成更小型区块及相关联的编码参数，例如用于预测目的。针对一区块(或样本数组的相对应区块)的全部样本，相关联的编码参数的解码是以某个方式表明。在该实例中，在一区块的全部样本是使用相同预测参数集合预测，该预测参数诸如是参考指数(标识在已编码图像集合中的一参考图像)、运动参数(表明一参考图像与该目前图像间的区块运动的测量值)、表明插值滤波器的参数、内部预测模式等。运动参数可以由具有一水平分量及一垂直分量的位移向量表示，或通过高阶运动参数表示，诸如包括六个分量的仿射运动参数。也可能多于一个特定预测参数集合(诸如参考指数及运动参数)是与单一区块相关联。该种情况下，针对此特定预测参数的各集合，产生针对该区块(或样本数组的相对应区块)的单一中间预测信号，并且最终预测信号是由包括叠加中间预测信号的一组合所建立。相对应加权参数及可能地，也包括一常数偏移(加至该加权和)可针对一图像或一参考图像或一参考图像集合为固定，或其包括在针对相对应区块的预测参数集合中。原始区块(或样本数组的相对应区块)与其预测信号之间的差，也称作为残差信号，该差通常被变换及量化。经常，施加二维变换至该残差信号(或针对该残差区块的相对应样本数组)。针对变换编码，已经使用特定预测参数集合的区块(或样本数组的相对应区块)可在施加变换之前被进一步分裂。变换区块可等于或小于用于预测的区块。也可能是，一变换区块包括多于一个用来预测的区块。不同变换区块可具有不同大小，变换区块可表示正方或矩形区块。在变换后，所得变换系数经量化，获得所谓的变换系数位准。变换系数位准及预测参数以及若存在时，细分信息被熵编码。在影像及视频编码标准中，由语法所提供的将一图像(或一平面群组)细分成区块的可能性极为有限。通常只能规定是否(以及可能地如何)具有预先界定尺寸的一区块可细分成更小型区块。举个实例，H.264的最大区块尺寸为16×16。16×16区块也称作为宏区块，在第一步骤，各图像分割成宏区块。针对各个16×16宏区块，可信号通知其是否编码成16×16区块，或两个16×8区块，或两个8×16区块，或四个8×8区块。若16×16区块被细分成四个8×8区块，则各个8×8区块可编码为一个8×8区块，或两个8×4区块，或两个4×8区块，或四个4×4区块。在当前影像及视频编码标准中表明分割成区块的小集合可能性具有的优点是用于信号通知细分信息的侧边信息率可保持较小，但具有的缺点是针对该区块传输预测参数所需的位率相当大，稍后详述。信号通知预测信息的侧边信息率确实通常表示针对一区块的显著大量总位率。当这种侧边信息降低时，编码效率增高，例如可通过使用较大型区块大小来实现侧边信息降低。视频序列的实际影像或图像是由具有特定性质的任意形状对象组成。举个实例，此对象或对象部分是以独特纹理或独特运动为其特征。通常相同预测参数集合可应用于此对象或对象部分。但对象边界通常并不吻合大型预测区块(例如，按照H.264的16×16宏区块)可能的区块边界。编码器通常决定细分(在有限种可能性集合中)导致特定率失真成本测量的最小化。针对任意形状对象，如此可能导致大量的小区块。并且由于此小区块是与需要传输的一预测参数集合相关联，故侧边信息率变成总位率的一大部分。但由于小区块中的数个仍然表示同一对象或对象一部分的区，故对多个所得区块的预测参数为相同或极为相似。换言之，一图像细分或拼贴成较小型部分或拼贴块或区块实质上影响编码效率及编码复杂度。如前文摘述，一图像细分成多个较小区块允许编码参数的空间更精细设定，藉此允许此编码参数更佳适应于图像/视频材料。另一方面，以更细粒度设定编码参数对通知解码器有关需要的设定值的所需侧边信息量加诸更高负荷。再者，须注意编码器(进一步)空间上细分图像/视频成为区块的任何自由度，剧增可能的编码参数设定值量，及因而通常使得针对导致最佳率/失真折衷的编码参数设定值的搜寻更困难。
技术实现思路
本专利技术的一个目的是提供一种用于场景图像在平面内的不同空间采样信息分量的编码的编码方案，每个平面包括信息样本数组，该方案可以获得更好的率失真比。本专利技术潜在的构想是，尽管将跨平面预测信息信号通知至解码器的需求将导致的额外开销，但当出于冗余减少的目标可利用不同平面的编码参数之间的相互关系来获得更好的率失真比。依据一个实施例，首先表示空间采样信息信号的信息样本数组在空间上置于树根区，然后根据抽取自一数据流的多元树细分信息，通过递归地多次分割该树根区的子集，而至少将该树根区的一子集分割成不同尺寸的更小型单纯连接区。为了允许就率失真意义上，找出以合理编码复杂度的过度细小细分与过度粗大细分间的良好折衷，信息样本数组进行空间分割成的树根区的最大区尺寸是含括在该数据流内且在解码端从该数据流抽取。据此，解码器可包括一抽取器，其被配置为从数据流抽取最大区尺寸及多元树细分信息；一细分器，其被配置为将表示空间采样信息信号的一信息样本数组空间分割成最大区尺寸的树根区，及依据该多元树细分信息，将该树根区的至少一个子集通过递归地多重分区该树根区的该子集而细分成更小型单纯连接不同尺寸区；及一重建器，其被配置为使用该细分而将来自该数据流的信息样本数组重建成较小型单纯连接区。依据一个实施例，数据流也含有高达树根区子集经历递归地多重分区的最高阶层式层级。通过此办法，多元树细分信息的信号通知变得更容易且需更少编码位。此外，重建器可被配置为以取决于中间细分的粒度，执行下列措施中的一者或多者：至少在内预测模式及跨预测模式中决定欲使用哪一个预测模式；从频域变换至空间域，执行及/或设定跨预测的参数；执行及/或设定针对用于内预测的参数。此外，抽取器可被配置为以深度优先遍历顺序而从数据流抽取与经分区的树区块的叶区相关联的语法元素。通过此种办法，抽取器可开发已经编码的邻近叶区的语法元素统计学量，其具有比使用宽度优先遍历顺序更高的机率。依据另一个实施例，使用又一细分器来依据又一多元树细分信息来将该较小型单纯连接区的至少一个子集细分成又更小型单纯连接区。第一级细分可由重建器用来执行信息样本区的预测，本文档来自技高网...

【技术保护点】
一种用于解码平面内代表场景的图像的不同空间取样信息分量的数据流的方法，每个平面包括信息样本数组，所述方法包括：通过处理与块相关的有效载荷数据来重建每个信息样本数组，其中，每个所述信息样本数组按照与所述块相关的编码参数规定的方式被细分为所述块；从所述数据流中导出与所述信息样本数组中的第一数组的块相关的编码参数；从所述数据流中导出针对所述信息样本数组中的第二数组的块的跨平面互换信息；根据对于所述第二数组的所述块的所述跨平面互换信息，针对所述第二数组的每个块或所述块的适当子集，判定：至少部分地从所述第一数组的局部对应块的编码参数中导出针对所述第二数组的各个块或所述块的适当子集的编码参数，并以如此导出的所述编码参数规定的方式解码与所述第二数组的所述各个块或所述块的适当子集相关的所述有效载荷数据；或忽略对于所述第一数组的所述局部对应块的编码参数，从所述数据流中导出针对所述第二数组的各个块或所述块的适当子集的编码参数，并以从所述数据流导出的相关的所述编码参数规定的方式解码与所述第二数组的各个块或所述块的适当子集相关的有效载荷数据，其中，所述块为矩形形状，并且所述信息样本数组根据多元树细分而细分为所述块。...

【技术特征摘要】
1.一种用于解码平面内代表场景的图像的不同空间取样信息分量的数据流的方法，每个平面包括信息样本数组，所述方法包括：通过处理与块相关的有效载荷数据来重建每个信息样本数组，其中，每个所述信息样本数组按照与所述块相关的编码参数规定的方式被细分为所述块；从所述数据流中导出与所述信息样本数组中的第一数组的块相关的编码参数；从所述数据流中导出针对所述信息样本数组中的第二数组的块的跨平面互换信息；根据对于所述第二数组的所述块的所述跨平面互换信息，针对所述第二数组的每个块或所述块的适当子集，判定：至少部分地从所述第一数组的局部对应块的编码参数中导出针对所述第二数组的各个块或所述块的适当子集的编码参数，并以如此导出的所述编码参数规定的方式解码与所述第二数组的所述各个块或所述块的适当子集相关的所述有效载荷数据；或忽略对于所述第一数组的所述局部对应块的编码参数，从所述数据流中导出针对所述第二数组的各个块或所述块的适当子集的编码参数，并以从所述数据流导出的相关的所述编码参数规定的方式解码与所述第二数组的各个块或所述块的适当子集相关的有效载荷数据，其中，所述块为矩形形状，并且所述信息样本数组根据多元树细分而细分为所述块。2.根据权利要求1所述的方法，其中，空间取样信息信号是伴随有深度信息的视频。3.根据权利要求1所述的方法，其中，空间取样信息信号是图像序列，其中，各图像包括每个帧一亮度样本数组连同二个色度样本数组，其中，用于水平方向上的色度样品数组相对于亮度样本数组的空间分辨率的定标因子不同于用于空间分辨率垂直方向的定标因子。4.根据权利要求1所述的方法，其中，所述信息样本数组是与不同彩色分量相关的并形成图像的彩色平面的样本数组中的一者，并且所述解码器被配置为独立地解码所述图像的不同彩色平面。5.一种用于生成平面内代表场景的图像的不同空间取样信息分量的数据流的方法，每个平面包括信息样本数组，所述方法包括：对于每个信息样本数组，确定与所述每个信息样本数组细分为的块相关的有效载荷数据，以及与所述块相关的并规定为了重建所述每个信息样本数组而对所述有效载荷数据进行重建的方式的编码参数，以及按照第二数组的块或块的适当子集的粒度的、针对所述信息样本数组中的所述第二数组的块的跨平面互换信息；以及将与所述信息样本数组中的第一数组的所述块相关的编码参数以及所述跨平面互换信息插入所述数据流；其中，执行判定以使针对所述第二数组的块的所述跨平面互换信息指示有关针对所述第二数组的各个块或所述块的适当子集的编码参数是否至少部分地从所述第一数组的局部对应块的编码参数中导出，其中，根据所述跨平面互换信息，不将针对所述第二数组的各个块或所述块的适当子集的编码参数插入所述数据流，或仅仅将针对所述第二数组的各个块或所述块的各个适当子集的编码参数的预测残差插入所述数据流，以基于来自所述第一数组的局部对应块的编码参数的预测实现重建；或将针对所述第二数组的各个块或所述块的各个适当子集的编码参数原样地插入所述数据流，其中，所述块为矩形形状，并且所述信息样本数组根据多元树细分而细分为所述块。6.根据权利要求5所述的方法，其中，空间取样信息信号是伴随有深度信息的视频。7.根据权利要求5所述的方法，其中，空间取样信息信号是图像序列，其中，各图像包括每个帧一亮度样本数组连同二个色度样本数组，其中，用于水平方向上的色度样品数组相对于亮度样本数组的空间分辨率的定标因子不同于用于空间分辨率垂直方向的定标因子。8.根据权利要求5所述的方法，其中，所述信息样本数组是与不同彩色分量相关的并形成图像的彩色平面的样本数组中的一者，并且解码器被配置为独立地编码所述图像的不同的彩色平面。9.一种用于解码平面内代表场景的图像的不同空间取样信息分量的数据流的解码器，每个平面包括信息样本数组，所述解码器实现在电子电路或编程计算机上，并且所述解码器包括：第一模块(700)，用于通过处理与块相关的有效载荷数据来重建每个信息样本数组，其中，每个所述信息样本数组按照与所述块相关的编码参数规定的方式被细分为所述块；第二模块(702)，用于从所述数据流中导出与所述信息样本数组中的第一数组的所述块相关的编码参数；第三模块(704)，用于从所述数据流中导出针对所述信息样本数组中的第二数组的块的跨平面互换信息；第四模块(708)和第五模块(710)；第六模块(704)，用于根据对于所述第二数组的所述块的所述跨平面互换信息，针对所述第二数组的每个块或所述块的适当子集，判定激活所述第四模块(708)和所述第五模块(710)中的一者；其中，所述第四模块(708)被配置为至少部分地从所述第一数组的局部对应块的编码参数中导出针对所述第二数组的各个块或所述块的适当子集的编码参数，并以如此导出的所述编码参数规定的方式解码与所述第二数组的所述各个块或所述块的适当子集相关的所述有效载荷数据；或其中，所述第五模块(710)被配置为忽略对于所述第一数组的所述局部对应块的编码参数，从所述数据流中导出针对所述第二数组的各个块或所述块的适当子集的编码参数，并以从所述数据流导出的相关的所述编码参数规定的方式解码与所述第二数组的各个块或所述块的适当子集相关的有效载荷数据，其中，所述块为矩形形状，并且所述信息样本数组根据多元树细分而细分为所述块。10.一种用于生成平面内代表场景的图像的不同空间取样信息分量的数据流的解码器，每个平面包括信息样本数组，所述解码器实现在电子电路或编程计算机上，所述解码器包括数据流插入器和预测回路，并且所述解码器被配置为：对于每个信息样本数组，确定与每个信息样本数组细分为的块相关的有效载荷数据，以及与所述块相关的并规定为了重建每个信息样本数组而对于所述有效载荷数据进行重建的方式的编码参数，以及按照第二数组的块或块的适当子...

【专利技术属性】
技术研发人员：海纳·基希霍弗尔，马丁·温肯，海科·施瓦茨，德特勒夫·马佩，托马斯·维甘徳，
申请(专利权)人：GE视频压缩有限责任公司，
类型：发明
国别省市：美国;US