加权图像预测、使用这种加权预测的图像编码和解码制造技术

本发明专利技术涉及一种由预测设备实施的用于预测至少一个当前像素集合(B

【技术实现步骤摘要】
【国外来华专利技术】加权图像预测、使用这种加权预测的图像编码和解码


[0001]本专利技术总体上涉及图像处理领域，并且更具体地涉及对数字图像以及对数字图像序列的编码和解码。
[0002]对数字图像的编码/解码具体地适用于来自至少一个视频序列的图像，这些图像包括：
[0003]‑
来自同一个相机并且在时间上连续的图像(2D编码/解码)，
[0004]‑
来自以不同视角定向的不同相机的图像(3D编码/解码)，
[0005]‑
对应的纹理分量和深度分量(3D编码/解码)，
[0006]‑
等。
[0007]本专利技术类似地适用于对2D或3D图像的编码/解码。
[0008]本专利技术可以具体地但不排他地适用于在当前AVC、HEVC和VVC视频编码器及其扩展(MVC、3D
‑
AVC、MV
‑
HEVC、3D
‑
HEVC等)中实施的视频编码，并且适用于对应的解码。

技术介绍

[0009]当前的视频编码器(MPEG，AVC，HEVC，VVC，AV1等)使用视频序列的分块表示。图像被分割成多个块，这些块能够以递归方式再次被分割。接下来，通过图像内或图像间预测对每个块进行编码。因此，使用本领域技术人员公知的运动补偿，通过空间预测(帧内预测、IBC(代表“帧内块复制”)预测)对一些图像进行编码，并且还通过时间预测(帧间预测)相对于一个或多个经编解码的参考图像对其他图像进行编码。
[0010]与当前正在被编码的块相关联的预测块BP同当前正在被编码的块所属的图像或已经解码的图像(通常称为参考图像)中的至少一个参考块BR0直接相关。为了使参考块BR0与当前正在被编码的块相匹配，针对其像素的每个空间位置(x，y)对参考块BR0进行位移。然后获得经运动补偿的参考块BC0。然后预测块BP与经运动补偿的参考块BC0之间的关系表示如下：
[0011]BP(x，y)＝(1
‑
w)*BC0(x，y)
[0012]其中，w是预测权重参数，如下面将解释的，该参数大部分时间为0，但是可以是可调整的。
[0013]例如，当相对于属于一个或两个已经解码的参考图像的两个参考块BR0和BR1来预测当前正在被编码的块时，对这两个参考块BR0和BR1进行运动补偿，从而生成两个经运动补偿的参考块BC0和BC1，然后通过线性加权来组合这两个经运动补偿的参考块。预测块BP的每个像素是两个经运动补偿的参考块BC0和BC1的像素进行加权的结果。更精确地说，例如，如果预测是逐行从左到右实施的：
[0014]‑
预测块BP左上角的第1个像素是经运动补偿的参考块BC0左上角的第1个像素和经运动补偿的参考块BC1左上角的第1个像素进行加权的结果，
[0015]‑
与预测块BP的第一行上的第1个像素相邻的第2个像素是与经运动补偿的参考块BC0的第一行上的第1个像素相邻的第2个像素和与经运动补偿的参考块BC1的第一行上的第
1个像素相邻的第2个像素进行加权的结果，
[0016]‑
等等，
[0017]‑
预测块BP右下角的最后一个像素是经运动补偿的参考块BC0右下角的最后一个像素和经运动补偿的参考块BC1右下角的最后一个像素进行加权的结果。
[0018]默认情况下应用的最常见的加权是减半求和。为此，根据以下关系计算预测块BP：
[0019]BP(x，y)＝0.5*BC0(x，y)+0.5*BC1(x，y)
[0020]更复杂的加权是可能的。
[0021]在HEVC标准中，对当前正在被编码的图像统一应用线性加权。对于当前正在被编码的图像的每个子图像或“条带”，权重参数w在其中是固定的并且被发信号通知给解码器。默认情况下，除非在PPS(代表“图片参数集”)信息中明确指示，否则在对当前正在被编码的块进行双向预测时，应用平衡加权(0.5/0.5)。
[0022]在WC标准中，使用BCW(代表“利用CU级权重的双向预测”)工具对预测值进行逐块加权。根据以下关系计算预测块BP：
[0023]BP(x，y)＝(1
‑
w)*BC0(x，y)+w*BC1(x，y)
[0024]其中，权重参数w可以取5个值：0.5、0.625、0.375、1.25、
‑
0.25。对于每个块，在编码器处确定要应用的权重参数w的最优值并发信号通知给解码器。该最优值用上下文元素进行编码，该上下文元素指示该最优值是否是所使用的值w＝0.5，即，与经运动补偿的参考块BC0和BC1上的权重相等。如果否，则以2比特发信号通知权重，以指示4个剩余值之一。
[0025]AV1技术采用了这一原理。
[0026]应当注意，不管使用哪种视频标准，权重参数w都与相对较少数量的值相关联，从而导致所应用的加权预测缺乏精确度。此外，根据上述标准的编码器必须系统地对已经选择的权重参数w的值进行编码并将其发送到解码器，这增加了信令成本。

技术实现思路

[0027]本专利技术的目的之一是通过提高现有技术的加权预测的精确度来校正上述现有技术的缺陷，这有利于降低与该预测相关的信令信息的成本。
[0028]为此，本专利技术的一个主题涉及一种由预测设备实施的用于预测至少一个当前像素集合的方法，其中，使用像素预测加权函数基于至少一个参考像素集合来预测所述至少一个当前像素集合，该方法的特征在于，用于所述至少一个当前像素集合的像素预测加权函数与基于对至少一个参考像素集合的分析来计算的至少一个权重值相关联。
[0029]根据本专利技术的这种预测方法有利地可以仅依赖于一个或多个参考像素集合(换句话说，在预测时已经解码的一个或多个像素集合)来估计当前像素集合的预测权重。由于这个或这些参考像素集合在预测当前像素集合时可用，所以对预测权重的估计得到改进，因为它与现有技术中所实施的需要对预测的一个或多个权重值进行近似或量化的估计相比在空间上更加精确。
[0030]根据一个具体实施例，使用由对所述至少一个当前像素集合的分析得到的至少一个修改参数来修改预测加权函数。
[0031]在当前像素集合包含一个或多个参考像素集合中不存在/不可预测的元素时，这种实施例有利地使得可以向已经计算的预测加权函数施加校正。
[0032]本专利技术还涉及一种用于预测至少一个当前像素集合的设备，该设备包括处理器，该处理器被配置为使用像素预测加权函数，基于至少一个参考像素集合来预测所述至少一个当前像素集合。
[0033]这种预测设备的特征在于，用于所述至少一个当前像素集合的像素预测加权函数与基于对至少一个参考像素集合的分析来计算的至少一个权重值相关联。
[0034]在一个具体实施例中，预测设备是神经网络。
[0035]神经网络的使用有利地可以优化加权预测的质量。
[0036]这种预测设备具体能够实施上述预测方法。
[0037]本专利技术还涉及一种由本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由预测设备实施的用于预测至少一个当前像素集合(Bc)的方法，其中，使用像素预测加权函数，基于属于已经解码的参考图像的至少一个参考像素集合(BR0；BR0，BR1)来预测所述至少一个当前像素集合(B
c
)，该方法的特征在于，用于所述至少一个当前像素集合(B
c
)的所述像素预测加权函数包括基于对至少一个参考像素集合(BR0；BR0，BR1)的分析(P1)来计算(P2
‑
P3)的至少一个权重值。2.如权利要求1所述的预测方法，其中，对至少一个参考像素集合(BR0；BR0，BR1)的该分析实施对所述至少一个参考像素集合的运动估计或滤波。3.如权利要求2所述的预测方法，其中，该运动估计是光流运动估计。4.如权利要求1所述的预测方法，其中，使用由联合分析所述至少一个当前像素集合和至少一个参考像素集合而得到的至少一个修改参数(U
′
a
)来修改该预测加权函数。5.一种用于预测至少一个当前像素集合的设备，该设备包括处理器，该处理器被配置为使用像素预测加权函数，基于属于已经解码的参考图像的至少一个参考像素集合来预测所述至少一个当前像素集合，该设备的特征在于，用于所述至少一个当前像素集合(B
c
)的所述像素预测加权函数包括基于对至少一个参考像素集合的分析来计算的至少一个权重值。6.如权利要求5所述的预测设备，其特征在于，该预测设备使用神经网络(PRED2)。7.一种包括程序代码指令的计算机程序，当该计算机程序在计算机上执行时，这些程序代码指令用于实施如权利要求1至4中任一项所述的预测方法。8.一种计算机可读信息介质，包括如权利要求7所述的计算机程序的指令。9.一种由编码设备(COD1；COD2；COD3；COD3
′
)实施的用于对至少一个当前像素集合进行编码的方法，该方法包括以下步骤：
‑
计算(C2)表示所述至少一个当前像素集合与由预测所述至少一个当前像素集合而得到的预测像素集合之间的差值的信号，
‑
对所述信号进行编码(C3)，所述编码方法的特征在于，使用如权利要求1至4中任一项所述的预测方法获得(C1)所述预测像素集合。10.如权利要求9所述的编码方法，包括以下步骤：
‑
对该预测加权函数的至少一个修改参数进行编码(C
′
...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：奥兰治，
类型：发明
国别省市：