多种帧间编解码方法之间的交互技术

描述了用于视频处理的技术、设备和系统。在一个示例方面，对于在视频的块和视频的比特流表示之间的转换，确定在所述比特流表示中对基于矩阵的帧内预测(MIP)编解码技术的信息进行编码的方式。使用MIP编解码技术、基于对所述视频的先前编码样点执行矩阵矢量乘法运算来确定所述块的预测块。该方法还包括基于所述确定执行所述转换。定执行所述转换。定执行所述转换。

【技术实现步骤摘要】
【国外来华专利技术】多种帧间编解码方法之间的交互
[0001]相关申请的交叉引用
[0002]根据适用专利法和/或适用于巴黎公约的规则，本申请及时要求2019年5月11日提交的国际专利申请No.PCT/CN2019/086489的优先权和权益。出于美国法律的所有目的，通过引用将上述申请的全部公开并入，作为本申请公开的一部分。


[0003]本专利文档涉及编解码技术、设备和系统。

技术介绍

[0004]尽管视频压缩有所进步，数字视频在互联网和其他数字通信网络上仍占最大的带宽使用量。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用所需的带宽将继续增长。

技术实现思路

[0005]本文档描述了其中在视频或图像的解码或编码期间使用二次变换的各种实施例和技术。
[0006]在一个示例方面，公开了视频处理方法。该方法包括对于在视频的块和视频的比特流表示之间的转换，确定在所述比特流表示中对基于矩阵的帧内预测(MIP)编解码技术的信息进行编解码的方式。使用MIP编解码技术，使用MIP编解码技术、基于对所述视频的先前编解码样点执行矩阵矢量乘法运算来确定所述块的预测块。该方法还包括基于所述确定执行所述转换。
[0007]在另一个示例方面，公开了视频处理方法。该方法包括对于在视频的块和视频的比特流表示之间的转换，确定在使用特定编解码技术对所述块进行编解码的情况下，允许恰好两种帧内预测模式。该方法还包括基于所述确定来执行所述转换。
[0008]在另一个示例方面，公开了视频处理方法。该方法包括对于视频的块和视频的比特流表示之间的转换，确定使用所述块的样点或所述块的一个或多个先前编解码的子分割的样点，来执行对所述块的子分割的预测。使用其中将所述块分割为多个子分割的帧内子块分割(ISP)编解码技术对所述块进行编解码，并且基于先前重构的子分割确定每个子分割的预测。多个子分割包括第一子分割和一个或多个内部子分割。该方法还包括基于所述确定执行所述转换。
[0009]在另一个示例方面，公开了视频处理方法。该方法包括对于视频的当前块与视频的比特流表示之间的转换，确定在最可能模式(MPM)候选列表的构造过程中要检查的所述当前块的第一组临近块与先前编解码的块的第二组临近块不同。所述当前块是被分割为多个子块的父块的子块。该方法还包括基于所述确定执行所述转换。
[0010]在另一个示例方面，公开了视频处理方法。该方法包括对于视频的条带的视频块和视频的比特流表示之间的转换，基于是否对所述条带启用帧内子块分割工具，来确定所
述视频块允许的分割类型。该方法还包括基于所述确定来执行所述转换。
[0011]在一个示例方面，公开了视频处理方法。该方法包括生成或接收代表视频数据块的比特流。视频数据块是基于仿射线性加权帧内预测(ALWIP)进行编解码的。在比特流中以第一顺序顺序地编解码ALWIP的边信息和量化残差块差分脉冲编解码调制(QR
‑
BDPCM)的边信息。
[0012]在另一个示例方面，公开了视频处理方法。该方法包括生成或接收表示视频数据的块的比特流，其中使用仅具有两种帧内预测模式的帧内预测方法对视频数据的块进行编解码。
[0013]在另一个示例方面，公开了视频处理方法。该方法包括通过检查当前块的临近块的集合，为视频数据的多个块中的当前块构造最可能模式(MPM)列表。通过使用分割模式对视频单元进行分割来生成多个块，并基于分割模式来确定临近块的集合。该方法还包括，使用来自MPM列表的候选对视频数据的当前块进行编解码，以及生成表示视频数据的当前块的比特流。
[0014]在另一个示例方面，公开了视频处理方法。该方法包括接收表示视频数据的多个块的比特流。使用来自最可能模式(MPM)列表中的候选，在比特流中对视频数据的当前块进行编解码，并通过检查当前块的临近块的集合来构造MPM列表。通过使用分割模式对视频单元进行分割来生成多个块。基于该分割模式来确定临近块的集合。该方法还包括，使用比特流来重构视频数据的当前块。
[0015]在又一个示例方面，公开了视频编码器。视频编码器包括处理器，该处理器被配置为实现一种或多种上述方法。
[0016]在又一个示例方面，公开了视频解码器。视频解码器包括处理器，该处理器被配置为实现一种或多种上述方法。
[0017]在又一个示例方面，公开了一种计算机可读介质。该介质包括用于实现存储在该介质上的一种或多种上述方法的代码。
[0018]在本文档中描述了这些以及其他方面。
附图说明
[0019]图1示出了编解码器框图的示例。
[0020]图2示出了67种帧内预测模式的示例。
[0021]图3描绘了四个参考行的示例。
[0022]图4是4
×
8和8
×
4块的划分(division)的示例。
[0023]图5是除4
×
8、8
×
4和4
×
4以外的所有块的划分的示例。
[0024]图6是用于4
×
4块的仿射线性加权帧内预测(ALWIP)的示例。
[0025]图7是用于8
×
8块的ALWIP的示例。
[0026]图8是用于8
×
4块的ALWIP的示例。
[0027]图9是用于16
×
16块的ALWIP的示例。
[0028]图10示出了JEM中的二次变换的示例。
[0029]图11示出了所提出的简化的二次变换(RST)的示例。
[0030]图12是子块变换模式SBT
‑
V和SBT
‑
H的图示。
[0031]图13示出了67种帧内预测模式的另一示例。
[0032]图14示出了当前块的左侧邻居和上方邻居的示例。
[0033]图15示出了示例性多类型树划分(splitting)模式。
[0034]图16示出了具有嵌套的多类型树编解码树结构的四叉树中的示例划分标志信令。
[0035]图17示出了具有嵌套的多类型树编解码块结构的四叉树的示例。
[0036]图18示出了用于128
×
128编解码块的示例划分。
[0037]图19是用于实现本文档中描述的技术的示例硬件平台的框图。
[0038]图20是根据本技术的一个或多个示例的视频处理方法的流程图。
[0039]图21是根据本技术的一个或多个示例的视频处理方法的另一流程图。
[0040]图22示出了将块的参考样点复制到内部子分割(sub
‑
partition)的参考样点的示例。
[0041]图23示出了使用块的参考样点来预测内部子分割的参考样点的示例。
[0042]图24是根据本技术的一个或多个示例的视频处理方法的另一流程图。
[0043]图25是根据本技术的一个或多个示例的视本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理方法，包括：对于在视频的块和所述视频的比特流表示之间的转换，确定在所述比特流表示中对基于矩阵的帧内预测(MIP)编解码技术的信息进行编解码的方式，其中，使用所述MIP编解码技术、基于对所述视频的先前编解码样点执行矩阵矢量乘法运算来确定所述块的预测块，以及基于所述确定执行所述转换。2.根据权利要求1所述的方法，其中，所述方式指定所述MIP编解码技术的所述信息是相对于量化残差块差分脉冲编解码调制(QR
‑
BDPCM)编解码技术进行编解码的，在所述QR
‑
BDPCM编解码技术中，不将变换应用于预测误差，并且使用包括所述块的图片内的样点来生成预测。3.根据权利要求2所述的方法，其中，所述MIP编解码技术或所述QR
‑
BDPCM编解码技术中的仅一种适用于所述块。4.根据权利要求3所述的方法，其中，在将所述MIP编解码技术应用于所述块的情况下，在所述比特流表示中省略所述QR
‑
BDPMC编解码技术的边信息。5.根据权利要求3所述的方法，其中，在将所述QR
‑
BDPCM编解码技术应用于所述块的情况下，在所述比特流表示中省略所述MIP编解码技术的边信息。6.根据权利要求2所述的方法，其中，所述MIP编解码技术和所述QR
‑
BDPCM编解码技术均适用于所述块。7.根据权利要求6所述的方法，其中，所述转换包括在帧内预测处理中使用所述MIP编解码技术，并且其中，根据所述QR
‑
BDPCM编解码技术，在所述比特流表示中对所述块的残差信息进行编解码。8.根据权利要求2至7中的任一项或多项所述的方法，其中，所述方式指定在所述QR
‑
BDPCM编解码技术的边信息之后对所述MIP编解码技术的边信息进行编解码。9.根据权利要求8所述的方法，其中，基于所述QR
‑
BDPCM编解码技术的使用对所述MIP编解码技术的所述边信息进行编解码。10.根据权利要求9所述的方法，其中，在将所述QR
‑
BDPCM编解码技术应用于所述块的情况下，在所述比特流表示中省略所述MIP编解码技术的所述边信息。11.根据权利要求9所述的方法，其中，在未将所述QR
‑
BDPCM编解码技术应用于所述块的情况下，在所述比特流表示中存在所述MIP编解码技术的所述边信息。12.根据权利要求9所述的方法，其中，在将所述QR
‑
BDPCM编解码技术应用于所述块的情况下，在所述比特流表示中省略所述MIP编解码技术的所述边信息的第一部分，并在所述比特流表示中对所述MIP编解码技术的所述边信息的第二部分进行编解码。13.根据权利要求12所述的方法，其中，所述第一部分包括所述MIP编解码技术的一个或多个预测模式。14.根据权利要求12所述的方法，其中，所述第二部分包括关于所述MIP编解码技术的使用的信息。15.根据权利要求9所述的方法，其中，在将所述QR
‑
BDPCM编解码技术应用于所述块的情况下，将关于所述MIP编解码技术的使用的信息包括在所述比特流表示中，并且所述MIP编解码技术不适用于所述块。
16.根据权利要求2至7中的任一项或多项所述的方法，其中，所述方式指定在所述QR
‑
BDPCM编解码技术的边信息之前对所述MIP编解码技术的边信息进行编解码。17.根据权利要求16所述的方法，其中，所述方式指定基于所述块对所述MIP编解码技术的使用对所述QR
‑
BDPCM编解码技术的所述边信息进行编解码。18.根据权利要求17所述的方法，其中，在将所述MIP编解码技术应用于所述块的情况下，在所述比特流表示中省略所述QR
‑
BDPCM的所述边信息。19.根据权利要求17所述的方法，其中，在将所述MIP编解码技术应用于所述块并且所述MIP编解码技术的预测模式对应于水平或垂直模式的情况下，在所述比特流表示中省略所述QR
‑
BDPCM编解码技术的所述边信息的第一部分，并且在所述比特流表示中对所述QR
‑
BDPCM编解码技术的所述边信息的第二部分进行编解码。20.根据权利要求19所述的方法，其中，所述QR
‑
BDPCM编解码技术的所述边信息的所述第一部分包括所述QR
‑
BDPCM编解码技术的预测方向。21.根据权利要求19所述的方法，其中，所述QR
‑
BDPCM编解码技术的所述边信息的所述第二部分包括所述QR
‑
BDPCM编解码技术的使用。22.根据权利要求2至21中任一项或多项所述的方法，其中，所述QR
‑
BDPCM编解码技术的所述边信息包括以下中的至少一个：对所述QR
‑
BDPCM编解码技术的使用的指示、或预测方向。23.根据权利要求2至22中的任一项或多项所述的方法，其中，所述MIP编解码技术的所述边信息包括以下中的至少一个：对所述MIP编解码技术的使用的指示、针对所述MIP编解码技术是否转置亮度样点的输入矢量的指示、或预测模式的指示。24.根据权利要求17所述的方法，其中，在将所述MIP编解码技术应用于所述块的情况下，将关于所述QR
‑
BDPCM编解码技术的使用的信息包括在所述比特流表示中，并且所述QR
‑
BDPCM编解码技术不适用于所述块。25.根据权利要求1所述的方法，其中，所述方式指定相对于一种或多种帧内编解码技术对所述MIP编解码技术的信息进行编解码。26.根据权利要求25所述的方法，其中，所述方式指定在使用所述MIP编解码技术对所述块进行编解码的情况下，在与所述一种或多种帧内编解码技术有关的信息之后对所述块的帧内预测模式进行编解码。27.根据权利要求25或26所述的方法，其中，所述一种或多种帧内编解码技术包括以下至少一种：QR
‑
BDPCM编解码技术、脉冲编解码调制(PCM)编解码技术、多参考行(MRL)编解码技术、帧内子块分割(ISP)编解码技术、广角帧内预测编解码技术或常规的帧内编解码技术。28.根据权利要求25至27中的任一项或多项所述的方法，其中，所述方式指定针对所述块的所述MIP编解码技术的帧内预测模式的编解码与针对使用所述一种或多种帧内编解码技术进行编解码的另一块的帧内预测模式的编解码一致。29.根据权利要求28所述的方法，其中，所述MIP编解码技术的帧内预测模式的编解码包括确定所述帧内预测模式是否是最可能模式(MPM)候选列表中的一个。30.根据权利要求29所述的方法，其中，所述帧内预测模式是否是最可能模式(MPM)候选列表中的一个被表示为所述比特流表示中的第一语法元素。
31.根据权利要求29或30所述的方法，其中，所述MIP编解码技术的所述帧内预测模式的所述编解码还包括：在所述帧内预测模式是所述最可能模式(MPM)候选列表中的一个的情况下，确定所述帧内预测模式是否为所述MPM候选列表中的第一候选。32.根据权利要求31所述的方法，其中，所述帧内预测模式是否是所述MPM候选列表中的第一候选被表示为所述比特流表示中的第二语法元素。33.根据权利要求31或32所述的方法，其中，所述MIP编解码技术的所述帧内预测模式的所述编解码还包括：在所述帧内预测模式不是所述MPM候选列表中的所述第一候选的情况下，将所述帧内预测模式的MPM索引编解码为所述比特流表示中的第三语法元素。34.根据权利要求29或30所述的方法，其中，所述MIP编解码技术的所述帧内预测模式的所述编解码还包括：在所述帧内预测模式是所述最可能模式(MPM)候选列表中的一个的情况下，确定所述帧内预测模式是否为平面模式。35.根据权利要求34所述的方法，其中，所述帧内预测模式是否为所述平面模式被表示所述比特流表示中的第四语法元素。36.根据权利要求34或35所述的方法，其中，所述MIP编解码技术的所述帧内预测模式的所述编解码还包括：在所述帧内预测模式不是所述平面模式的情况下，将所述帧内预测模式的MPM索引编解码为所述比特流表示中的第五语法元素。37.根据权利要求29至36中的任一项或多项所述的方法，其中，所述MIP编解码技术的所述帧内预测模式的所述编解码还包括：在所述帧内预测模式不是所述最可能模式(MPM)候选列表中的一个的情况下，将所允许的帧内模式集合中的所述帧内预测模式的帧内模式索引编解码为所述比特流表示中的第六语法元素。38.根据权利要求29至37中任一项或多项所述的方法，其中，在所述比特流表示中有条件地编解码所述第一、第二、第三、第四、第五或六语法元素。39.根据权利要求38所述的方法，其中，在将所述MIP编解码技术应用于所述块的情况下，在所述比特流表示中省略所述第一语法元素。40.根据权利要求38所述的方法，其中，在intra_luma_ref_idx[x0][y0]＝＝0并且没有使用所述ISP编解码技术或所述MIP编解码技术对所述块进行编解码的情况下，将所述第一语法元素包括在所述比特流表示中。41.根据权利要求29至40中的任一项或多项所述的方法，其中，所述第一、第二、第三、第四、第五或六元素的值基于...

【专利技术属性】
技术研发人员：张莉，张凯，刘鸿彬，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：