用于屏幕内容编解码的最大可能模式列表构建制造技术

描述了用于屏幕内容编解码的最大可能模式列表的构建。在示范性方面中，一种用于视频处理的方法包括：针对视频的当前块和当前块的比特流表示之间的转换，构建当前块的帧内编解码模式的两个或更多最大可能模式(MPM)列表，其中两个或更多MPM列表至少包括利用第一构建方法构建的第一MPM列表以及利用与第一构建方法不同的第二构建方法构建的第二MPM列表；以及使用从构建的两个或更多MPM列表选择的一个MPM列表执行转换。MPM列表执行转换。MPM列表执行转换。

【技术实现步骤摘要】
【国外来华专利技术】用于屏幕内容编解码的最大可能模式列表构建
[0001]相关申请的交叉引用
[0002]根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2019年5月9日提交的国际专利申请号PCT/CN2019/086114的优先权和利益。将国际专利申请号PCT/CN2019/086114的全部公开以引用方式并入本文，作为本申请公开的一部分。


[0003]本申请文件涉及视频编解码技术、设备和系统。

技术介绍

[0004]尽管视频压缩有了进展，数字视频仍然占用了因特网和其他数字通信网络上的最大带宽使用。随着所连接的能够接收和显示视频的用户设备数量的增大，预期对数字视频使用的带宽需求将持续增长。

技术实现思路

[0005]描述了涉及数字视频编解码，尤其涉及用于视频编解码的自适应环路滤波的设备、系统和方法。可以将所述方法应用于现有的视频编解码标准(例如，高效视频编解码(HEVC))以及将来的视频编解码标准(例如，多功能视频编解码(VVC))或编解码器。
[0006]视频编解码标准主要是通过开发公知的ITU
‑
T和ISO/IEC标准而发展起来的。ITU
‑
T开发了H.261和H.263，ISO/IEC开发了MPEG
‑
1和MPEG
‑
4视觉，并且两个组织联合开发了H.262/MPEG
‑
2视频、H.264/MPEG
‑
4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，创建了VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家小组(JVET)，以针对VVC标准展开工作，目标是与HEVC相比降低50％的比特率。
[0007]在一个代表性方面中，可以使用公开的技术提供一种用于视频处理的方法，该方法包括基于当前视频块的相邻块的帧内模式构建帧内编解码模式的第一模式列表；基于第一模式列表构建帧内编解码模式的第二模式列表；以及使用第一模式列表或第二模式列表的至少一个对当前视频块执行帧内模式编解码。
[0008]在另一个代表性方面中，可以使用公开的技术提供一种用于视频处理的方法，该方法包括：基于当前视频块的相邻块的帧内模式构建帧内编解码模式的模式列表以包括候选模式，其中构建模式列表包括基于候选模式的类型在模式列表中的位置处定位候选模式。
[0009]在一个代表性方面中，可以使用公开的技术提供一种用于视频处理的方法。该方法包括，针对视频的当前块和当前块的比特流表示之间的转换构建当前块的帧内编解码模式的两个或更多最大可能模式(MPM)列表，其中两个或更多MPM列表至少包括利用第一构建
方法构建的第一MPM列表以及利用与第一构建方法不同的第二构建方法构建的第二MPM列表；以及使用从构建的两个或更多MPM列表选择的一个MPM列表执行转换。
[0010]在又一代表性方面中，上述方法实现成处理器可执行代码的形式并存储于计算机可读程序介质中。
[0011]在又一代表性方面当中，公开了一种被配置为或可用于执行上述方法的装置。该装置可以包括被编程控制以实施这种方法的处理器。
[0012]在又一典型的方面，公开了实现本文所述的视频解码方法的视频解码装置。
[0013]在附图、说明书和权利要求中更详细地描述了所公开技术的以上和其他方面和特征。
附图说明
[0014]图1示出了帧内块复制的示例。
[0015]图2示出了在调色板模式中编解码的块的示例。
[0016]图3示出了使用调色板预测子信令通知调色板条目的示例。
[0017]图4示出了用于编解码调色板索引的水平和垂直遍历扫描的示例。
[0018]图5示出了调色板索引的编解码示例。
[0019]图6示出了多类型树划分模式的示例。
[0020]图7示出了用于推导α和β的样点的位置示例。
[0021]图8示出了具有色度缩放架构的亮度映射的示例。
[0022]图9示出了67种帧内预测模式的示例。
[0023]图10示出了当前块的左侧和上方邻块的示例。
[0024]图11示出了与预测块相邻的四条参考线的示例。
[0025]图12a示出了针对4x8和8x4 CU的子分割的示例，图12b示出了针对4x8、8x4和4x4之外的CU的子分割的示例。
[0026]图13a和13b示出了根据公开的技术用于模式列表构建的示例方法的流程图。
[0027]图14是用于实施本文描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。
[0028]图15是用于视频编解码的示例方法的流程图。
具体实施方式
[0029]由于对更高分辨率视频的需求越来越大，视频编解码方法和技术在现代技术中无所不在。视频编解码器通常包括对数字视频进行压缩和解压缩的电子电路或软件，并且正在不断得到改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换成压缩格式，或者反之。在视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据损失和错误的敏感度、编辑的容易性、随机存取和端到端延迟(迟延)之间存在复杂的关系。压缩格式通常遵守标准视频压缩规范，例如，高效率视频编解码(HEVC)标准(也称为H.265或MPEG
‑
H部分2)、即将完稿的多功能视频编解码(VVC)标准、或其他当前和/或将来的视频编解码标准。
[0030]可以将公开的技术的实施例应用于现有视频编解码标准(例如，HEVC、H.265)和将
来的标准，以改进运行时性能。在本文中，使用章节标题以提高描述的可读性，并且不以任何方式将论述或实施例(和/或实现)仅限制到相应章节。
[0031]1帧内块复制
[0032]帧内块复制(IBC)，又名当前图片引用，已经用于HEVC屏幕内容编解码扩展(HEVC
‑
SCC)和当前VVC测试模型(VTM
‑
4.0)中。IBC将运动补偿的概念从帧间编解码扩展到帧内编解码。如图1中所示，在应用IBC时，通过同一图片中的参考块预测当前块。在对当前块进行编码或解码之前，必须已经重构了参考块中的样点。尽管IBC并非对于大部分相机捕获序列都那么高效率，但其展现出对于屏幕内容显著的编解码增益。原因在于在屏幕内容图片中存在大量的重复图案，例如图标和文本字符。IBC能够有效地消除这些重复图案之间的冗余。在HEVC
‑
SCC中，如果IBC选择当前图片作为其参考图片，则帧间编解码的编解码单元(CU)可以应用IB本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理视频的方法，包括：针对视频的当前块和所述当前块的比特流表示之间的转换，构建所述当前块的帧内编解码模式的两个或更多最大可能模式(MPM)列表，其中所述两个或更多MPM列表至少包括利用第一构建方法构建的第一MPM列表以及利用与所述第一构建方法不同的第二构建方法构建的第二MPM列表；以及使用从构建的两个或更多MPM列表选择的一个MPM列表执行所述转换。2.根据权利要求1所述的方法，其中，所述第一MPM列表是所述当前块的当前MPM列表，所述第二MPM列表是从所述第一MPM列表导出的。3.根据权利要求2所述的方法，其中，首先生成所述第一MPM列表，通过对所述第一MPM列表中的那些模式重新排序来生成所述第二MPM列表。4.根据权利要求3所述的方法，其中，将平面模式和/或DC模式放到所述第一MPM列表中的不同位置。5.根据权利要求2所述的方法，其中，首先生成所述第一MPM列表，通过替代所述第一MPM列表中的一种或多种模式来生成所述第二MPM列表。6.根据权利要求5所述的方法，其中，利用角度模式替代平面模式和/或DC模式。7.根据权利要求6所述的方法，其中，所述角度模式包括水平模式和垂直模式的至少一种。8.根据权利要求5所述的方法，其中，利用水平模式和/或垂直模式替代所述第一MPM列表中除该水平模式和垂直模式之外的一些模式。9.根据权利要求1所述的方法，其中，所述第二MPM列表遵守所述第一MPM列表的逻辑，其中用角度模式替代一些非角度模式。10.根据权利要求1
‑
9中任一项所述的方法，其中，在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行和LCU组级别的至少一者中信令通知是否允许两个或更多MPM列表。11.根据权利要求1
‑
10中任一项所述的方法，其中，所允许MPM列表的数量被预定义或向解码器信令通知。12.根据权利要求11所述的方法，其中MPM列表的所述数量是固定值。13.根据权利要求12所述的方法，其中所述固定值是2。14.根据权利要求11所述的方法，其中，在VPS、SPS、PPS、图片标头、条带标头、片组标头、LCU、CU、LCU行和LCU组级别的至少一者中信令通知MPM列表的数量。15.根据权利要求1
‑
14中任一项所述的方法，其中，所述第一MPM列表和第二MPM列表之一用于自然内容编解码，另一个用于屏幕内容编解码。16.根据权利要求1
‑
15中任一项所述的方法，其中，选择哪个MPM列表取决于以下一项或多项：i.包括屏幕内容和自然内容中至少一者的视频内容；ii.在VPS、SPS、PPS、图片标头、条带标头、片组标头、LCU、CU、LCU行、LCU组或其他视频单元中信令通知的消息；iii.预测单元(PU)的位置；iv.所述当前块和/或其相邻块的块尺度；
v.所述当前块和/或其相邻块的块形状；vi.预测模式，包括所述当前块的相邻块的帧内模式和帧间模式；vii.所述当前块的相邻块的帧内预测模式；viii.所述当前块的相邻块的运动矢量；ix.所述当前块的相邻块的量化残差块差分脉码调制(QR
‑
BDPCM)模式的指示；x.所述当前块的变换类型的QR
‑
BDPCM模式的指示；xi.所述当前块和/或其相邻块的当前量化参数；xii.所述当前块的颜色格式的指示；xiii.编解码树结构；xiv.条带、片组类型和/或图片类型。17.根据权利要求16所述的方法，其中，在条带标头中信令通知标志，以指示要为编解码常规帧内预测模式而选择的列表。18.根据权利要求16所述的方法，其中，所述MPM列表取决于指示视频内容信息的消息，所述视频内容信息包括屏幕内容或相机捕获内容的至少一者。19.根据权利要求16所述的方法，其中，所述当前块的所述颜色格式是4:2:0或4:4:4。20.根据权利要求1
‑
19中任一项所述的方法，其中，允许在条带、片、图片、CU、LCU、LCU组或块级别切换所述MPM列表。21.根据权利要求20所述的方法，其中，是否切换所述MPM列表取决于如下至少一项：i.包括屏幕内容和自然内容中至少一者的视频内容；ii.在VPS、SPS、PPS、图片标头、条带标头、片组标头、LCU、CU、LCU行、LCU组或其他视频单元中信令通知的消息；iii.预测单元(PU)的位置；iv.所述当前块和/或其相邻块的块尺度；v.所述当前块和/或其相邻块的块形状；vi.预测模式，包括所述当前块的相邻块的帧内模式和帧间模式；vii.所述当前块的相邻块的帧内预测模式；viii.所述当前块的相邻块的运动矢量；ix.所述当前块的相邻块的量化残差块差分脉码调制(QR
‑
BDPCM)模式的指示；x.所述当前块的变换类型的QR
‑
BDPCM模式的指示；xi.所述当前块和/或其相邻块的当前量化参数；xii.所述当前块的颜色格式的指示；xiii.编解码树结构；xiv.条带、片组类型和/或图片类型；xv.包括亮度分量和色度分量的至少一个的颜色分量。22.根据权利要求1
‑
21中任一项所述的方法，其中，在构建MPM列表期间，特定角度模式始终在所述MPM列表中。23.根据权利要求22所述的方法，其中，所述特定角度模式为垂直模式和/或水平模式。24.根据权利要求22或23所述的方法，其中，所述特定角度模式被插入所述MPM列表中给定位置处。
25.根据权利要求24所述的方法，其中，所述特定角度模式被插入所述MPM列表中第一位置处。26.根据权利要求23所述的方法，其中，所述垂直模式和所述水平模式始终按顺序在所述MPM列表中前两个位置。27.根据权利要求23所述的方法，其中，所述水平模式和所述垂直模式始终按顺序在所述MPM列表中前两个位置。28.根据权利要求22所述的方法，其中，所述MPM列表始终是{INTRA_ANGULAR50,INTRA_ANGULAR18,DC,平面,INTRA_ANGULAR34,INTRA_ANGULAR66}。29.根据权利要求22所述的方法，其中，所述MPM列表始终是{INTRA_ANGULAR18,INTRA_ANGULAR50,平面,DC,INTRA_ANGULAR34,INTRA_ANGULAR66}。30.根据权利要求22所述的方法，其中，所述MPM列表始终是{INTRA_ANGULAR50,INTRA_ANGULAR18,平面,DC,INTRA_ANGULAR34,INTRA_ANGULAR66}。31.根据权利要求22所述的方法，其中，所述MPM列表始终是{平面,DC,INTRA_ANGULAR18,INTRA_ANGULAR50,INTRA_ANGULAR34,INTRA_ANGULAR66}。32.根据权利要求22所述的方法，其中，如果所述当前块的左侧相邻帧内模式和上方相邻帧内模式都不可用，则所述MPM列表是{INTRA_ANGULAR50,INTRA_ANGULAR18,DC,平面,INTRA_ANGULAR34,INTRA_ANGULAR66}。33.根据权利要求22所述的方法，其中，如果所述当前块的左侧相邻帧内模式和上方相邻帧内模式都不可用，则所述MPM列表是{INTRA_ANGULAR50,INTRA_ANGULAR18,DC,平面,INTRA_ANGULAR34,INTRA_ANGULAR2}。34.根据权利要求22所述的方法，其中，如果所述当前块的左侧相邻帧内模式和上方相邻帧内模式相同，且这种模式是非角度帧内模式，则所述MPM列表是{DC,平面,INTRA_ANGULAR50,INTRA_ANGULAR18,INTRA_ANGULAR34,INTRA_ANGULAR66}。35.根据权利要求22所述的方法，其中，如果所述当前块的左侧相邻帧内模式和上方相邻帧内模式相同，且这种模式A是角度帧内模式，则基于这种模式A的方向构建所述MPM列表。36.根据权利要求35所述的方法，其中，如果A>＝2且A<＝18，则所述MPM列表是{INTRA_ANGULAR18,INTRA_ANGULAR2,INTRA_ANGULAR50,DC,平面,INTRA_ANGULAR66}。37.根据权利要求35所述的方法，其中，如果A>＝18且A<＝34，则所述MPM列表是{INTRA_ANGULAR18,INTRA_ANGULAR34,INTRA_ANGULAR50,DC,平面,INTRA_ANGULAR2}。38.根据权利要求35所述的方法，其中，如果A>＝34且A<＝50，则所述MPM列表是{INTRA_ANGULAR50,INTRA_ANGULAR34,INTRA_ANGULAR18,DC,平面,INTRA_ANGULAR66}。39.根据权利要求35所述的方法，其中，如果A>＝50且A<＝66，则所述MPM列表是{INTRA_ANGULAR50,INTRA_ANGULAR66,INTRA_ANGULAR18,DC,平面,INTRA_ANGULAR34}。40.根据权利要求22所述的方法，其中，如果所述当前块的左侧相邻帧内模式和上方相邻帧内模式是不同模式，且它们之一是非角度模式，则所述MPM列表是{DC,平面,INTRA_ANGULAR50,INTRA_ANGULAR18,INTRA_ANGULAR34,INTRA_ANGULAR66}。41.根据权利要求22所述的方法，其中，所述当前块的左侧相邻帧内模式和上方相邻帧内模式是不同模式，且它们两者都是角度模式，则其中Max表示这两种帧内模式之间的最大
值。42.根据权利要求41所述的方法，其中，如果Max>＝2且Max<＝18，则所述MPM列表是{INTRA_ANGULAR18,INTRA_ANGULAR2,INTRA_ANGULAR50,DC,平面,INTRA_ANGULAR66}。43.根据权利要求41所述的方法，其中，如果Max>＝18且Max<＝34，则所述MPM列表可以是{INTRA_ANGULAR18,INTRA_ANG...

【专利技术属性】
技术研发人员：朱维佳，张莉，许继征，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：