仿射线性加权帧内预测中的预测信号滤波制造技术

一种用于对视频数据进行解码的设备确定视频数据的当前块是以仿射线性加权帧内预测(ALWIP)模式编码的；基于当前块的左侧边缘相邻样本集和当前块的顶部边缘相邻样本集来推导左侧边缘样本子集和顶部边缘样本子集；向左侧边缘样本子集和顶部边缘样本子集应用仿射模型以生成中间样本的中间块；对中间样本进行滤波以生成最终预测块；基于最终预测块来对视频数据的当前块进行解码。频数据的当前块进行解码。频数据的当前块进行解码。

【技术实现步骤摘要】
【国外来华专利技术】仿射线性加权帧内预测中的预测信号滤波
[0001]本申请要求于2020年5月7日提交的美国专利申请No.16/868,982的优先权，该美国专利申请要求于2019年5月9日提交的美国临时专利申请No.62/845,839的权益，上述每一申请的全部内容故此通过引用的方式并入本文。


[0002]本公开内容涉及视频编码和视频解码。

技术介绍

[0003]可以将数字视频能力并入广泛范围的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、台式或膝上型计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、所谓的“智能电话”、视频电话会议设备、视频流式传输设备等等。数字视频设备实现视频译码技术，例如在由MPEG
‑
2、MPEG
‑
4、ITU
‑
T H.263、ITU
‑
T H.264/MPEG
‑
4第10部分、高级视频译码(AVC)、高效率视频译码(HEVC)标准、ITU
‑
TH.265/高效率视频译码(HEVC)定义的标准以及此类标准的扩展中描述的那些视频编码技术。视频设备可以通过实现此类视频编码技术来更高效地发送、接收、编码、解码和/或存储数字视频信息。
[0004]视频译码技术包括空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余性。对于基于块的视频译码，可以将视频切片(例如，视频图片或视频图片的一部分)分割成视频块，这些视频块也可以被称为译码树单元(CTU)、译码单元(CU)和/或译码节点。图片的帧内编码(I)切片中的视频块使用针对相同图片中的相邻块中的参考样本的空间预测来进行编码。图片的帧间编码(P或B)切片中的视频块可以使用针对相同图片中的相邻块中的参考样本的空间预测或者针对其它参考图片中的参考样本的时间预测。图片也可以被称为帧，并且参考图片可以被称为参考帧。

技术实现思路

[0005]本公开内容描述了可以改善帧内预测的技术，包括推导和以信号发送用于线性加权帧内预测(其也可以被称为矩阵帧内预测或矩阵加权帧内预测或仿射线性加权帧内预测(ALWIP))的模式。更具体而言，对于以ALWIP模式编码的视频数据的当前块，本公开内容描述了用于对边界参考样本进行滤波以生成经滤波的预测块的技术。经滤波预测块可以通过生成更准确的预测块来改善以ALWIP模式编码的块的速率
‑
失真折衷。
[0006]根据一个示例，一种对视频数据进行解码的方法包括：确定视频数据的当前块是以仿射线性加权帧内预测(ALWIP)模式编码的；基于所述当前块的左侧边缘相邻样本集和所述当前块的顶部边缘相邻样本集来推导左侧边缘样本子集和顶部边缘样本子集，其中，所述左侧边缘样本子集包括比所述左边缘样本集少的样本并且所述顶部边缘样本子集包括比所述顶边缘样本集少的样本；向所述左侧边缘样本子集和所述顶部边缘样本子集应用仿射模型以生成中间样本的中间块；使用所述当前块的左侧边缘相邻样本集和所述顶部边
缘相邻样本集来对所述中间样本进行滤波以生成最终预测块；以及基于所述最终预测块来对视频数据的所述当前块进行解码。
[0007]根据另一示例，一种用于对视频数据进行解码的设备包括确定视频数据的当前块是以仿射线性加权帧内预测(ALWIP)模式编码的；基于所述当前块的左侧边缘相邻样本集和所述当前块的顶部边缘相邻样本集来推导左侧边缘样本子集和顶部边缘样本子集，其中，所述左侧边缘样本子集包括比所述左边缘样本集少的样本并且所述顶部边缘样本子集包括比所述顶边缘样本集少的样本；向所述左侧边缘样本子集和所述顶部边缘样本子集应用仿射模型以生成中间样本的中间块；使用所述当前块的左侧边缘相邻样本集和所述顶部边缘相邻样本集来对所述中间样本进行滤波以生成最终预测块；以及基于所述最终预测块来对视频数据的所述当前块进行解码。
[0008]根据另一示例，一种计算机可读存储介质存储指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：确定视频数据的当前块是以仿射线性加权帧内预测(ALWIP)模式编码的；基于所述当前块的左侧边缘相邻样本集和所述当前块的顶部边缘相邻样本集来推导左侧边缘样本子集和顶部边缘样本子集，其中，所述左侧边缘样本子集包括比所述左边缘样本集少的样本并且所述顶部边缘样本子集包括比所述顶边缘样本集少的样本；向所述左侧边缘样本子集和所述顶部边缘样本子集应用仿射模型以生成中间样本的中间块；使用所述当前块的左侧边缘相邻样本集和所述顶部边缘相邻样本集来对所述中间样本进行滤波以生成最终预测块；以及基于所述最终预测块来对视频数据的所述当前块进行解码。
[0009]根据另一示例，一种用于对视频数据进行解码的装置包括：用于确定视频数据的当前块是以仿射线性加权帧内预测(ALWIP)模式编码的单元；用于基于所述当前块的左侧边缘相邻样本集和所述当前块的顶部边缘相邻样本集来推导左侧边缘样本子集和顶部边缘样本子集的单元，其中，所述左侧边缘样本子集包括比所述左边缘样本集少的样本并且所述顶部边缘样本子集包括比所述顶边缘样本集少的样本；用于向所述左侧边缘样本子集和所述顶部边缘样本子集应用仿射模型以生成中间样本的中间块的单元；用于使用所述当前块的左侧边缘相邻样本集和所述顶部边缘相邻样本集来对所述中间样本进行滤波以生成最终预测块的单元；以及用于基于所述最终预测块来对视频数据的所述当前块进行解码的单元。
[0010]在附图和以下描述中阐述了一个或多个示例的细节。其它特征、目标和优势通过本描述、附图和权利要求将是显而易见的。
附图说明
[0011]图1是示出了可以执行本公开内容的技术的示例性视频编码和解码系统的框图。
[0012]图2A和图2B是示出了示例性四叉树二叉树(QTBT)结构以及对应的译码树单元(CTU)的概念图。
[0013]图3示出了帧内预测的方向的示例，其中箭头指向参考样本。
[0014]图4示出了8
×
4矩形块的示例，其中“较近”参考样本未用于帧内预测，但可使用较远参考样本。
[0015]图5A
‑
图5C示出了用于对角线方向范围之外的模式的模式映射过程的示例。
[0016]图6是示出了具有广角方向的示例性帧内预测方向的概念图。
[0017]图7A是示出了具有广角方向的帧内预测方向另一示例的概念图。
[0018]图7B是示出了帧内预测模式与帧内预测角之间的关系的表。
[0019]图8是示出了块的示例性垂直和水平划分的概念图。
[0020]图9是示出了块的垂直和水平划分的其它示例的概念图。
[0021]图10是可以用于译码块的帧内预测的多个参考行中的参考样本的图示。
[0022]图11A和图11B是示出了用于4
×
4块内的样本位置的DC模式PDPC权重的示例的概念图。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对视频数据进行解码的方法，所述方法包括：确定视频数据的当前块是以仿射线性加权帧内预测(ALWIP)模式编码的；基于所述当前块的左侧边缘相邻样本集和所述当前块的顶部边缘相邻样本集来推导左侧边缘样本子集和顶部边缘样本子集，其中，所述左侧边缘样本子集包括比所述左边缘样本集少的样本并且所述顶部边缘样本子集包括比所述顶边缘样本集少的样本；向所述左侧边缘样本子集和所述顶部边缘样本子集应用仿射模型以生成中间样本的中间块；使用所述当前块的所述左侧边缘相邻样本集和所述顶部边缘相邻样本集来对所述中间样本进行滤波以生成最终预测块；以及基于所述最终预测块来对视频数据的所述当前块进行解码。2.根据权利要求1所述的方法，其中：推导所述左侧边缘样本子集包括对所述左侧边缘相邻样本集进行下采样，其中，所述左侧边缘样本子集中的每个样本包括所述左边缘样本集中的两个或更多个样本的平均；以及推导所述顶部边缘样本子集包括对所述顶部边缘相邻样本集进行下采样，其中，所述顶部边缘样本子集中的每个样本包括所述顶边缘样本集中的两个或更多个样本的平均。3.根据权利要求1所述的方法，其中，向所述左侧边缘样本子集和所述顶部边缘样本子集应用所述仿射模型以生成中间样本的所述中间块包括：将所述左侧边缘样本子集和所述顶部边缘样本子集乘以矩阵和偏置矢量。4.根据权利要求1所述的方法，其中，所述顶部边缘相邻样本集具有总共N个样本，并且所述顶部边缘样本子集具有总共N/2个样本，其中，N是表示所述当前块中所包括的列数的整数。5.根据权利要求1所述的方法，其中，所述左侧边缘相邻样本集具有总共N个样本，并且所述左侧边缘样本子集具有总共N/2个样本，其中，N是表示所述当前块中所包括的行数的整数。6.根据权利要求1所述的方法，其中，对所述中间样本进行滤波以生成所述最终预测块包括：使用与所述左侧边缘样本子集不同的第二左侧边缘样本子集以及与所述顶部边缘样本子集不同的第二顶部边缘样本子集来对所述中间样本进行上采样。7.根据权利要求1所述的方法，其中：所述当前块是N
×
M样本块，N是表示所述当前块中的列数和所述顶边缘样本集中的样本数的整数值，并且M是表示所述当前块中的行数和所述左边缘样本集中的样本数的整数值；并且所述左侧边缘样本子集具有M/2个样本并且所述顶部边缘样本子集具有N/2个样本。8.根据权利要求7所述的方法，其中，对所述中间样本进行滤波以生成最终预测块包括：在垂直方向上应用一个或多个滤波器。9.根据权利要求8所述的方法，其中，在所述垂直方向上应用所述一个或多个滤波器包括：使用所述顶边缘样本集中的样本在所述垂直方向上执行线性内插。10.根据权利要求8所述的方法，其中，在所述垂直方向上应用所述一个或多个滤波器包括：向所述顶边缘样本集中的所述N个样本中的至少一些样本应用位置相关权重。
11.根据权利要求1所述的方法，其中，基于所述最终预测块来对视频数据的所述当前块进行解码包括：确定视频数据的所述当前块的残差值；将所述残差值添加到经滤波的预测块以确定视频数据的所述当前块的经重构块；以及向所述经重构块应用一个或多个滤波器以生成视频数据的经解码块。12.根据权利要求1所述的方法，其中，所述方法是作为视频编码过程的一部分来执行的。13.一种用于对视频数据进行解码的设备，所述设备包括：存储器，所述存储器被配置为存储视频数据；以及一个或多个处理器，所述一个或多个处理器在电路中实现并且被配置为：确定视频数据的当前块是以仿射线性加权帧内预测(ALWIP)模式编码的；基于所述当前块的左侧边缘相邻样本集和所述当前块的顶部边缘相邻样本集来推导左侧边缘样本子集和顶部边缘样本子集，其中，所述左侧边缘样本子集包括比所述左边缘样本集少的样本并且所述顶部边缘样本子集包括比所述顶边缘样本集少的样本；向所述左侧边缘样本子集和所述顶部边缘样本子集应用仿射模型以生成中间样本的中间块；使用所述当前块的左侧边缘相邻样本集和所述顶部边缘相邻样本集来对所述中间样本进行滤波以生成最终预测块；以及基于所述最终预测块来对视频数据的所述当前块进行解码。14.根据权利要求13所述的设备，其中：为了推导所述左侧边缘样本子集，所述一个或多个处理器还被配置为：对所述左侧边缘相邻样本集进行下采样，其中，所述左侧边缘样本子集中的每个样本包括所述左边缘样本集中的两个或更多个样本的平均；以及为了推导所述顶部边缘样本子集，所述一个或多个处理器还被配置为：对所述顶部边缘相邻样本集进行下采样，其中，所述顶部边缘样本子集中的每个样本包括所述顶边缘样本集中的两个或更多个样本的平均。15.根据权利要求13所述的设备，其中，为了向所述左侧边缘样本子集和所述顶部边缘样本子集应用所述仿射模型以生成中间样本的所述中间块，所述一个或多个处理器还被配置为：将所述左侧边缘样本子集和所述顶部边缘样本子集乘以矩阵和偏置矢量。16.根据权利要求13所述的设备，其中，所述顶部边缘相邻样本集具有总共N个样本，并且所述顶部边缘样本子集具有总共N/2个样本，其中，N是表示所述当前块中所包括的列数的整数。17.根据权利要求13所述的设备，其中，所述左侧边缘相邻样本集具有总共N个样本，并且所述左侧边缘样本子集具有总共N/2个样本，其中，N是表示所述当前块中所包括的行数的整数。18.根据权利要求13所述的设备，其中，为了对所述中间样本进行滤波以生成所述最终预测块，所述一个或多个处理器还被配置为：使用与所述左侧边缘样本子集不同的第二左侧边缘样本子集以及与所述顶部边缘样本子集不同的第二顶部边缘样本子集来对所述中间样本进行上采样。
19.根据权利要求13所述的设备，其中：所述当前块是N
×
M样本块，N是表示所述当前块中的列数和所述顶边缘样本集中的样本数的整数值，并且M是表示所述当前块中的行数和所述左边缘样本集中的样本数的整数值；所述左侧边缘样本子集具有M/2个样本并且所述顶部边缘样本子集具有N/2个样本。20.根据权利要求19所述的设备，其中，为了对所述中间样本进行滤波以生成最终预测块，所述一个或多个处理器还被配置为：在垂直方向上应用一个或多个滤波器。21.根据权利要求20所述的设备，其中，为了在所述垂直方向上应用所述一个或多个滤波器，所述一个或多个处理器还被配置为：使用所述顶边缘样本集中的样本在所述垂直方向上执行线性内插。22.根据权利要求20所述的设备，其中，为了在所述垂直方向上应用所述一个或多个滤波器，所述一个或多个处理器还被配置为：向所述顶边缘样本集中的所述N个样本中的至少一些样本应用位置相关权重。23.根据权利要求13所述的设备，其中，为了基于所述最终预测块来对视频数据的所述当前块进行解码，所述一个或多个处理器还被配置为：确定视频数据的所述当前块的残差值；将所述残差值添加到经滤波的预测块以确定视频数据的所述当前块的经重构块；以及向所述经重构块应用一个或多个滤波器以生成视频数据的经解码块。24.根据权利要求13所述的设备，其中，所述设备包括无线通信设备，还包括被配置为接收经编码视频数据的接收机。25.根据权利要求24所述的设备，其中，所述无线通信设备包括电话手持设备，并且其中，所述接收机被配置为：根据无线通信标准来解调包括所述经编码视频数据的信号。26.根据权利要求13所述的设备，其中，所述设备包括无线通信设备，还...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：