【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及填充视频编解码系统中超出边界的像素(out-of-boundary pixel)。具体地，本专利技术涉及在像素或区块重建阶段期间产生填充采样的有效方法。
技术介绍
1、通用视频编解码(vvc)是由itu-t视频编解码专家组(vceg)和iso/iec运动图像专家组的联合视频专家组(jvet)制定的最新国际视频编解码标准(mpeg)。该标准已作为iso标准发布：iso/iec 23090-3:2021，information technology-coded representation ofimmersive media-part 3:versatile video coding，2021年2月发布。通过基于其前身hevc(high efficiency video coding)，添加更多编解码工具来提高编解码效率，并处理各种类型的视频源，包括3维(3d)视频讯号，发展出vvc。
2、图1a说明了包含回圈处理的示例性适应性帧间/帧内(adaptive inter/intra)视频编解码系统。对于帧内预测，预测数据是根据当前图片(在后文中也称为画面)中先前编解码的视频数据导出的(derived)。对于帧间预测112，在编码器侧执行运动估计(motionestimation，简写为me)并且基于me的结果执行运动补偿(motion compensation，简写为mc)以提供从其他画面和运动数据导出的预测数据。开关114选择帧内预测110或帧间预测112并且所选择的预测数据被提供给加法器116以形成预测误
3、如图1a所示，输入的视频数据在编码系统中经过一系列处理。由于一系列处理，来自rec 128的重建的视频数据可能会受到各种损害。因此，环路滤波器130经常在重建的视频数据被存储在参考图片缓冲器134中之前应用于重建的视频数据以提高视频品质。例如，可以使用去块滤波器(deblocking filter，简写为df)、采样适应性偏移(sample adaptiveoffset，简写为sao)和适应性环路滤波器(adaptive loop filter，简写为alf)。可能需要将环路滤波器信息合并到比特流中，以便解码器可以正确地恢复所需的信息。因此，环路滤波器信息也被提供给熵编码器122以合并到比特流中。在图1a中，环路滤波器130在重建采样被存储在参考图片缓冲器134中之前被应用于重建的视频。图1a中的系统旨在说明典型视频编码器的示例性结构。它可能对应于高效视频编解码(hevc)系统、vp8、vp9、h.264或vvc。
4、如图1b所示，除了变换118和量化120之外，解码器可以使用与编码器相似或相同的功能块，因为解码器只需要逆量化124和逆变换126。取代熵编码器122，解码器使用熵解码器140将视频比特流解码为量化的变换系数和需要的编解码信息(例如ilpf信息、帧内预测信息和帧间预测信息)。解码器侧的帧内预测150不需要执行模式搜索。相反，解码器仅需要根据从熵解码器140接收的帧内预测信息生成帧内预测。此外，对于帧间预测，解码器仅需要根据从熵解码器140接收的帧间预测信息执行运动补偿(mc 152)而无需运动估计。
5、根据vvc，与hevc类似，输入图片被划分(partition)为称为ctu(编解码树单元)的非重叠方形块区域。每个ctu可以划分为一个或多个更小的编解码单元(cu)。生成的cu分区可以是正方形或矩形。此外，vvc将ctu划分为预测单元(pu)，作为应用预测处理的单元，例如帧间预测、帧内预测等。
6、在hevc中，参考图片透过图片边界采样的垂直填充来扩展。在vvc标准化过程中，研究了边界填充的新方法，这些方法使用基于帧间预测的技术或基于帧内预测的技术。在本专利技术中，公开了一种透过在重建阶段期间填充边界外像素的有效填充技术。
技术实现思路
1、公开了一种用于填充边界外像素的方法和装置。根据该方法，接收与位于图片边界处或附近的当前块相关联的输入数据，其中输入数据包括与当前块相关的预测数据和重建残差数据。基于预测数据和重建残差数据产生当前块的扩展的运动补偿重建块，其中当前块的扩展的运动补偿重建块被帧间编解码并且包括位于图片边界之外的填充区域以及重建的当前块。将至少一个环路滤波器应用于扩展的运动补偿重建块。
2、在一个实施例中，当前块对应于图片边界处或附近的4x4块，且扩展运动补偿重建块包含超出图片边界的m条填充线，其中m是正整数。在另一个实施例中，当前块对应于在图片边界处或附近的wxh块，并且如果当前块在水平图片边界处或附近，则扩展运动补偿重建块包括超出水平图片边界的m条填充线。如果当前块在垂直图片边界处或附近，则扩展运动补偿重建块包括超出垂直图片边界的m条填充线，其中m、w和h是正整数。在另一个实施例中，当前块包括在图片边界处或附近的wxh子块，并且该扩展的运动补偿重建块包括扩展的运动补偿重建wxh子块，并且其中如果wxh子块位于或接近水平图片边界，则该扩展的运动补偿重建wxh子块包括超出该水平图片边界的m条填充线，或者如果该wxh子块位于或接近垂直图片边界，则该扩展的运动补偿重建wxh子块包括超出该垂直图片边界的m条填充线，其中m、w和h是正整数。
3、在一个实施例中，与运动补偿过程相关联的相同插值滤波器被用于产生填充区域和重建的当前块内部的区域。在一个实施例中，与运动补偿过程相关联的用于产生填充区域的第一插值滤波器具有比与运动补偿过程相关联的用于产生重建的当前块内部的区域的第二插值滤波器更短的抽头数量。
4、在一个实施例中，与运动补偿过程相关联的相同插值滤波器被用于产生图片边界之外的所有填充采样。在一个实施例中，所述相同的插值滤波器对应于预先定义的插值滤波器。
5、在一个实施例中，用于产生图片边界之外的填充采样的与运动补偿过程相关联的预测模式被设定为预定义值。在一个实施例中，预定义值对应于lic、bdof、bcw、滤波器类型、多重假设或帧间预测方向。
6、在一个实施例中，与本文档来自技高网...
【技术保护点】
1.一种视频编解码方法，该方法包括：
2.根据权利要求1所述的方法，其特征在于，该当前块对应于在该图片边界处或该图片边界附近的4×4块，并且该扩展的运动补偿重建块包括超出该图片边界的M条填充线，其中M是正整数。
3.根据权利要求1所述的方法，其特征在于，该当前块对应于在该图片边界处或该图片边界附近的WxH块，并且如果该当前块位于或接近水平图片边界，则该扩展的运动补偿重建块包括超出水平图片边界的M条填充线，如果该当前块位于或接近垂直图片边界，则该扩展的运动补偿重建块包括超出垂直图片边界的M条填充线，其中M、W和H是正整数。
4.根据权利要求1所述的方法，其特征在于，该当前块包括在该图片边界处或该图片边界附近的wxh子块，并且该扩展的运动补偿重建块包括扩展的运动补偿重建wxh子块，并且其中如果wxh子块位于或接近水平图片边界，则该扩展的运动补偿重建wxh子块包括超出该水平图片边界的M条填充线，或者如果该wxh子块位于或接近垂直图片边界，则该扩展的运动补偿重建wxh子块包括超出该垂直图片边界的M条填充线，其中M、w和h是正整数。
5.根据
6.根据权利要求1所述的方法，其特征在于，与运动补偿过程相关联的用于生成该填充区域的第一插值滤波器具有比与该运动补偿过程相关联的用于生成该重建的当前块内的区域的第二插值滤波器较短的抽头数量。
7.根据权利要求1所述的方法，其特征在于，与运动补偿过程相关联的相同插值滤波器被用于产生该图片边界之外的所有填充采样。
8.根据权利要求7所述的方法，其特征在于，该相同插值滤波器对应于预先定义的插值滤波器。
9.根据权利要求1所述的方法，其特征在于，与运动补偿过程相关联的、用于产生该图片边界之外的填充采样的预测模式被设定为预定义值。
10.根据权利要求9所述的方法，其特征在于，该预定义值对应于LIC、BDOF、BCW、滤波器类型、多假设或帧间预测方向。
11.根据权利要求1所述的方法，其特征在于，与运动补偿处理相关联的相同预测模式被用于产生该填充区域和该重建的当前块内部的区域。
12.根据权利要求11所述的方法，其特征在于，该相同预测模式对应于LIC、BDOF、BCW、滤波器类型或多假设。
13.一种用于视频编解码的装置，该装置包括一个或多个电子装置或处理器，被布置为：
...【技术特征摘要】
【国外来华专利技术】
1.一种视频编解码方法，该方法包括：
2.根据权利要求1所述的方法，其特征在于，该当前块对应于在该图片边界处或该图片边界附近的4×4块，并且该扩展的运动补偿重建块包括超出该图片边界的m条填充线，其中m是正整数。
3.根据权利要求1所述的方法，其特征在于，该当前块对应于在该图片边界处或该图片边界附近的wxh块，并且如果该当前块位于或接近水平图片边界，则该扩展的运动补偿重建块包括超出水平图片边界的m条填充线，如果该当前块位于或接近垂直图片边界，则该扩展的运动补偿重建块包括超出垂直图片边界的m条填充线，其中m、w和h是正整数。
4.根据权利要求1所述的方法，其特征在于，该当前块包括在该图片边界处或该图片边界附近的wxh子块，并且该扩展的运动补偿重建块包括扩展的运动补偿重建wxh子块，并且其中如果wxh子块位于或接近水平图片边界，则该扩展的运动补偿重建wxh子块包括超出该水平图片边界的m条填充线，或者如果该wxh子块位于或接近垂直图片边界，则该扩展的运动补偿重建wxh子块包括超出该垂直图片边界的m条填充线，其中m、w和h是正整数。
5.根据权利要求1所述的方法，其特征在于，与运动补偿处理相关联的相同插值滤波器被用于产生该填充区域和该重建...
【专利技术属性】
技术研发人员：林郁晟，庄子德，徐志玮，陈庆晔，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。