【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及视频编解码。具体而言，本专利技术涉及解码器端运动向量细化(decoder-side motin vector refinement，简称dmvr)。
技术介绍
1、除非本文另有说明，否则本节中描述的方法不是下面列出的权利要求的现有技术，以及不被包含在本节中而被承认为现有技术。
2、高效视频编解码(high-efficiency video coding，简称hevc)是由视频编解码联合协作组(joint collaborative team on video coding，简称jct-vc)开发的国际视频编解码标准。hevc基于混合的基于块的运动补偿类dct变换编解码架构。压缩的基本单元，被称为编解码单元(coding unit，简称cu)，是一个2nx2n的方形像素块，每个cu可以递归地分成四个更小的cu，直到达到预定的最小尺寸。每个cu包含一个或多个预测单元(predictionunit，简称pu)。
3、多功能视频编解码(versatile video coding，简称vvc)是由itu-tsg16 wp3和iso/iec jtc1/sc29/wg11的联合视频专家组(joint video expert team，简称jvet)制定的最新国际视频编解码标准。输入视频信号从重构信号预测，该重构信号从编解码图片区域导出。预测残差信号通过块变换进行处理。变换系数与比特流中的其他辅助信息一起被量化和熵编解码。重构信号根据预测信号和对去量化变换系数进行逆变换后的重构残差信号生成。重构信号通
4、在vvc中，编解码图片被划分为由相关联的编解码树单元(coding tree unit，简称ctu)表示的非重迭方形块区域。编解码图片可以由片段集合表示，每个片段包含整数个ctu。片段中的各个ctu以光栅扫描连续处理。帧内预测或帧间预测可以被用来对双向预测(bi-predictive，简称b)片段进行解码，其中最多有两个运动向量和参考索引来预测每个块的样本值。预测(p)片段使用具有至多一个运动向量和参考索引的帧内预测或帧间预测来解码以预测每个块的样本值。帧内(intra，简称i)片段仅使用帧内预测对进行解码。
5、对于每个帧间预测cu，由运动向量、参考图片索引和参考图片列表使用索引组成的运动参数以及额外信息被用于帧间预测样本的生成。运动参数可以显式或隐式方式发送。当cu以跳过模式进行编解码时，cu与一个pu相关联以及没有显著的残差系数，没有被编解码的运动向量增量或参考图片索引。合并模式指当前cu的运动参数是从相邻cu获得的,包括空间和时间候选，以及vvc中引入的额外排程。合并模式可被用于任一帧间预测的cu。合并模式的可选方案是运动参数的显式传输，其中每个cu的运动向量、每个参考图片列表的相应参考图片索引和参考图片列表使用标志以及其他所需信息被显式地发送。
技术实现思路
1、以下概述仅是说明性的并且不旨在以任何方式进行约束。即，以下概述被提供以介绍本文所述的新颖且非显而易见的技术的概念、亮点、益处和优点。选择而不是所有的实施方式在下面的详细描述中被进一步描述。因此，以下概述并非旨在识别所要求保护的主题的基本特征，也不旨在用于决定所要求保护的主题的范围。
2、一些实施例提供一种使用双边模板来执行解码器端运动向量细化的视频编解码器。视频编解码器接收像素块的数据，该像素块的数据将被编码或解码为视频的当前图片的当前块。当前块与第一运动向量和第二运动向量相关联，该第一运动向量参考第一参考图片中的第一初始预测子，以及该第二运动向量参考第二参考图片中的第二初始预测子。第一和第二运动向量可以是双向预测合并候选。当第一运动向量是单向预测候选时，第二运动向量可以通过在相反方向上镜像第一运动向量来生成。
3、视频编解码器基于第一初始预测子和第二初始预测子生成双边范本。视频编解码器细化第一运动向量以最小化双边范本与细化的第一运动向量参考的预测子之间的第一成本。视频编解码器细化第二运动向量以最小化双边范本与细化的第二运动向量参考的预测子之间的第二成本。视频编解码器通过使用细化的第一和第二运动向量以重构当前块来对当前块进行编码或解码。
4、在一些实施例中，视频编解码器还发送或接收第一语法元素，该第一语法元素指示是通过使用生成的双边范本还是通过基于第一和第二初始预测子执行双边匹配来细化第一或第二运动向量。在一些实施例中，视频编解码器发送或接收第二语法元素，该第二语法元素用于指示细化第一运动向量或是细化第二运动向量。
5、视频编解码器可以导出双边模板作为第一初始预测子和第二初始预测子的权重和。在一些实施例中，分别应用于第一和第二初始预测子的权重基于第一和第二初始预测子的片段量化参数值来决定。在一些实施例中，分别应用于第一和第二初始预测值的权重基于第一和第二参考图片与当前图片的图片顺序计数(picture order count，简称poc)距离来决定。在一些实施例中，分别应用于第一和第二初始预测子的权重根据对当前块发送的具有cu级权重(bi-prediction with cu-level weights，简称bcw)索引的双向预测来决定。
6、在一些实施例中，视频编解码器通过使用基于第一初始预测子、第二初始预测子和当前块的扩展区域(例如，l形上方和左侧区域)生成的线性模型来细化双边范本。在一些实施例中，视频编解码器基于第一初始预测子、第二初始预测子和当前块的扩展区域生成的线性模型细化第一和第二初始预测子，然后基于细化的第一和第二初始预测子生成双边范本。
7、在一些实施例中，视频编解码器在多遍次中细化第一和第二运动向量。视频编解码器可在第二细化遍次中进一步细化当前块的多个子块中的每一子块的第一和第二运动向量。视频编解码器可通过在第三细化遍次中应用双向光流(bi-directional opticalflow，简称bdof)来进一步细化第一和第二运动向量。在一些实施例中，在第二细化遍次中，第一和第二运动向量(即，双边匹配)通过最小化细化的第一运动向量参考的预测子与细化的第二运动向量参考的预测子之间的成本来细化。在一些实施例中，当双边模板用于细化第一和第二运动向量时，第二和第三细化遍次被禁用。
本文档来自技高网...【技术保护点】
1.一种视频编解码方法，包括：
2.根据权利要求1所述的视频编解码方法，其特征在于，所述第一运动向量和所述第二运动向量在第一细化遍次中被细化，所述方法进一步包括在第二细化遍次中对所述当前块的多个子块中的每个子块的所述第一运动向量和所述第二运动向量进行细化。
3.根据权利要求2所述的视频编解码方法，其特征在于，进一步包括通过在第三细化遍次中应用双向光流来细化所述第一运动向量和所述第二运动向量。
4.根据权利要求2所述的视频编解码方法，其特征在于，在第二细化遍次中，所述第一运动向量和所述第二运动向量通过最小化细化的所述第一运动向量所参考的预测子和细化的所述第二运动向量所参考的预测子之间的成本进行细化。
5.根据权利要求1所述的视频编解码方法，其特征在于，双边范本基于所述第一初始预测子和所述第二初始预测子的加权和导出。
6.根据权利要求5所述的视频编解码方法，其特征在于，分别应用于所述第一预测子和所述第二初始预测子的多个权重基于所述第一初始预测子和所述第二初始预测子的多个片段量化参数值来决定。
7.根据权利要求5所
8.根据权利要求5所述的视频编解码方法，其特征在于，分别应用于所述第一初始预测子和所述第二初始预测子的所述多个权重根据具有编解码单元级权重索引的双向预测来决定，所述编解码单元级权重索引用于所述当前块。
9.根据权利要求1所述的视频编解码方法，其特征在于，进一步包括接收或发送一个或多个语法元素，所述语法元素指示(i)是否通过使用生成的所述双边模板或通过基于所述第一初始预测子和所述第二初始预测子执行双边匹配来细化所述第一运动向量或所述第二运动向量，以及(ii)是否细化所述第一运动向量或细化所述第二运动向量。
10.根据权利要求1所述的视频编解码方法，其特征在于，进一步包括通过使用基于所述第一初始预测子、所述第二初始预测子和所述当前块的多个扩展区域生成的线性模型来细化所述双边范本。
11.根据权利要求1所述的视频编解码方法，其特征在于，进一步包括基于线性模型来细化所述第一初始预测子和所述第二初始预测子，所述线性模型基于所述第一初始预测子，所述第二初始预测子和所述当前块的多个扩展区域生成，其中所述双边范本基于细化的所述第一初始预测子和细化的所述第二初始预测子生成。
12.根据权利要求1所述的视频编解码方法，其特征在于，所述第二运动向量通过在相反方向上镜像所述第一运动向量生成，所述第一运动向量是单向预测候选。
13.一种电子装置，包括：
14.一种视频解码方法，包括：
15.一种视频编码方法，包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种视频编解码方法，包括：
2.根据权利要求1所述的视频编解码方法，其特征在于，所述第一运动向量和所述第二运动向量在第一细化遍次中被细化，所述方法进一步包括在第二细化遍次中对所述当前块的多个子块中的每个子块的所述第一运动向量和所述第二运动向量进行细化。
3.根据权利要求2所述的视频编解码方法，其特征在于，进一步包括通过在第三细化遍次中应用双向光流来细化所述第一运动向量和所述第二运动向量。
4.根据权利要求2所述的视频编解码方法，其特征在于，在第二细化遍次中，所述第一运动向量和所述第二运动向量通过最小化细化的所述第一运动向量所参考的预测子和细化的所述第二运动向量所参考的预测子之间的成本进行细化。
5.根据权利要求1所述的视频编解码方法，其特征在于，双边范本基于所述第一初始预测子和所述第二初始预测子的加权和导出。
6.根据权利要求5所述的视频编解码方法，其特征在于，分别应用于所述第一预测子和所述第二初始预测子的多个权重基于所述第一初始预测子和所述第二初始预测子的多个片段量化参数值来决定。
7.根据权利要求5所述的视频编解码方法，其特征在于，分别应用于所述第一初始预测子和所述第二初始预测子的所述多个权重基于所述第一参考图片和所述第二参考图片与所述当前图片的多个图片顺序计数距离来决定。
8.根据权利要求5所述的视频编解码方法，其特征在于，分...
【专利技术属性】
技术研发人员：赖贞延，陈泓辉，陈庆晔，陈俊嘉，徐志玮，庄子德，黄毓文，陈渏纹，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。