使用几何模型进行运动编码用于视频压缩制造技术

一种视频编码系统，该视频编码系统基于核线几何结构执行运动预测。第一相机对应于当前帧，第二相机对应于参考帧，并且核线几何结构用于确定允许执行该参考帧与该当前帧之间的预测的运动参数。预测的运动参数。预测的运动参数。

【技术实现步骤摘要】
【国外来华专利技术】使用几何模型进行运动编码用于视频压缩


[0001]本实施方案中的至少一个实施方案整体涉及使用几何模型并且例如在用于云游戏的渲染合成视频的上下文中对视频进行运动编码。

技术介绍

[0002]为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关，然后对在原始块与预测块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。
[0003]云游戏使用视频编码向用户输送游戏动作。实际上，在此类上下文中，游戏的3D环境被渲染在服务器上，经过视频编码并且作为视频流提供给解码器。解码器显示视频，并且作为响应，将用户输入传输回服务器，从而允许与游戏元件和/或其他用户进行交互。

技术实现思路

[0004]本实施方案中的至少一个实施方案涉及视频编码系统，该视频编码系统基于核线几何结构执行运动预测。第一相机对应于当前帧，第二相机对应于参考帧，并且核线几何结构用于确定允许执行参考帧与当前帧之间的预测的运动参数。
[0005]根据至少一个实施方案的第一方面，一种用于对视频的当前帧的像素块进行解码的方法，该方法包括基于核线几何结构执行运动预测，其中第一相机对应于当前帧，第二相机对应于参考帧，并且核线几何结构用于确定允许执行参考帧的块与当前帧的块之间的预测的运动参数。
[0006]根据至少一个实施方案的第二方面，一种用于对视频的当前帧的像素块进行编码的方法，该方法包括基于核线几何结构执行运动预测，其中第一相机对应于当前帧，第二相机对应于参考帧，并且核线几何结构用于确定允许执行参考帧的块与当前帧的块之间的预测的运动参数。
[0007]根据至少一个实施方案的第三方面，一种包括用于对视频的当前帧的像素块进行解码的解码器的装置，该解码器被配置为基于核线几何结构执行运动预测，其中第一相机对应于当前帧，第二相机对应于参考帧，并且其中解码器被配置为使用核线几何结构确定允许执行参考帧的块与当前帧的块之间的预测的运动参数。
[0008]根据至少一个实施方案的第四方面，一种包括用于对视频的当前帧的像素块进行编码的编码器的装置，该编码器被配置为基于核线几何结构执行运动预测，其中第一相机对应于当前帧，第二相机对应于参考帧，并且其中解码器被配置为使用核线几何结构确定允许执行参考帧的块与当前帧的块之间的预测的运动参数。
[0009]根据至少一个实施方案的第五方面，呈现了一种包括由处理器执行的程序代码指令的计算机程序，该计算机程序实施根据至少第一方面或第二方面的方法的步骤。
[0010]根据至少一个实施方案的第六方面，呈现了一种存储在非暂态计算机可读介质上
并且包括由处理器执行的程序代码指令的计算机程序产品，该计算机程序产品在处理器上执行时实施根据至少第一方面或第二方面的方法的步骤。
附图说明
[0011]图1示出了视频编码器100的示例的框图。
[0012]图2示出了视频解码器200的示例的框图。
[0013]图3示出了在其中实现各种方面和实施方案的系统的示例的框图。
[0014]图4示出了在其中实现各种方面和实施方案的云游戏系统的示例。
[0015]图5A、5B、5C示出了用于仿射预测模式的控制点的示例。
[0016]图6示出了对称MVD模式的示例。
[0017]图7示出了当使用具有MVD的合并模式时的方向位置。
[0018]图8示出了解码器端运动向量修正的示例。
[0019]图9示出了针孔相机的简化模型的示例。
[0020]图10示出了核面和核线的原理。
[0021]图11示出了根据至少一个实施方案的基于核线几何结构的运动预测的示例。
[0022]图12示出了根据至少一个实施方案的基于核线几何结构导出运动向量的示例性流程图。
[0023]图13示出了运动预测因子到核线上的投影的示例。
[0024]图14示出了根据至少一个实施方案的合并候选滤波过程的示例性流程图。
[0025]图15示出了根据至少一个实施方案的从存储的运动信息导出运动预测因子的示例性流程图。
具体实施方式
[0026]图1示出了视频编码器100的示例的框图。视频编码器的示例包括符合HEVC标准的高效率视频编码(HEVC)编码器，或其中对HEVC标准作出改进的HEVC编码器，或采用类似于HEVC的技术的编码器，诸如由JVET(联合视频探索团队)开发用于通用视频编码(VVC)标准化的JEM(联合探索模型)编码器，或其他编码器。
[0027]在编码之前，视频序列可经历预编码处理(101)。例如通过以下方式来执行此操作：将颜色变换应用于输入彩色图片(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附接到比特流。
[0028]在HEVC中，为了对具有一个或多个图片的视频序列进行编码，将图片分割(102)成一个或多个切片，其中每个切片可包括一个或多个切片片段。将切片片段组织成编码单元、预测单元和变换单元。HEVC规格区分“块”和“单元”，其中“块”处理样本阵列中的特定区域(例如，亮度、Y)，并且“单元”包括与块相关联的所有编码的颜色分量(Y、Cb、Cr或单色)、语法元素和预测数据的并置块(例如，运动向量)。
[0029]对于HEVC中的编码，将图片分割成具有可配置大小的正方形形状的编码树块(CTB)，并且将连续的一组编码树块分组为切片。编码树单元(CTU)包含编码的颜色分量的CTB。CTB是分区为编码块(CB)的四叉树的根，并且编码块可被分区为一个或多个预测块
(PB)并且形成分区为变换块(TB)的四叉树的根。对应于编码块、预测块和变换块，编码单元(CU)包括预测单元(PU)和树形结构集合的变换单元(TU)，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的大小适用于对应的CU、PU和TU。
[0030]在本申请中，术语“块”可用于指代例如CTU、CU、PU、TU、CB、PB和TB中的任一者。另外，“块”还可以用于指代H.264/AVC或其他视频编码标准中所指定的宏块和分区，并且更一般地指代各种大小的数据阵列。实际上，在其他编码标准中，诸如由JVET开发的编码标准中，块形状可以不同于正方形块(例如矩形块)，最大块大小可以更大，并且块的布置可以不同。
[0031]在编码器100的示例中，图片由编码器元件进行编码，如下所述。以CU为单位对待编码的图片进行处理。使用帧内模式或帧间模式对每个CU进行编码。当CU在帧内模式中编码时，该CU执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对视频的当前帧的像素块进行解码的方法，所述方法包括在参考帧的块与所述当前帧的所述块之间执行运动预测，其中核线几何结构用于确定允许执行所述运动预测的运动参数，所述核线几何结构基于所述当前帧的相机参数和所述参考帧的相机参数。2.根据权利要求1所述的方法，还包括：
‑
获得(1210)表示核线模式的使用的信息，并且作为响应：
‑
获得(1220)所述当前帧的第一相机参数和所述参考帧的第二相机参数，
‑
基于所获得的相机参数来确定(1230)所述参考帧中穿过所述当前帧的所述当前块的核线，
‑
获得(1240)距离运动，以及
‑
基于所述距离运动和所述核线来确定(1250)运动向量，以及
‑
基于所确定的运动向量，使用运动补偿来重建(1260)所述当前块。3.根据权利要求1所述的方法，还包括：
‑
获得(1410)当前帧的第一相机参数和参考帧的第二相机参数，
‑
对于运动向量候选，基于所获得的相机参数和所述对应块的所述位置来确定(1440)核线约束，
‑
如果所述核线约束低于阈值，则将所述候选添加(1460)到候选列表，以及
‑
基于所述列表的候选，使用运动补偿来重建所述当前块。4.根据权利要求1所述的方法，还包括：
‑
获得(1510、1540)先前帧的第一相机参数、参考帧的第二相机参数以及当前帧的第三相机参数，
‑
获得(1550)表示核线模式的使用的信息，并且作为响应：
‑
使用第一相机参数和第二相机参数来确定所述先前帧的具有存储在运动信息缓冲器中的当前运动向量的深度图，
‑
基于所述第一相机参数和所述第三相机参数以及针对所述先前帧的存储的深度图，通过将先前帧的所述深度图反投影到所述当前帧上来获得当前深度图，以及
‑
使用所述第二相机参数和所述第三相机参数，基于所述当前块的位置和所述当前深度图来确定运动向量，以及
‑
基于所确定的运动向量，使用运动补偿来重建所述当前块。5.一种用于对视频的当前帧的像素块进行编码的方法，所述方法包括：在参考帧的块与所述当前帧的所述块之间执行运动预测，其中核线几何结构用于确定允许执行所述运动预测的运动参数，所述核线几何结构基于所述当前帧的相机参数和所述参考帧的相机参数。6.根据权利要求5所述的方法，还包括：
‑
获得所述当前帧的第一相机参数和所述参考帧的第二相机参数，
‑
基于所获得的相机参数来确定所述参考帧中穿过所述当前帧的所述当前块的核线，
‑
获得距离运动
‑
基于所述距离运动和所述核线来确定运动向量，以及
‑
基于所述运动向量，使用运动补偿来重建所述当前块，以及
‑
至少对表示核线模式的使用的信息、当前帧的第一相机参数以及参考帧的第二相机
参数进行编码。7.根据权利要求5所述的方法，还包括：
‑
获得当前帧的第一相机参数和参考帧的第二相机参数，
‑
对于运动向量候选，基于所获得的相机参数和所述对应块的所述位置来确定核线约束，
‑
如果所述核线约束低于阈值，则将所述候选添加到候选列表，以及
‑
至少对表示核线模式的使用的信息、当前帧的第一相机参数以及参考帧的第二相机参数进行编码。8.根据权利要求5所述的方法，还包括：
‑
获得先前帧的第一相机参数、参考帧的第二相机参数以及当前帧的第三相机参数，
‑
获得表示核线模式的使用的信息，并且作为响应：
‑
使用第一相机参数和第二相机参数来确定所述先前帧的具有存储在运动信息缓冲器中的当前运动向量的深度图，
‑
基于所述第一相机参数和所述第三相机参数以及针对所述先前帧的存储的深度图，通过将所述先前帧的所述深度图反投影到所述当前帧上来获得当前深度图，
‑
使用第二相机参数和第三相机参数，基于所述当前块的位置和所述当前深度图来确定运动向量，
‑
基于所确定的运动向量，使用运动补偿来重建所述当前块，以及
‑
至少对表示核线模式的使用的信息、当前帧的第一相机参数以及参考帧的第二相机参数进行编码。9.一种装置(1000)，包括用于对视频的当前帧的像素块进行解码的解码器(1030)，所述解码器被配置为在参考帧的块与所述当前帧的所述块之间执行运动预测，其中核线几何结构用于确定允许执...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：交互数字VC控股法国有限公司，
类型：发明
国别省市：