用于在视频编码中延迟后处理的系统和方法技术方案

公开了在视频编码中延迟后处理效果的系统和方法。所述系统和方法能够计算客户端硬件性能从而延迟负载，并对一个或更多个延迟候选者的已知负载求和，以评估多少后处理延迟候选者能够被延迟到客户端硬件。所述系统和方法还能够将更新的后处理延迟列表发送到远程服务器，该远程服务器能够在第一视频帧的后处理阶段期间应用延迟的后处理候选者的列表。

System and method for postprocessing in video coding

【技术实现步骤摘要】
【国外来华专利技术】用于在视频编码中延迟后处理的系统和方法相关申请本申请要求于2017年4月21日提交的第62/488,526号和于2018年1月17日提交的第62/618,498号美国临时申请的权益。
技术介绍
服务器侧游戏由客户端玩家控制的远程游戏应用程序已经尝试使用现有的或定制的编码器对来自三维(3D)图形引擎的视频输出进行实时编码。然而，视频游戏的交互性，特别是视频输出和玩家输入之间的玩家反馈环节，使得游戏视频流传输比常规视频流传输对延迟更为敏感。现有的视频编码方法能够为减少编码时间而牺牲计算能力，而几乎别无其它方法。将编码过程集成到视频渲染过程中的新方法能够显著减少编码时间，同时还降低了计算能力，提高了编码视频的质量，并保留了原始比特流数据格式以保持现有硬件设备的互操作性。典型的视频渲染管线是与视频编码管线分离并独立的，两个领域中的过程和专业知识之间几乎没有交叉。因此，在视频渲染管线中应用的一些视觉效果和后处理会不利于视频编码过程，导致了视频伪影、编码视频大小的增加和更长的编码时间。然而，这些视觉效果在最终的已解码的视频中仍然是理想的。通过集成视频渲染管线和视频编码管线，能够延迟后处理效果以改善编码过程。例如，模拟的胶片颗粒会引入对典型的编码器在不需要视频质量或压缩比的大量成本的情况下很难处理的随机出现的动画颗粒。一些视频编码方法试图在编码之前去除这些附加的视觉噪声，但是这些方法仅适用于脱机使用且计算成本高。通过在渲染管线中禁用此特定的后处理，视频将自动变得更易于编码。然后，能够在视频解码之后应用后处理。在胶片颗粒的情况下，将颗粒合成到已解码的视频上对计算要求不高，能够在解码器处实时完成，并且可以通过隐藏其它编码伪影来提高主观视频质量。国际专利申请号WO2016172314A1(“314申请”)公开了针对基于艺术意图的内容编码的系统和方法。编码用户界面允许用户指定艺术集并配置与艺术集相关联的像素和/或块的处理，例如保真度增强、QP调整值和/或后处理。可添加到视频输出的艺术意图的示例包括：编码器可以在编码前从原始信号中去除胶片颗粒，并使用胶片颗粒SEI向解码器传达如何重新生成胶片颗粒并在视频信号显示之前将其添加回所述视频信号。可以将本专利技术与’314申请区别开，至少是因为‘314申请没有公开在编码之前禁用渲染管线中的特定后处理，并且随后在视频解码之后应用那些后处理。因此，本专利技术是对该计算机技术的改进，这是因为本专利技术在不需要视频质量或压缩比的大量成本的情况下提供了改进的视频数据的编码和解码。本专利技术也是一种改进，这是因为本专利技术改进了产生的带宽、比特率、编码时间，并且能够用于具有改进的视频质量的实时视频流传输应用中。美国专利第9,609,330号(“‘330专利”)公开了模式和参考类型数据的内容自适应熵编码，这意味着编码器的预分析器子系统分析内容以计算对提高视频编码效率和速度性能有用的各种类型的参数。这些参数包括水平和垂直梯度信息(Rs、Cs)、方差、每幅图像的空间复杂度、每幅图像的时间复杂度、场景变化检测、运动范围估计、增益检测、预测距离估计、目标数量估计、区域边界检测、空间复杂度映射计算、焦点估计以及胶片颗粒估计。由预分析器子系统生成的参数随后能够被编码器应用或被量化并传送给解码器。本专利技术也可以与‘330专利中公开的技术区别开来，至少是因为该技术没有在编码之前禁用渲染管线中的特定后处理，并且随后在视频解码之后应用那些后处理。因此，本专利技术是对‘330专利的计算机技术的改进，这是因为本专利技术在不需要视频质量或压缩比的大量成本的情况下提供了改进的视频数据的编码和解码，并且因为本专利技术能够用于具有改进的视频质量的实时视频流传输应用中。美国专利第9,762,911号(“‘911专利”)公开了用于与运动矢量的内容自适应预测和熵编码相关的技术的系统和方法。所公开的技术允许在熵编码器模块处接收第一视频数据和第二视频数据以进行熵编码。第一视频数据和第二视频数据可以是不同的数据类型(例如，如本文进一步讨论的报头数据、变形参数、合成参数、或全局映射数据或运动矢量或帧内预测分区数据等)。可基于诸如第一视频数据的几个压缩比特、与第一视频数据相关联的预定指示符或标记、预定阈值或启发式确定的阈值之类的与第一视频数据相关联的参数来为第一视频数据确定第一熵编码技术。在一些示例中，第一熵编码技术可以选自自适应符号游程可变长度编码技术或自适应代理(proxy)可变长度编码技术中的一种。可以使用第一熵编码技术对第一视频数据进行熵编码，并且可以使用第一熵编码技术对第二视频数据进行熵编码。同样，本专利技术是可区别开的，至少是因为‘911专利中公开的技术不涉及在编码之前选择性地禁用渲染管线中的后处理，并且随后在视频解码之后应用那些后处理。同样，本专利技术是对‘911专利的计算机技术的改进，这是因为本专利技术在不需要视频质量或压缩比的大量成本的情况下提供了改进的视频数据的编码和解码。本专利技术也是一种改进，这是因为本专利技术改进了产生的比特率、编码时间，并且能够用于具有改进的视频质量的实时视频流传输应用中。从上述对该技术的技术现状的讨论中可以明显看出，本领域需要改进与游戏环境中的视频编码相关的现有计算机技术。
技术实现思路
因此，本文公开的示例性实施例的目的是解决现有技术中的缺点，并提供用于通过以下技术来减少延迟和编码时间的系统和方法，在该技术中，服务器向客户端应用程序发送指令以测量客户端硬件性能，并向客户端应用程序发送指令，以对一个或更多个预定的后处理延迟候选者的已知负载求和，从而评估多少后处理延迟候选者能够被延迟到客户端硬件。在客户端应用程序处，以相反的顺序编译和构建后处理延迟列表。然后，服务器接收后处理延迟列表，在第一视频帧的后处理阶段期间跳过延迟的后处理的列表，并向客户端应用程序发送指令以渲染图像。本专利技术的另一个目的是提供用于通过使客户端应用程序执行回调或轮询一个或更多个操作系统事件以确定是否重新测量客户端硬件的性能来减少延迟和编码时间的系统和方法。本专利技术的另一个目的是提供用于通过检测可用的指令集、存储器、CPU和/或GPU特征来测量客户端硬件的性能，从而减少延迟和编码时间的系统和方法。本专利技术的又一个目的是提供用于通过测量帧速率和/或资源使用情况来评估多少后处理延迟候选者能够被延迟到客户端硬件来减少延迟和编码时间的系统和方法。附图说明当结合附图考虑时，通过参考以下详细描述会更好地理解本专利技术，将容易地获得对本专利技术及其附带的许多优点的更全面的了解，附图中：图1是根据本专利技术的实施例的，示出渲染视频以供在远程客户端上观看的示例性3D图形引擎的框图；图2是根据本专利技术的实施例的，示出通过延迟每像素的后处理来改进编码时间或主观视频质量所需的示例性步骤的流程图；图3是根据本专利技术的实施例的，示出视频渲染、编码和解码阶段期间延迟的每像素质量的示例性最低限度的实现的图；以及图4是根据本专利技术的实施例的，示出服务器和客户端之间用于同步延迟的后处理的列表的示例性通信的流程图。具体实施方式在描述附图中本文档来自技高网...

【技术保护点】
1.一种用于延迟后处理的由计算机实现的方法，其包括以下步骤：/n向客户端应用程序发送指令，以测量客户端硬件性能；并且/n向客户端应用程序发送指令，以对一个或更多个预定的后处理延迟候选者的已知负载求和，从而评估多少后处理延迟候选者能够被延迟到客户端硬件，/n其中，编译后处理延迟列表，/n其中，所述后处理延迟列表以相反顺序构建，并且/n其中，服务器接收后处理延迟列表，在第一视频帧的后处理阶段期间跳过延迟的后处理的列表，并向客户端应用程序发送指令以渲染图像。/n

【技术特征摘要】
【国外来华专利技术】20170421 US 62/488,526;20180117 US 62/618,4981.一种用于延迟后处理的由计算机实现的方法，其包括以下步骤：
向客户端应用程序发送指令，以测量客户端硬件性能；并且
向客户端应用程序发送指令，以对一个或更多个预定的后处理延迟候选者的已知负载求和，从而评估多少后处理延迟候选者能够被延迟到客户端硬件，
其中，编译后处理延迟列表，
其中，所述后处理延迟列表以相反顺序构建，并且
其中，服务器接收后处理延迟列表，在第一视频帧的后处理阶段期间跳过延迟的后处理的列表，并向客户端应用程序发送指令以渲染图像。


2.根据权利要求1所述的方法，其中，所述后处理延迟列表被添加到基准测试过程中。


3.根据权利要求1所述的方法，其中，所述客户端应用程序响应于一个或更多个环境变化来重新测量客户端硬件的性能。


4.根据权利要求3所述的方法，其中，所述客户端应用程序执行回调或轮询一个或更多个操作系统事件，以确定是否重新测量客户端硬件的性能。


5.根据权利要求1所述的方法，其中，所述客户端应用程序通过测量帧速率和/或资源使用情况来评估多少后处理延迟候选者能够被延迟到客户端硬件。


6.根据权利要求1所述的方法，其中，所述服务器将更新的延迟列表应用于下一可用视频帧。


7.根据权利要求1所述的方法，还包括所述服务器将已编码的视频数据发送给客户端应用程序而不发送与后处理相关联的元数据的步骤。


8.根据权利要求1所述的方法，其中，通过检测可用的指令集、存储器、CPU和/或GPU特性来测量客户端硬件的性能。


9.根据权利要求1所述的方法，其中，基于客户端硬件的电池状态的变化来重新计算后处理延迟候选者的列表。


10.根据权利要求1所述的方法，其中，所述服务器...

【专利技术属性】
技术研发人员：迈克尔·科皮茨，
申请(专利权)人：泽尼马克斯媒体公司，
类型：发明
国别省市：美国;US