使用后处理控制的视频解码制造技术

本发明专利技术提供了一种用于视频编码的方法。该方法包括从呈现平台接收对期望视频输出分辨率的指示。该方法还包括将一个或多个接收到的视频流解码成重构视频输出流，其中在输出该重构视频流之前应用后处理。该方法进一步包括当该期望视频输出分辨率不同于重构视频输出流分辨率时，在该后处理之前应用从该重构视频输出流分辨率到该期望视频输出分辨率的样本转换。换。换。

【技术实现步骤摘要】
【国外来华专利技术】使用后处理控制的视频解码


[0001]本专利技术涉及用于处理信号的方法，例如作为非限制性实例的视频、图像、超光谱图像、音频、点云、3DoF/6DoF和体积信号。处理数据可以包含但不限于在分级(基于层)编码格式的环境中获取、导出、编码、输出、接收并重构信号(其中信号以随后较高的质量层级分层解码)，利用并组合重构数据的后续层(“梯级”)。信号的不同层可以用不同的编码格式进行编码(例如作为非限制性实例的传统的基于单层DCT的编解码器、ISO/IEC MPEG
‑
5第2部分低复杂性增强视频编码SMPTE VC
‑
6 2117等)，通过可以或可不在单个比特流中复用的不同基本流。

技术介绍

[0002]在基于层的编码格式中，诸如ISO/IEC MPEG
‑
5第2部分LCEVC(以下简称“LCEVC”)或SMPTE VC
‑
6 2117(以下简称“VC
‑
6”)，信号被分解为多个数据“梯级”(也称为“分级层”)，从具有原始信号的采样率的最高梯级到通常具有低于原始信号的采样率的最低梯级，每个梯级对应于信号的“质量层级”(“LoQ”)。在非限制性实例中，当信号是视频流的帧时，最低梯级可以是原始帧的缩略图，或者甚至只是单个图片元素。其他梯级含有有关应用于重构再现以便产生最终输出的校正的信息。梯级可以基于残差信息，例如特定质量等级的原始信号的版本和相同质量等级的信号的重构版本之间的差异。最低梯级可不包括残差信息，但可包括原始信号的最低采样。给定质量层级的解码信号通过以下方式进行重构：首先对最低梯级(因此以第一最低质量层级重构该信号)进行解码，然后预测第二质量层级——下一较高质量层级信号的再现，然后对相应的第二梯级重构数据(也称为第二质量层级“残差数据”)进行解码，然后将预测数据与重构数据组合，以便重构第二较高质量层级信号的再现，等等，直到重构给定质量层级。重构该信号可以包含对残差数据进行解码，并使用该残差数据来校正特定质量等级的版本，该版本导出自较低质量等级的信号版本。不同梯级的数据可以使用不同的编码格式进行编码，并且不同的质量层级可以具有不同的采样率(例如，针对图像或视频信号的情况的分辨率)。后续梯级可以指信号的相同信号分辨率(即，采样率)，或指越来越高的信号分辨率。
[0003]在将信号重构到特定质量层级之后且在装置的显示器上呈现所述信号之前，通常认为对重构信号应用后处理(例如，抖色)以便实现最佳视觉效果是有利的。在某些应用程序中，用于显示的信号可能优选地具有特定分辨率。在确定该特定分辨率之后，重构信号可以经历样本转换(即，上采样或下采样)以实现所述期望分辨率。然而，组合后处理和样本转换可能会对呈现信号导致不期望的影响。因此，期望在这些情况下改善呈现信号的技术。

技术实现思路

[0004]本专利技术的各个方面和变型在所附权利要求中阐述。
[0005]在下面的详细描述中进一步阐述了某些未要求保护的方面。
附图说明
[0006]图1示出了分级编码和解码过程的高级示意图；
[0007]图2示出了分级解构过程的高级示意图；
[0008]图3示出了分级解构过程的替代高级示意图；
[0009]图4示出了适用于对分层输出的残差进行编码的编码过程的高级示意图；
[0010]图5示出了适用于对来自图4的每个输出层级进行解码的分级解码过程的高级示意图；
[0011]图6示出了分级编码技术的编码过程的高级示意图；并且，
[0012]图7示出了适用于对图6的输出进行解码的解码过程的高级示意图。
[0013]图8在框图中示出了用于在呈现视频流之前对所述视频流进行后处理和样本转换的技术。
[0014]图9在流程图中示出了在呈现视频流之前对所述视频流进行后处理和样本转换的方法。
[0015]图10在高级示意图中示出了在图8和图9中展示的并且在图7的解码过程中实现的后处理和样本转换。
[0016]图11示出了执行在图8和图9中概述的方法的解码器实现方式。
[0017]图12示出了根据实施例的设备的实例的框图。
具体实施方式
[0018]本文所述的某些实例涉及用于对信号进行编码的方法。处理数据可包含但不限于获取、导出、输出、接收和重构数据。
[0019]根据本专利技术的一个方面，提供了一种用于视频编码的方法。该方法包括从呈现平台接收对期望视频输出属性的指示。将一个或多个接收到的视频流解码成重构视频输出流，其中在输出重构视频流之前应用后处理。该方法进一步包括当期望视频输出属性不同于重构视频输出流属性时，在后处理之前应用从重构视频输出流属性到期望视频输出属性的样本转换。属性可以包括空间分辨率和/或比特深度。
[0020]可以动态地且内容自适应地应用后处理以针对特定应用程序定制后处理。
[0021]样本转换可以包括将重构视频输出流分辨率上采样到期望输出分辨率。上采样可以包括非线性上采样、神经网络上采样或分数上采样中的一者以允许定制的分辨率。
[0022]后处理包括抖色。其中该方法包括接收抖色类型和抖色强度中的一者或多者。其中抖色强度可基于对比度的确定或帧内容的确定中的至少一者来设置。
[0023]该方法包括接收指示基础量化参数QP值的参数，以开始应用抖色。
[0024]该方法包括接收指示使抖色饱和的基础QP值的参数。
[0025]该方法包括接收输入以启用或禁用抖色。其中输入可以是二进制输入，但也可以使用其他形式的输入。
[0026]提供了一种用于视频解码的系统或设备，其被配置为执行上文详述的方法。
[0027]解码可以使用包括AV1、VVC、AVC和LCEVC中的一者或多者的一个或多个解码器来实现。
[0028]该一个或多个解码器可以使用本机/OS功能来实现。
[0029]该系统或设备包括解码器集成层和一个或多个解码器插件。控制接口可以形成解码器集成层的一部分。该一个或多个解码器插件可以提供到该一个或多个解码器的接口。
[0030]后处理可以使用后处理模块来实现并且样本转换可以使用样本转换模块来实现，其中后处理模块或样本转换模块中的至少一者形成解码器集成层和该一个或多个解码器插件中的一者或多者的一部分。
[0031]该一个或多个解码器可以包括实现基础解码层以对视频流进行解码的解码器和实现增强解码层的增强解码器。基础解码层可以包括基础解码器。基础解码器可以是硬件加速的并且包括使用本机或操作系统功能来实现的传统编解码器。增强解码器可以包括LCEVC解码器。
[0032]增强解码器可以被配置为接收编码增强流。增强解码器还可以被配置为对编码增强流进行解码以获得一个或多个残差数据层。该一个或多个残差数据层是基于从解码视频流导出的数据与从原始输入视频流导出的数据的比较而生成的。
[0033]解码器集成层可以控制该一个或多个解码器插件和增强解码器的操作，以使用来自基础解码层的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频解码的方法，所述方法包括：从呈现平台接收对至少一个期望视频输出属性的指示；将一个或多个接收到的视频流解码成重构视频输出流，其中在输出所述重构视频流之前应用后处理；其中所述方法进一步包括当所述期望视频输出属性不同于重构视频输出流属性时，在所述后处理之前对所述重构视频输出流应用样本转换以提供所述期望视频输出属性。2.根据权利要求1所述的方法，其中动态地且内容自适应地应用所述后处理。3.根据权利要求1或权利要求2所述的方法，其中所述期望视频输出属性是期望视频输出分辨率，并且当所述期望视频输出分辨率不同于所述重构视频输出流的分辨率时，所述样本转换包括从所述重构视频输出流的所述分辨率转换为所述期望视频输出分辨率。4.根据任一前述权利要求所述的方法，其中所述期望视频输出属性是期望比特深度，并且当期望视频输出比特深度不同于所述重构视频输出流的比特深度时，所述样本转换包括从所述重构视频输出流的所述比特深度转换为所述期望视频输出比特深度。5.根据任一前述权利要求所述的方法，其中所述样本转换包括将重构视频输出流分辨率上采样到期望输出分辨率。6.根据权利要求3所述的方法，其中所述上采样包括非线性上采样、神经网络上采样或分数上采样中的一者。7.根据任一前述权利要求所述的方法，其中所述后处理包括抖色。8.根据权利要求7所述的方法，其进一步包括接收抖色类型和抖色强度中的一者或多者。9.根据权利要求8所述的方法，其中所述抖色强度基于对比度的确定或帧内容的确定中的至少一者来设置。10.根据权利要求7至9中任一项所述的方法，其进一步包括接收指示基础量化参数QP值的参数，以开始应用所述抖色。11.根据权利要求7至10中任一项所述的方法，其进一步包括接收指示使所述抖色饱和的基础量化参数QP值的参数。12.根据权利要求7至11中任一项所述的方法，其进一步包括接收输入以启用或禁用所述抖色。13.一种用于视频解码的系统或设备，其被配置为执行根据任一前述权利要求所述的方法。14.根据权利要求13所述的系统或设备，其中所述解码使用包括AV1...

【专利技术属性】
技术研发人员：圭多，
申请(专利权)人：V诺瓦国际有限公司，
类型：发明
国别省市：