编码方法、系统和编码器、解码方法、系统和解码器技术方案

本公开涉及分层VDR编译码中的层分解。该技术使用多个较低位深编解码器来将较高位深的高动态范围的图像从上游装置提供给下游装置。可以使用基本层以及一个或多个增强层来传载视频信号，其中，基本层不能被独自解码和观看。可以通过高级量化从较高位深的高动态范围的输入图像数据产生用于基本层处理的较低位深的输入图像数据，以使要由增强层视频信号传载的图像数据的量最小化。增强层视频信号中的图像数据可以包括至少部分基于与高级量化中所使用的特定方法相对应的预测方法的映射参数、量化参数和残差值。为了改进编码性能，自适应动态范围适配技术考虑特殊转变效果(诸如淡入和淡出)。

【技术实现步骤摘要】
本申请是申请号为201280053511.9、申请日为2012年11月1日、专利技术名称为“分层VDR编译码中的层分解”的专利技术专利申请的分案申请。相关申请的交叉引用本申请要求于2011年11月4日提交的美国临时专利申请No.61/555,978和于2012年2月8日提交的美国临时申请No.61/596,600的优先权，这两篇申请的全部内容都通过引用并入此。
本专利技术总体上涉及图像处理，并且尤其涉及使用分层VDR编解码器来对可变动态范围图像进行编码、解码和表示。
技术介绍
由DolbyLaboratories,In.c和其它公司开发的显示技术能够再现具有高动态范围(HDR)的图像。这样的显示器可以再现比常规显示器更忠实地表示真实世界场景的图像。为了支持向后兼容以及新的HDR显示技术，可以使用多个层来将视频数据从诸如多层视频编码器的上游装置递送到下游装置。在所述多个层的基本层(BL)中传载的标准动态范围(SDR)视频数据针对在SDR显示器上的观看体验进行优化，而在所述多个层的基本层和增强层(EL)的组合中传载的视觉动态范围(VDR)视频数据支持具有比SDR显示器的动态范围高的动态范围的VDR显示器的观看体验。如本文中所使用的，在对这样的图像数据进行编码和解码中所涉及的编解码器被指示为针对SDR显示器优化的VDR编解码器。BL图像数据可以包括从来自图像数据输入的较高位深(higherbitdepth)(例如，每一颜色分量12位或更多位)的HDR源图像导出的较低位深(lowerbitdepth)(例如，每一颜色分量8位)的SDR图像。在BL图像数据中编码的SDR图像典型地包括调色师进行的以使得SDR图像在相对窄的或标准的动态范围内看起来尽可能地逼真的颜色校正。例如，可以在SDR图像中改变或校正与输入HDR图像中的像素中的一些或全部像素相关的色调信息，以便创建在标准动态范围内看起来逼真的图像。这些颜色校正导致各个颜色通道中的非对称剪切(clipping)，并且特别是在HDR源图像的相对欠曝光或过曝光区域中引入人工颜色改变。经过颜色校正的SDR图像可以使得SDR显示器可以示出HDR源图像的暗区域和高亮区中的图像细节。剪切是一种类型的颜色改变，其改变/修改颜色通道中的界外像素值，以使得得到的像素值在目标表示范围内(目标表示范围可以是在特定类型的SDR显示器所支持的范围内的一个范围、或者在由SDR显示器的范围所支持的范围内的一个范围、或者在由VDR显示器的范围所支持的范围内的一个范围、等等)。剪切可以发生在颜色通道中的零个、一个或多个中(例如，可以在经色调映射的图像中剪切HDR图像的某一部分中的在RGB颜色空间中的R、G和B像素值)。剪切量可以或者可以不随颜色通道而变化(例如，对于绿色，剪切得更多，而对于蓝色，剪切得更少，等等)。引入到SDR图像中的诸如剪切的颜色校正使得SDR图像包括与它们的对应VDR图像的不同的且来源独立的图像内容，并且难以、甚至不可能在没有复杂处理且没有足够大的位率的情况下被下游装置移除以用于重构高动态范围图像。当使用多个层来将图像数据发送到下游装置时，执行颜色校正的逆操作可能要求例如在增强层中将大量附加图像数据发送到下游装置。在本部分中描述的方法是可从事的方法，但未必是以前已经构想或从事的方法。因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应基于本部分而认为在任何现有技术中已被识别。附图说明在附图中以作为示例的、而非限制的方式例示本专利技术，在附图中，相似的标号指示类似的元件，并且在附图中：图1例示根据示例实施例的基本配置文件(baselineprofile)中的视觉动态范围编解码器架构；图2例示根据示例实施例的主配置文件中的视觉动态范围编解码器架构；图3例示根据示例实施例的在YCbCr颜色空间中应用的场景自适应(adaptive)动态范围调整量化；图4A和图4B例示根据本专利技术的示例实施例的示例处理流程；图5例示根据本专利技术的实施例的在其上可以实现本文中所描述的计算机或计算装置的示例硬件平台；以及图6例示根据本专利技术的实施例的用于检测两个量化方案之间的选择和转变序列(transitionsequence)的示例流程。具体实施方式本文中描述与使用分层VDR编解码器对可变动态范围图像进行编码、解码和表示有关的示例实施例。在以下的描述中，出于解释的目的，为了使得能够彻底理解本专利技术，阐述了大量的特定细节。但应理解，可以在没有这些特定细节的情况下实施本专利技术。在其它情况下，为了避免不必要地遮蔽、掩盖或混淆本专利技术，不以详尽的细节描述公知的结构和装置。这里根据以下的要点描述示例性实施例：1.总体概述2.分层视频递送2.1基本配置文件2.2主配置文件3.高级量化4.线性拉伸5.示例处理流程6.自适应动态范围调整7.实现机构－硬件概述8.等同、扩展、替代和其它1.总体概述本概述给出本专利技术的示例实施例的一些方面的基本描述。应当注意，本概述不是示例性实施例的各方面的详尽或全面的概括。并且，应当注意，本概述不应被理解为标识示例性实施例的任何特别重要的方面或要素，也不应被理解为特别地将示例性实施例的任何范围划界，也不总体上将本专利技术划界。本概述仅以简要和简化的格式给出与示例性实施例有关的一些概念，并且应被理解为仅是以下给出的示例性实施例的更详细的描述的概念性序言。在一些实施例中，可以使用分层VDR编解码器来将压缩的VDR图像(例如，视频图像)提供给VDR图像处理装置(例如，VDR显示器)。如本文中所使用的，术语“分层VDR编解码器”可以是指其中基本层在SDR显示器上可能不能被独自观看的VDR编解码器。如本文中所使用的，术语“VDR”或“视觉动态范围”可以是指比标准动态范围宽的动态范围，并且可以包括但不限于高达人类视觉可以瞬时感知的瞬时可感知动态范围和色域的宽动态范围。本文中所描述的支持较高位深(例如，12+位)的VDR图像的分层VDR编解码器可以在多个层中用两个或更多个较低位深(例如，8位)的编解码器来实现。所述多个层可以包括基本层和以及一个或多个增强层。与其它技术形成鲜明对比，根据本文中所描述的技术的基本层图像数据不支持SDR显示器上的优化观看，或者使SDR图像看起来尽可能地好，在标准动态范围内与人类感本文档来自技高网...

【技术保护点】
一种编码方法，包括：接收输入图像序列中的输入视觉动态范围(VDR)图像，其中，所述输入VDR图像包括第一位深；从一个或多个可用的高级量化方法选择特定高级量化方法；将所述特定高级量化方法应用于所述输入VDR图像以产生输入基本层图像，其中，所述输入基本层图像包括第二位深，所述第二位深低于所述第一位深；将从所述输入基本层图像导出的图像数据压缩为基本层(BL)视频信号；和将从所述输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层(EL)视频信号，其中，所述特定高级量化方法是基于包括最小化相对于输入VDR图像的将被编码为一个或多个EL视频信号的图像数据的量的一个或多个因素被选择的。

【技术特征摘要】
2011.11.04 US 61/555,978;2012.02.08 US 61/596,6001.一种编码方法，包括：
接收输入图像序列中的输入视觉动态范围(VDR)图像，其中，所述输入VDR图像包括第
一位深；
从一个或多个可用的高级量化方法选择特定高级量化方法；
将所述特定高级量化方法应用于所述输入VDR图像以产生输入基本层图像，其中，所述
输入基本层图像包括第二位深，所述第二位深低于所述第一位深；
将从所述输入基本层图像导出的图像数据压缩为基本层(BL)视频信号；和
将从所述输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层(EL)视
频信号，
其中，所述特定高级量化方法是基于包括最小化相对于输入VDR图像的将被编码为一
个或多个EL视频信号的图像数据的量的一个或多个因素被选择的。
2.根据权利要求1所述的方法，还包括：
从所述BL视频信号解码BL图像，所述BL图像对应于所述输入BL图像；
从一种或多种预测方法选择预测方法；
使用所述预测方法，至少部分基于所述BL图像来产生预测图像；
基于所述预测图像和所述输入VDR图像来产生残差值；
将非线性量化应用于所述残差值以产生输出EL图像数据，所述残差值包括较高位深
值，并且所述输出EL图像数据包括较低位深值；和
将所述输出EL图像数据压缩为所述一个或多个EL视频信号。
3.根据权利要求2所述的方法，其中，基于高级量化方法与预测方法之间的对应关系来
选择所述预测方法。
4.根据权利要求1所述的方法，其中，高级量化方法包括以下中的一种或多种：全局量
化、线性量化、线性拉伸、基于曲线的量化、概率密度函数(Pdf)优化量化、LLoyd-Max量化、
基于分区的量化、感知量化或交叉颜色通道/矢量量化。
5.根据权利要求1所述的方法，其中，所述输入图像序列包括不同的第二VDR输入图像；
并且所述方法还包括：
从一种或多种可用的高级量化方法选择不同的第二特定高级量化方法；
将所述第二特定高级量化方法应用于所述第二输入VDR图像以产生第二输入BL图像；
将从所述第二输入基本层图像导出的第二图像数据压缩为所述BL视频信号；和
将从所述第二输入VDR图像导出的图像数据的至少一部分压缩为所述一个或多个EL视
频信号。
6.根据权利要求5所述的方法，还包括：
从所述BL视频信号解码不同的第二BL图像，所述第二BL图像对应于所述第二输入BL图
像；
从一种或多种预测方法选择不同的第二预测方法；
使用所述第二预测方法，至少部分基于所述第二BL图像来产生第二预测图像；
基于所述第二预测图像和所述第二输入VDR图像来产生不同的第二残差值；
将非线性量化应用于所述第二残差值以产生第二输出EL图像数据，所述第二残差值包
括较高位深值，并且所述第二输出EL图像数据包括较低位深值；和
将所述输出EL图像数据压缩为所述一个或多个EL视频信号。
7.根据权利要求1所述的方法，其中，VDR编码器中的第一8位编码器将所述输入BL图像
中的图像数据压缩为所述BL视频信号，并且其中，所述VDR编码器中的第二8位编码器将所
述输入VDR图像中的图像数据的至少一部分压缩为所述一个或多个EL视频信号。
8.根据权利要求7所述的方法，其中，所述第一8位编码器和所述第二8位编码器中的至
少一个包括以下之一：高级视频编码(AVC)编码器、运动图像专家组(MPEG)-2编码器、或高
效率视频编码(HEVC)编码器。
9.根据权利要求1所述的方法，其中，高级量化方法基于包括从所述输入VDR图像确定
的一个或多个特性的一个或多个因素被选择。
10.根据权利要求1所述的方法，其中，在接收到所述输入VDR图像之后不进行人工颜色
分级。
11.根据权利要求1所述的方法，其中，使用第一图像容器来保存从所述输入BL图像导
出的图像数据，并且其中，使用不同的第二图像容器来保存所述输入VDR图像中的图像数据
的所述至少一部分。
12.根据权利要求11所述的方法，其中，所述第一图像容器和所述第二图像容器中的至
少一个包括颜色空间中的一个或多个通道中的像素值。
13.根据权利要求11所述的方法，其中，从与多个采样方案相关联的多个图像容器选择
所述第一图像容器和所述第二图像容器中的至少一个，并且其中，所述多个采样方案包括
4:4:4采样方案、4:2:2采样方案或4:2:0采样方案中的任何一个。
14.根据权利要求1所述的方法，还包括将通过一个或多个输入视频信号被表示、接收、
发送或存储的一个或多个输入VDR图像转换为通过一个或多个输出视频信号被表示、接收、
发送或存储的一个或多个输出VDR图像。
15.根据权利要求1所述的方法，其中，所述一个或多个EL视频信号和所述输入VDR图像
中的至少一个包括按以下之一被编码的图像数据：高动态范围(HDR)图像格式、与电影艺术
与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导
联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB颜
色空间、或RGB颜色空间或YCbCr颜色空间。
16.根据权利要求1所述的方法，还包括：
确定用于将所述输入VDR图像处理为BL视频信号和EL视频信号的特定配置文件；和
在将所述输入VDR图像处理为BL视频信号和EL视频信号中执行与所述特定配置文件相
关的一个或多个操作。
17.根据权利要求1所述的方法，其中，所选择的高级量化方法包括被如下表达的线性
拉伸方法：
其中，vji指示所述输入图像序列中的第i输入VDR图像的第j像素，sji指示所产生的第i
输入基本层图像的第j像素，vL,i和vH,i指示第i输入VDR图像中的像素之中的最小像素值和
最大像素值，cL,i和cH,i指示所产生的第i输入基本层图像中的像素之中的最小像素值和最
大像素值，O是舍入常数。
18.根据权利要求1所述的方法，其中，所选择的高级量化方法包括被如下表达的基于
场景的适配方法：
其中，vji指示所述输入图像序列中的场景中的第i输入VDR图像的第j像素，sji指示所述
场景中的所产生的第i输入基本层图像的第j像素，vL,min和vH,max指示所述场景中的所述输
入VDR图像中的像素值之中的最小值和最大值，cL,min和cH,max指示所述场景中的所产生的输
入基本层图像中的像素之中的最小像素值和最大像素值，O是舍入常数。
19.根据权利要求1所述的方法，其中，所选择的高级量化方法包括被如下表达的基于
逐帧的适配方法：
其中，vji指示所述输入图像序列中的过渡场景中的第i输入VDR图像的第j像素，sji指示...

【专利技术属性】
技术研发人员：苏冠铭，曲晟，S·N·胡亚勒卡，陈涛，W·C·吉什，H·凯普弗，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US