在分层层级中信号编码、解码和重构期间残差数据分解的方法、存储硬件及系统技术方案

计算机处理器硬件接收调整值的第一集合。调整值的第一集合指定将对在第一质量水平生成的预测的信号的再现做出以重构处于第一质量水平的信号的再现的调整。计算机处理器硬件处理调整值的第一集合，并基于调整值的第一集合和处于第二质量水平的信号的再现而得出调整值的第二集合。第二质量水平低于第一质量水平。 1

【技术实现步骤摘要】
【国外来华专利技术】在分层层级中信号编码、解码和重构期间残差数据分解的方法、存储硬件及系统
技术介绍
在本领域中处理多维信号的或沿时间演进的信号的压缩和解压缩的许多技术是已知的。音频信号、视频信号和类似科学和医学领域中使用的体积信号的其它多维信号是这种情况。为了实现高压缩比，那些技术利用信号内的空间和时间相关性。例如，常规的方法识别参考，并尝试确定当前位置和给定参考之间的信号的差异。这是在空间域和在时域二者中完成的，在空间域中参考是已经接收和解码的空间平面的一部分（例如块或“宏块”），在时域中，在信号（例如帧序列中的视频帧）的时间上的单个实例被视为针对某个持续时间的参考。例如MPEG（运动图像专家组）系列压缩算法是这种情况，其中先前解码的宏块被视为空间域中的参考，而I帧和P帧被用作针对时域中后续的P帧的参考。已知的技术以许多方式利用空间相关性和时间相关性，采用几种不同的技术，以便识别、简化、编码和传输差异。根据常规的方法，为了利用图片元素的各个的块内残差（residual）的空间相关性，执行域变换（例如变换成频域），并且然后执行变换的信息的有损删除和量化，典型地引入一定程度的块伪像。替代地，在时域中，常规的方法发送当前样本和经运动补偿的参考样本之间的量化的差异。为了最大化样本之间的相似性，编码器尝试估计沿时间发生的修改对比参考信号。在常规的编码方法（例如MPEG系列技术、VP8等）中，这被称为运动估计和补偿。如今的CPU（中央处理单元）和GPU（图形处理单元）典型地非常强大；单个GPU可包括数百个计算核心，以执行信息的并行处理。当使用当前的技术硬件时，图像的非常大的部分可存储在用于处理的处理器高速缓存中。需要将图像分段成许多小块，当创建JPEG和MPEG时这是驱动因素，因为来自那个时代的处理器一次只可以处理非常小组块的视频数据——并且然后返回来只顺序地处理——不再应用到现代的CPU和GPU。因此，当实现类似MPEG类型的编码/解码时，大部分的可用处理能力可能变得不使用，其中阻止伪像不必要地引入到信号中。此外，和开发MPEG时的当前情况相比，现代的应用典型地需要更高清晰度的视频编码和更高的整体重放质量。在高清晰度（例如fullHD（全HD）、UltraHD（超HD））、高质量视频（例如关于原始信号的相对不可见的伪像）中，在具有低细节（甚至可能散焦）的区域和具有非常细微的细节的区域之间存在更大的差异。这使得使用频域变换（诸如在基于JPEG和基于MPEG的方法中所使用的那些变换）更不适合于图像处理和重放，因为相关频率的范围正变得更宽泛。此外，较高分辨率的图像包括较大数量的摄像机噪声和/或胶片颗粒，即需要许多位来编码但对于观看可能相当不相干的非常详细的高频像素过渡对比对象的边界的类似高频率像素过渡。除了少数尝试以外，在已知技术中忽略的另一个方面是质量可缩放性需求。可缩放的编码方法将编码压缩的信号的单个版本，并使得能够递送到不同质量水平、带宽可用性和解码器复杂度。由于计算复杂度以及一般来说相对于非可缩放技术的压缩效率低下，迄今在具有相对差的采用的类似MPEG-SVC和JPEG2000的已知方法中已经考虑了可缩放性。在过去，作为对用于编码/解码的JPEG/MPEG标准的可缩放替代方案，所谓的图像拉普拉斯金字塔已用于编码/解码的目的。例如，常规的拉普拉斯金字塔系统使用高斯滤波器创建较低分辨率的图像，并且然后建立通过用严格编程的解码器从较低分辨率水平上采样回原始水平获得的图像之间的差异的金字塔。由于它们的压缩效率低下，已经放弃常规的拉普拉斯金字塔编码的使用。迄今通过编码方法的技术发展水平利用的残差的域变换（例如傅立叶变换、离散余弦变换、哈达玛变换、小波变换等）遇到许多问题。首先，变换成频域的非常选择使它们不适合适当地利用跨信号的大部分的相关性（即针对每个维度的具有大量样本的部分），因为真实世界的信号典型地示出有限数量的周期性。结果，在同时太大和太小的块上执行频域变换：太大以致于不能在计算上简单地利用高分辨率信号的相关性，太小以致于不能充分地利用高分辨率信号的相关性。例如，为了利用足够大的一组样本的相关性，而同时管理计算复杂度，常规的图像和视频编码技术在8x8、16x16或32x32个元素的块上操作：明显太小以致于不能完全捕获高清晰度图像（例如具有800万像素）中图像图案的相关性，但足够大以吸收显著的计算能力。其次，利用频域变换的已知方法以不取决于转换方向的方式隐含地假设：人类对谐波（例如色彩转换的频率）敏感，而几个研究已经示出：人类识别转换锐度要比转换的精确方向/角度好得多，尤其是在观看复杂形状时。第三，已知的有损编码技术通过量化变换的结果而操作，不可避免地生成两个问题：（1）在一个块和相邻块之间的基于块的伪像，将用相对复杂的去块化（de-blocking）图像处理方法来校正；（2）不可能容易地控制经编码图像中的最大误差，因为实际的像素值是去量化的参数的逆变换的结果，以使得块的量化的参数中的量化误差以难于管理而没有多次重新编码和/或极其复杂的量化方案的方式彼此组合。避免块伪像并保证最大误差控制是特别重要的特征，尤其是在诸如医疗成像或专业图像/视频制作之类的应用中。
技术实现思路
本文中的实施例相对于常规系统和方法而偏离，提供新颖的方法以量化和/或变换元素信息（诸如残差数据）以重构的图像的再现（rendition），从而实现编码方法，其特征在于：高效的熵编码、低的计算复杂度、并行性、可缩放性、误差控制等。本文中的方法和实施例表示用以实现具有低的计算复杂度、并行性、可缩放性和误差控制的有效的熵编码结果的一种创新的方法。根据其最广泛的方面，本文中的实施例包括用于将信号元素的集合（即合适的值的序列）变换成经变换的信号元素的集合的方法，以便高效地对其进行熵编码。本文中图示的实施例尤其聚焦于非限制性的使用情况，其中所述信号元素对应于将添加到图像的预测（即初步）再现以便获得相同图像的目标再现的残差数据，至少部分地通过上采样和/或处理处于较低质量水平（例如对比原始信号再现而具有较低的保真度水平）的相同图像的再现而获得所述预测再现。本文中图示的实施例尤其聚焦于非限制性的情况，其中较低质量水平是跨一个或多个信号维度的较低分辨率（即较粗略的采样网格），虽然本领域技术人员可容易地使相同的方法适应于其中处于较低质量水平的信号是具有相同分辨率和较低细节水平的信号的情况（例如，但不限于，元素值的较粗略的量化）。本文中的实施例结合传统的编码方法是有用的，并且结合基于层的编码方法、在相同作者的其它专利申请中描述的一组其它新颖的方法是有用的。为简单起见，本文中图示的非限制性实施例将信号称为多维样本的序列（即被组织为具有一个或多个维度的阵列的一个或多个元素的集合，例如通过非限制性示例的方式，被组织为二维图像的图片元素的集合）。在描述中，术语“图像”或“平面”（旨在具有“超平面”的最广泛的含义，即，具有任何数量的维度和给定的采样网格的元素的阵列）将经常用来识别沿着样本序列的信号的样本的数字再现，其中对于它的维度（例如X和Y，在二维的情况下）中的每一个，每个平面具有给定的分辨率，并且包括用一个或多个“值”或“设置”（例如通过非限制性示例的方式，在合适的色彩空间中的色彩设置、本文档来自技高网...

【技术保护点】
一种方法，包括：经由计算机处理硬件：接收调整值的第一集合，调整值的第一集合指定将对在第一质量水平生成的预测的信号的再现做出以重构处于第一质量水平的信号的再现的调整；处理调整值的第一集合；以及基于调整值的第一集合并基于处于第二质量水平的信号的再现而得出调整值的第二集合，第二质量水平低于第一质量水平。

【技术特征摘要】
【国外来华专利技术】2012.05.14 US 61/646797;2012.05.15 US 61/6474261.一种处理信号的方法，所述信号是以多个质量水平编码的图像，所述方法包括：经由计算机处理硬件执行如下图像处理操作：接收调整值的第一集合，调整值的第一集合指定将对处于第一质量水平的预测的所述信号的再现做出的调整，所述调整值的第一集合指示如何重构处于第一质量水平的信号的再现；处理调整值的第一集合；以及基于处理的调整值的第一集合并基于处于第二质量水平的信号的再现而得出调整值的第二集合，第二质量水平低于第一质量水平，所述调整值的第二集合是所述调整值的第一集合的至少部分表示。2.如权利要求1所述的方法，其中得出调整值的第二集合包括：处理调整值的第一集合，以产生表示调整值的第一集合的多个调整分量；以及基于多个调整分量中的至少一个与关联于处于第二质量水平的信号的再现的至少一个设置的组合，产生调整数据的第二集合。3.如权利要求1所述的方法，进一步包括：基于调整值的第一集合与处于第二质量水平的信号的再现的线性组合，计算第二集合中的调整值的至少一个。4.如权利要求1所述的方法，进一步包括：接收处于第一质量水平的信号的再现；基于处于第一质量水平的信号的再现而产生处于第二质量水平的信号的再现；至少部分地基于处于第二质量水平的信号的再现而产生处于第一质量水平的预测的信号的再现；产生调整值的第一集合，作为处于第一质量水平的信号的再现和处于第一质量水平的预测的信号的再现之间的差异；从调整值的第一集合产生格式化的调整值的集合；将格式化的调整值的集合变换成调整值的第二集合；将调整值的第二集合和处于第二质量水平的信号的再现编码成对应的经编码的信息；以及将对应的经编码的信息发送到解码器处理硬件。5.如权利要求4所述的方法，进一步包括：在解码器处理硬件处：接收经编码的信息；从经编码的信息获得指定如何重构处于第二质量水平的信号的再现的重构数据；从经编码的信息获得调整值的第二集合；基于所获得的重构数据，再生处于第一质量水平的预测的信号的再现；基于预测的信号的再现和所获得的重构数据，得出调整值；利用得出的调整值来修改调整值的第二集合；以及将修改的调整值的第二集合应用到再生的预测的信号的再现，以产生处于第一质量水平的信号的再现。6.如权利要求1所述的方法，进一步包括：产生重构数据的多个集合，重构数据的每个集合包括针对多个分量的设置，多个分量的集合中的每一个包括第一分量值和第二分量值，在每个集合中的第一分量值对应于第一属性类，在每个集合中的第二分量值对应于第二属性类；创建第一分组以包括来自重构数据的多个集合中的每一个的第一分量值；创建第二分组以包括来自重构数据的多个集合中的每一个的第二分量值；以及独立于编码第二分组来编码第一分组。7.如权利要求1所述的方法，其中产生调整值的第二集合包括：将量化算法应用到调整值的第一集合，以产生量化的调整值的集合；在量化的调整值的集合上应用至少一个无损和可逆的操作，以产生中间的调整值的集合；接收至少部分地基于处于第二质量水平的信号的再现所得出的值；以及利用所述值来将中间的调整值的集合转换成调整值的第二集合。8.如权利要求7所述的方法，其中在量化的调整值的集合的集合中的相应设置和在调整值的第一集合中对应的设置之间的差异低于误差阈值。9.如权利要求1所述的方法，其中所述信号是元素的平面；其中调整值的第二集合关于平面中特定位置的重构；以及其中取决于特定的位置来对调整值的第二集合进行量化。10.如权利要求1所述的方法，其中取决于调整值的第二集合所关于的信号的属性来对调整值的第二集合进行量化。11.如权利要求1所述的方法，其中调整值的第二集合包括多个重构数据分量，所述方法进一步包括：使用单个符号来编码多个重构数据分量中的至少两个。12.如权利要求1所述的方法，其中调整值的第二集合是用来重构信号中元素的平面的重构数据的多个集合之一，所述方法进一步包括：使用共同的符号来编码重构数据的多个集合的至少两个中的每一个。13.如权利要求1所述的方法，其中所述信号是二维图像。14.如权利要求1所述的方法，其中所述信号是视频信号。15.如权利要求1所述的方法，其中所述信号是体积图像。16.如权利要求1所述的方法，进一步包括：从调整值的第一集合产生格式化的调整值的集合；将格式化的调整值的集合变换成调整值的第二集合；以及将量化算法应用到调整值的第二集合，以产生量化的调整值的集合。17.如权利要求1所述的方法，其中调整值的第二集合是包括多个调整数据分量的集合，所述方法进一步包括：量化每个调整数据分量，以产生量化的调整值的集合。18.如权利要求17所述的方法，进一步包括：基于第一量化规则来量化所述集合中的第一调整数据分量；以及基于第二量化规则来量化所述集合中的第二调整数据分量，第二量化规则不同于第一量化规则。19.如权利要求1所述的方法，其中第一质量水平是第一图像分辨率；以及其中第二质量水平是第二图像分辨率，第二图像分辨率低于第一图像分辨率。20.一种处理信号的方法，所述信号是以多个质量水平编码的图像，所述方法包括：经由计算机处理硬件执行如下图像处理操作：接收与处于第一质量水平的所述信号的再现相关联的设置信息，所述设置信息被编码为以第一质量水平再生所述信号；接收调整值的集合，所述调整值的集合与所述处于第一质量水平的所述信号相关联；基于设置信息而产生处于第二质量水平的初步的信号的再现，第二质量水平高于第一质量水平；以及基于调整值的集合和处于第二质量水平的初步的信号的再现而产生处于第二质量水平的信号的第二再现。21.如权利要求20所述的方法，其中产生信号的第二再现包括：至少部分地基于处于第一质量水平的信号的再现而修改调整值的集合；以及将修改的调整值的集合应用到处于第二质量水平的初步的信号的再现，以产生处于第二质量水平的信号的第二再现。22.如权利要求21所述的方法，其中所述设置信息是第一设置信息；并且其中修改调整值的集合包括：接收第一设置信息，第一设置信息与处于第一质量水平的信号的再现相关联；接收第二设置信息，第二设置信息与处于第二质量水平的初步的信号的再现相关联，处于第二质量水平的初步的信号的再现是从第一设置信息得出的；将数学算法应用到第一设置信息和第二设置信息的组合，以产生修改值；以及将修改值应用到调整值的集合，以产生修改的调整值的集合。23.如权利要求22所述的方法，其中将修改值应用到调整值的集合以产生修改的调整值的集合包括：从调整值的集合获取数据分量；以及将修改值和所获取的分量求和以修改所述分量。24.如权利要求23所述的方法，进一步包括：基于修改的分量来修改处于第二质量水平的初步的信号的再现中多个元...

【专利技术属性】
技术研发人员：卢卡·罗萨托，圭多·梅亚尔迪，
申请(专利权)人：卢卡·罗萨托，圭多·梅亚尔迪，
类型：发明
国别省市：意大利;IT