以层级架构中的不同质量水平对信号进行编码的方法和装置制造方法及图纸

编码器接收信号。编码器利用一个或多个下采样操作来产生信号在层级架构中的连续较低质量水平的下采样重现。在相反的方向上，编码器将一个或多个上采样操作应用于信号在第一质量水平的下采样重现以产生信号在层级架构中的第二质量水平的上采样重现。第二质量水平比第一质量水平更高。该一个或多个上采样操作和一个或多个下采样操作关于彼此可以是不对称的。也就是说，在下采样期间应用的函数可以与当进行上采样时所应用的函数不同。编码器产生指示信号在第二质量水平的下采样重现与信号在第二质量水平的上采样重现之间的差异的残差数据。

【技术实现步骤摘要】
【国外来华专利技术】以层级架构中的不同质量水平对信号进行编码的方法和装置
本专利技术涉及对信号进行编码的方法和装置。
技术介绍
CPU（中央处理单元）效率在信号的编码和解码二者期间都至关重要。最近一代的处理器变得越来越并行，其中每个单个芯片上具有多达几百个简单的核。不幸地是，传统的MPEG（动态图像专家组）家族编解码器就本性而言在结构上是非并行的。这源于它们是基于区块的并且每个图像区块必须被顺序编码和解码的事实，因为为了实现高效压缩必须使得所有区块以某一方式彼此依赖。经由将所谓的“切片”（基本上彼此独立地处理图像片，就像它们是一个紧挨着另一个放置的单独视频一样）引入到MPEG编码中，H.264标准允许并行地处理几个线程（典型地2个或3个线程）。诸如去区块的重要算法元件（即使各区块之间的过渡“平滑”以创建更均匀图像的滤波器）通常是所有条件指令的全局操作，它们不适合于包括并行CPU的应用。当今的CPU和GPU（图形处理单元）通常非常强大；单个GPU可以包括几百个计算核以便对信息执行并行处理。当使用当前技术时，图像的较大部分可以被存储在处理器高速缓存中用于进行处理。需要将图像分割成许多小区块（当创建MPEG时这是驱动因素），因为来自那个时代的处理器可能每次仅处理非常小的视频数据块，并且然后仅顺序地处理，这不再适用于现代CPU和GPU。因此，当实施类MPEG类型的编码/解码时，一大部分可用的处理功率可能不会被使用，其中没必要将区块效应（blockingartifact）引入到信号中。而且，与在开发MPEG时当前的那些相比，现代的应用通常需要更高得多的清晰度视频编码以及更高得多的整体回放质量。在高清晰度（HD）、高质量视频中，在具有低细节（潜在地甚至焦点没有对准）的区域和具有非常精细细节的区域之间存在大得多的差异。这使得频域变换（诸如在MPEG中使用的那些）的使用甚至更不适合于图像处理和回放，因为相关频率范围变得更广阔。此外，较高分辨率图像包括较高数量的摄像机噪声和/或胶片颗粒，即可以与收看完全无关的非常详细的高频像素转变，并且需要编码许多比特。最后，传统的编解码器不适合于与3D或体积成像一起高效地执行，在诸如医疗成像、科学成像等等之类的领域中该3D或体积成像变得越来越重要。大多数目标设备现今支持不同回放分辨率和质量。所谓的SVC（可伸缩视频编码），即针对伸缩性的当前MPEG标准，还没有已经被行业顺利地接收，并且几乎不示出非存在采用，因为这被看作太复杂且有些带宽效率低的方式。而且，经过编码的视频是丰富的；即内容供应商通常没有时间来利用每个特定视频流定制编码器参数和实验。当前，内容供应商不喜欢为了成功地编码视频而必须手动地微调（每次执行编码并且检查结果的质量时）许多编码参数。作为对用于编码/解码的MPEG标准的替换，已经将所谓的图像金字塔用于编码/解码目的。例如，使用拉普拉斯金字塔，传统系统已经通过使用高斯滤波器并且然后构建通过利用严格编程的解码器从较低分辨率等级上采样回到原始等级而获得的各图像之间的差异的金字塔而创建了较低分辨率图像。使用传统的拉普拉斯金字塔编码已经被放弃。这种变换的一个缺点是创造者总是试图避免下采样图像中的失真/伪像，所以它们一直使用高斯滤波，因为高斯滤波是不会添加它自己的任何信息的唯一类型的滤波器。然而，高斯滤波所不能克服的问题是，它引入模糊效应，使得当向上尺度扩展回到较高分辨率时存在对用于再现原始图像的过度量的图像校正信息的需要。
技术实现思路
这里的实施例偏离传统系统和方法。例如，这里的实施例被引向对于对信号信息进行处理和编码以减小当进行解码时重构信号所需的数据量的独特方式。更具体地，这里的一个实施例包括以层级架构中的不同质量水平来编码所接收的信号。例如，编码器接收要被编码的信号。最初，编码器利用一个或多个下采样操作来产生信号在层级架构中的连续较低质量水平的下采样重现。编码器然后将一个或多个上采样操作应用于信号在第一质量水平的下采样重现以便产生信号在层级架构中的第二（例如较高）质量水平的上采样重现。如这里所讨论的那样，上采样操作和下采样操作关于彼此是不对称的。上采样操作和下采样操作（每个或二者）中的每一个可以是不同的非线性函数。这里的一个实施例包括表征在相应编码循环中的若干不同下采样和上采样操作以确定哪些操作最适合于减小编码的数据量。根据这样的实施例，编码器产生并测试指示来自较低质量水平的信号的上采样重现和信号的下采样重现之间的差异的残差数据集合。根据另一些实施例，在层级架构中的每个质量水平处，编码器实施“有损”编码算法，以致减小在每个质量水平产生的残差数据的熵。可以通过改变或者微调信号在每个质量水平的元素以及估计对在较高水平的残差的熵的影响来实现减小熵。根据更具体的实施例，微调以改进（例如减小）熵的过程可以被重复直到下列条件中的一个或多个应用为止：a.）针对较高质量水平实现的熵水平低于满意阈值，b.）额外的修改似乎都不会改进针对给定数目的尝试的残差数据的熵，c.）编码器已经执行了预置数目的尝试以减小熵等等。如这里进一步讨论的那样，可以使用代理函数能来估计熵，该代理函数计算或估计指示针对某一质量水平的不同信息所需的比特、符号等等的数目。在另一些实施例中，编码器使用代理函数来估计对在较高质量水平的残差的熵的影响以便识别对熵的影响，而不需要在每次微调时对残差完全编码。代理函数可以产生诸如指示与零值不同或者接近零值的残差的百分比的值之类的度量。下采样操作和滤波器的优化不一定是这里讨论的每个实施例的目的。在一个实施例中，因为编码器已经知道什么线性或非线性操作（例如双三次滤波、非锐化屏蔽、去混合、…）将被用于尺度扩展回到解码站点处的较高质量水平，所以编码器被配置成优化下采样并不是为了减小较低质量水平中的伪像，而是以致减小在应用上采样操作之后残差的数目（或者甚至更准确地为了减小残差的熵）。下采样和上采样函数二者可以是非线性类型的函数。如这里进一步所讨论的，在编码期间信号的下采样可以包括实施微调的双线性滤波过程。根据这样的实施例，编码器最初使用下采样函数（诸如双线性滤波器）从水平n下采样到水平（n-1）。编码器关注每个元素并且在各个方向上改变它。每当编码器改变元素时，编码器上采样回到较高质量水平（即水平n-1中的每个图素/像素影响水平n中的像素数目）以便基于生成适当的熵度量来评估残差的熵。根据所生成的残差度量，对于水平n-1中的该特定图素/像素的新值，编码器最终选择在下一较高质量水平（例如水平层级架构）生成残差的最低熵的变化。为了这样做，编码器可以利用迭代或循环算法的使用。该迭代算法选择改变元素的方向（例如向上或向下）。如果熵度量改进，则编码器在所选方向上继续另一迭代。编码器可以被配置成一旦改变的大小更靠近针对迭代微调例程而言最小的熵值就减小该改变的大小。在一个实施例中，微调操作并行地进行，以减小将所接收到的信号编码到多个不同质量水平中所需的时间量。并行处理可以包括使用所有大规模的多核CPU或GPU。每个处理器可以被配置成处理整体信号的所选部分。因为对于算法的每个“并行步骤”而言水平（n-1）的不同图素/像素可以影响水平n的重叠区域，所以编码器可以被配置成执行全局聚合算法（潜在地以层级架构的方式，例如单个图素，然后本文档来自技高网...

【技术保护点】
一种以层级架构中的不同质量水平进行编码的方法，该方法包括：将信号作为输入；利用至少一个下采样操作来产生所述信号在层级架构中的连续较低质量水平的下采样重现；将至少一个上采样操作应用于所述信号在第一质量水平的下采样重现，以产生所述信号在层级架构中的第二质量水平的上采样重现，第二质量水平比第一质量水平更高，所述至少一个上采样操作和至少一个下采样操作关于彼此可能是不对称的；以及产生指示所述信号在第二质量水平的下采样重现和所述信号在第二质量水平的上采样重现之间的差异的残差数据。

【技术特征摘要】
【国外来华专利技术】2011.07.21 US 13/1882071.一种以层级架构中的不同质量水平对信号进行编码的方法，该方法包括：将信号作为输入；利用至少一个下采样操作来产生所述信号在层级架构中的连续较低质量水平的下采样重现；将至少一个上采样操作应用于所述信号在第一质量水平的下采样重现，以产生所述信号在层级架构中的第二质量水平的上采样重现，第二质量水平比第一质量水平更高；产生指示所述信号在第二质量水平的下采样重现和所述信号在第二质量水平的上采样重现之间的差异的残差数据；将所述信号在第一质量水平的下采样重现解析成多个元素区；以及同时地并行处理多个区以识别对多个区中的元素的调整，从而局部地减小与残差数据相关联的熵。2.根据权利要求1所述的方法，其中，至少一个下采样操作是非线性的。3.根据权利要求1所述的方法，其中，至少一个上采样操作是非线性的。4.根据权利要求1所述的方法，还包括：反复地调整所述信号在第一质量水平的下采样重现中的元素的设置以便减小重构所述信号在第二质量水平的下采样重现所需的残差数据的熵。5.根据权利要求1所述的方法，还包括：对于用来将所述信号在第一质量水平的下采样重现上采样成所述信号在第二质量水平的上采样重现的多个上采样选项中的每一个，反复地调整所述信号在第一质量水平的下采样重现中的元素的设置以便减小重构所述信号在第二质量水平的下采样重现所需的残差数据的熵；以及识别对所述信号在第一质量水平的下采样重现的多个上采样选项中的哪一个导致残差数据的最低熵。6.根据权利要求1所述的方法，还包括：实施连续变换函数来模拟矩形的函数，所述连续变换函数促进与残差数据相关联的熵的优化；其中实施连续变换函数以便模拟矩形的函数还包括：生成熵函数，所述熵函数的幅度依赖于对在第一质量水平的下采样信号的不同可能调整而变化；以及利用所述熵函数来识别对在第一质量水平的下采样信号的调整，在其中对于所述调整的残差数据的相应的熵是不同可能调整之中最小的。7.根据权利要求1所述方法，还包括：至少偶尔地对多个区中的元素的调整执行全局检查以便减小残差数据的熵。8.根据权利要求1所述的方法，还包括：其中应用所述至少一个上采样操作包括：对于所述信号在第一质量水平的下采样重现中的多个元素中的每一个，重复以下步骤：在第一质量水平的下采样重现信号中选择要微调的元素；在不同方向上微调所选元素；基于经过微调的所选元素来产生在第二质量水平的残差数据；以及计算在第二质量水平的残差数据的熵以识别对在第一质量水平的所选元素的哪个微调会产生在第二质量水平具有最低熵的残差数据集合。9.根据权利要求8所述的方法，其中，计算所述熵包括量化或模拟/近似用来减小所述熵的残差数据的量化。10.根据权利要求8所述的方法，其中，应用所述至少一个上采样操作还包括将多个上采样操作中的至少一个应用于所述信号在第一质量水平的下采样重现；以及其中产生残差数据包括识别应用于所述信号在第一质量水平的下采样重现的多个上采样选项中的哪个产生具有最低熵的残差数据。11.根据权利要求1所述的方法，其中，应用所述至少一个上采样操作还包括：将多个上采样操作中的至少一个应用于所述信号在第一质量水平的下采样重现；以及其中产生残差数据包括识别应用于所述信号在第一质量水平的下采样重现的多个上采样选项中的哪个产生具有最低熵的残差数据。12.根据权利要求1所述的方法，还包括：调整所述信号在第一质量水平的下采样重现中的元素的设置以便产生所述信号在第一质量水平的经过微调的重现；上采样所述信号在第一质量水平的经过微调的重现以便产生所述信号的在第二质量水平的上采样重现；将残差数据应用于所述信号在第二质量水平的上采样重现以便产生所述信号在第二质量水平的中间重现；微调所述信号在第二质量水平的中间重现中的元素以便产生所述...

【专利技术属性】
技术研发人员：卢卡·罗萨托，圭多·梅亚尔迪，
申请(专利权)人：卢卡·罗萨托，圭多·梅亚尔迪，
类型：发明
国别省市：意大利;IT