图像增强制造技术

本发明专利技术涉及一种图像增强单元和一种基于第三样本结构（Ｓ３）而将第一样本结构（Ｓ１）增强为第二样本结构（Ｓ２）的方法，第一和第二结构二者都表示场景的第一属性并且具有第一分辨率，第三结构（Ｓ３）表示第二属性并具有第一分辨率，第一属性和第二属性分别表示基本相同的场景的不同属性。该方法包括通过压缩第一样本结构（Ｓ１）的第一样本以形成第四样本结构（Ｓ４）的样本从而生成表示第一属性的第四样本结构（Ｓ４），第四样本结构（Ｓ４）具有低于第一分辨率的第二分辨率。该方法进一步包括基于第三样本结构（Ｓ３）将表示第一属性的第四样本结构（Ｓ４）扩大到第二结构（Ｓ２），该扩大操作包括：基于第三样本结构（Ｓ３）的样本将权重系数分配给第四结构（Ｓ４）的各个的样本；以及使用第四样本结构（Ｓ４）的样本和它们的被分别分配的权重系数来计算第二样本结构（Ｓ２）的样本。本发明专利技术进一步涉及一种包括根据本发明专利技术的图像增强单元的图像处理单元，以及涉及一种计算机程序产品。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种将第 一样本结构增强为第二样本结构的方法，第一 和第二结构二者都表示场景的第 一属性并且具有第 一分辨率。本专利技术进一 步涉及一种用于将第 一样本结构增强为第二样本结构 的图像增强单元，第一和第二结构二者都表示第一属性并且都具有第一 分辨率。本专利技术进一步涉及一种包括这样的图像增强单元的图像处理设备。本专利技术进一 步涉及一种包括存储在计算机可读介质上的程序代码方法(program code means)的计算机程序产品，所述程序代码方法被 设置为当所述程序代码方法(means)在计算4几上运行时#1行上述方 法的步骤。
技术介绍
运动矢量场的产生和来自运动视频的视差图(map) 4艮早以前就引 起了学术界以及消费型电子产业的注意。通过在视频压缩中使用运动估 计和补偿技术，在运动矢量生成方面的兴趣得到本质上的增强。3D电视机和/或多视图(multi-view)呈现装置的即将引入已经类 似地增加了在深度图和视差图生成方面的兴趣。视差图和深度图共同用 于从单个序列的视频图像生成多视像，并且能够使得2D视频内容 转换为适合3D电视机和/或多视图呈现装置的格式。运动估计可以用作深度估计的开始点。用于运动矢量域的估计方法 通常依赖于连续图像的相似图像部分的确定。因为单个像素值的可辨识 性不足以建立相似性，所以典型地使用一组像素来建立连续图像的各图 像部分之间的对应性。结果，由这种估计方法生成的运动矢量域通常具 有比原始图像更低的分辨率。 一些用于计算运动矢量域的技术计算8 x 8 像素网格的运动矢量。因此，当这种运动矢量域用于计算深度图时，对于高质量呈现来说分辨率通常太粗糙，并且通常将会导致在对象边缘处 产生如晕圏可见的可见伪影。用于深度图生成的其他技术(比如WO2005/013623所提出的"多视6像生成，，)以相对较低的计算代价提供了全分辨率深度图估计。在 图像内建立第一边缘，并且在此基础上通过将各个深度图值分配给该边 缘的相应的侧来生成深度图。虽然这种深度图的分辨率明显高于基于块 的深度图的分辨率，但是所生成的深度图的质量可以被进一步改进。
技术实现思路
本专利技术的目的是提供一种增强表示第 一属性的第 一样本结构的方 法，平均来说该方法产生增强的样本结构。本专利技术的目的可以通过根据权利要求1的方法来实现。根据权利要 求1的方法增强了第一样本结构，从而导致第二样本结构。第一和第二 结构二者都表示第一属性(例如深度)并且第一和笫二结构都具有第一 分辨率。基于表示第二属性(例如颜色)并具有第一分辨率的第三样本 结构来增强笫 一结构。第 一属性和第二属性分别表示基本相同的场景的 不同属性。第一样本结构可以被看作输入结构，第二样本结构表示输出结构。 第一和第二结构的样本表示场景的同一个属性的样本，比如深度图、视差图或运动矢量域。第三样本结构可以被看作参考结构，其用于生成笫 二样本结构。参考结构表示不同的属性，比如场景的亮度、颜色或紋理。 第一、第二和第三结构都具有相同的分辨率。为了增强第一样本结构，通过压缩(down scale)第一样本结构的 样本以生成第四样本结构的样本，来生成表示第一属性的第四样本结构 的样本。第四样本结构可以被看作通过压缩第一结构而产生的中间结 构。通过压缩第一结构，笫一样本结构的多个样本将促成第四样本结构 的相应的样本。因此，由第四结构的各个样本所表示的估计的质量平均 来说可能预期高于第 一结构的各个样本所表示的估计的质量，因为各个 像素中的噪声因素被去除。这个在质量方面的增益的获得是以降低空间 分辨率为代价的。通过使用以具有第 一分辨率的第三结构(其提供关于对象边界的精 确信息)为形式的已知结构，可以使用来自第三结构的出色的细节以图 像自适应方式扩大(up-scale)第四结构的更高质量的样本。结果，使 用导致在第 一分辨率处的第 一属性的改进估计的第四结构的(平均来 说)较高质量的样本(平均来说)来重新引入出色的细节。此外，该方法也消除了对象内部出现的更细微的紋理。因此，由边缘限定的对象典 型地具有更均匀的填充。典型地，样本结构对应于数据元素的矩阵。然而，所述样本结构可 以对应于数据元素的可替代的布局。本专利技术的其他目的是提供一种在起始段落中所描述的类型的图像 增强单元、 一种图像处理设备和一种计算机程序产品，它们提供了图像 增强。本专利技术的这些目的可以分别通过如权利要求16、 17和18分别地所 述的图像增强单元、图像处理设备和计算机程序产品来实现。在优选实施例中，分配给第四样本结构的各个样本的权重系数基于 第三样本结构的样本与第三样本结构的低通滤波的样本之间的差异。在 第三样本结构的各个样本与第三结构的各个低通滤波的样本之间的差 异提供了这样的指示在较低空间分辨率下的第二属性的样本如何与在 第一分辨率下的样本关联。更优选地，低通滤波包括将第三结构的样本从第一分辨率压缩到第 二分辨率。因此，基于来自表示第二属性的第二样本结构的结构信息， 来扩大存储在第四样本结构中的第 一属性的更可靠的估计，从而允许该 扩大基本上采用在第三样本结构中找到的对象边界。更优选地，生成表示第二属性的笫五样本结构，该第五结构具有第 二分辨率。通过压缩第三样本结构的样本以形成第五样本结构的样本来 形成第五结构。分配给第四样本结构的各个样本的权重系数基于第五样 本结构的样本与第三样本结构的样本之间的差异。在第三样本结构的各 个样本与第五结构的样本之间的差异提供了更可靠的指示在第二分辨 率下的第二属性的样本如何与在第 一分辨率下的样本关联。在另 一个实施例中，第 一样本结构表示在第 一时间戳的场景的第一 属性，而第三样本结构表示在第二时间戳的场景的第二属性，其中第二 时间戳在时间上近似于第 一时间戳，从而第 一样本结构形成表示在笫二 时间戳处的笫 一属性的另 一个样本结构的估计。本实施例实现了例如将 先前的(或将来的)深度图作为估计来使用以便生成当前的深度图。通 过首先将导致第四结构的第一结构压缩，并且计算用于第四结构的样本 而不是第一结构样本的权重系数，可以减少预测当前深度图所需的计算 次数。所述图像增强单元的修改及其改变可以对应于下面所描述的图像 处理设备、方法和计算机程序产品的修改和变化。附图说明通过结合下面所描述的实现方式和实施例并参照附图，根据本专利技术 的图像增强单元、图像处理设备、方法和计算机程序产品的这些和其他特性将变得显然并被阐明，其中 图1A示出全分辨率的亮度图像； 图1B示出全分辨率的估计的深度图； 图1C示出较低分辨率的估计深度图的压缩版本； 图1D示出了根据本专利技术使用图1A和1C生成的增强的深度图； 图2A示意性示出五个样本结构，其中尚未计算出第二样本结构的值；图2B示意性示出基于第一差异的第一权重系数的分配，该第一权 重系数用于计算第 一输出样本；图2C示意性示出具有各个差异的多个权重系数的分配；图2D示意性示出基于第一差异的第一权重系数的分配，该第一权 重系数用于计算第二输出样本；图2E示意性示出图2A的五个样本结构，其中已经计算了第二样本 结构的值；图2F示意性示出五个样本结构，其中两个是计算第二样本结构的 样本所需的；图3示意性示出7个样本结构； 图4A示意性示出第一滤波孔；本文档来自技高网...

【技术保护点】
基于表示第二属性并具有第一分辨率的第三样本结构（Ｓ３）而将第一样本结构（Ｓ１）增强为第二样本结构（Ｓ２）的方法，所述第一和第二结构都表示场景的第一属性并具有第一分辨率，所述第一属性和第二属性分别表示基本相同场景的不同属性，该方法包括：　 　－通过压缩第一样本结构（Ｓ１）的第一样本以形成第四样本结构（Ｓ４）的样本从而生成（６２０）表示第一属性的第四样本结构（Ｓ４），第四样本结构（Ｓ４）具有低于第一分辨率的第二分辨率；　－基于第三样本结构（Ｓ３）将表示第一属性的第四样本结 构（Ｓ４）扩大（６３０）为第二样本结构（Ｓ２），该扩大（６３０）包括：　ｉ）基于第三样本结构（Ｓ３）的样本将权重系数分配（７０２）给第四样本结构（Ｓ４）的相应的样本；以及　ｉｉ）使用第四样本结构（Ｓ４）的样本和它们的被分别分配的 权重系数来计算（７０４）第二样本结构（Ｓ２）的样本。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：OP冈瓦尔，EP芬克，C瓦尔坎普，MSBG鲍维尔，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL[荷兰]