模糊边缘平滑度先验及其在阿尔法通道超分辨率上的应用制造技术

公开了用于通过以下来处理低分辨率图像的系统和方法：对低分辨率图像执行高分辨率边缘段提取；对每个边缘段执行图像超分辨率；执行重构约束加强；以及从低质量图像产生高质量图像。

【技术实现步骤摘要】
【国外来华专利技术】模糊边缘平滑度先验及其在阿尔法通道超分辨率上的应用本专利技术要求2006年11月27日提交的美国临时申请60/867, 259的 权益，该申请的内容被结合于此以作参考。
技术介绍
图像超分辨率(SR)是从低分辨率输入图像中获得高质量图像的方 法。SR被广泛地应用于视频通信、对象识别、HDTV、图像压缩、仅可 从中获得低分辨率图像的其它情况。 一般而言，通过由低质量的图像传 感器对目标场景进行平滑化和下采样(down-sample)来产生低分辨率 图像。该产生过程的逆问题是从单个低分辨率(LR)图像来恢复原始高 分辨率(HR)图像的任务。理想地，该过程中的重建误差(或图像似然 项(likelihood term))应该;故最小4匕。作为迭代过程的反向投影(back-projection)已被用来有效地最小化 重建误差。然而，该过程可能会在产生过程期间丟失大量的信息。为了 克服这个难点，图像先验项(prior term)被用来调整该逆问题。两个公知的图像建模先验是图像平滑度(smoothness)先验和边缘 平滑度先验。邻近的像素可能具有相同的颜色，因此各种滤波/插值算法 (例如，双线性算法或双三次插值算法)可被用来产生平滑的高分辨率 图像。其它平滑化技术包括最小化图像微分(derivative)。对于一维的 情况，可以使用线性闭型解(linear closed form solution)。然而，由于 图像平滑度先验在区域边界处是无效的，所以这些方法趋向于产生过度 平滑的结果，从而降低了图像质量。为了保持边缘锐度，边缘定向的插 值可被用来使平滑的子像素边缘适于图像并且避免跨边缘插值。然而， 对高精密的边缘位置定位可能是不平凡的(non-trivial)任务。当采用插值方法执行SR时，需要去除发生的棋盘效应。对于给定 的低分辨率输入，可以通过研究边缘空间平滑度先验来对高分辨率边缘 定位，这意味着在没有其它信息的情况下一般优先采用平滑曲线。 一种 技术重建了所有图像水平集(level-set )轮廓的平滑近似(approximation), 以便同时细化(refine)边缘以及去除棋盘效应。为了避免过度平滑，可 以引入硬约束，它们是源自图像似然的基本信息。另 一种技术一起考虑了所有三个颜色通道，并且通过多尺度张量表决(voting)来推理出高分辨率曲线。根据通过已修改的反向投影迭代 所提取的曲线性(curveness)图来恢复HR图像。还有另一种技术使用 基于蛇形(snake-based)的矢量化来实现图标图像SR的平滑边界。用 于SR的另一种图像建模先验技术包括使用两种颜色的图像先验，这意 味着在局部邻域内的每一个像素应当是两种有代表性的颜色中的一种 或它们的线性组合。还使用了稀疏微分先验(sparse derivative prior)技 术。作为对图像先验建模的代替，图像样本可以被直接使用。图像通常 被建模为马尔科夫随机场。基于低频信息来选择每个位置的各种候选。 通过成对的交互作用主要在重叠区域实施空间一致性。通过置信传播来 解决最终的离散优化问题。该方法还可应用于视频序列，例如在特定域 的视频SR中的视频序列。对于基于样本的方法来说，通常需要处理两 个关鍵问题 一个是有效地找到HR候选补丁 (patch)，位置敏感散列 法(Locality Sensitive Hashing)以及KD-树被用来加速搜索。该方法还 已被用于图像原始要素图以便它们仅需要对链结构进行优化。而其它以 学习为基础的方法也已被用于从中频来推断高频信息。例如，局部线性 嵌入可被用于学习高维流形(manifold)。
技术实现思路
在一个方面，本专利技术公开了通过对低分辨率图像执行高分辨率边缘 段提取；对每个边缘段执行图像超分辨率；执行重建约束加强；以及由 低质量图像产生高质量图像来处理低分辨率图像的系统和方法。在概括了 Geocut方法的另一个方面中，将模糊(soft)边缘平滑度 测量定义为对图像中的所有水平线的平均长度的近似。可以对单个图像 超分辨率应用该图像先验。为了得出对所有具有不同强度的边缘的统一 处理，应用了彩色图像超分辨率框架。采用阿尔法图像抽取来分解每个 边缘段以便恢复边缘段两側的实际颜色。通过超分辨率将平滑度先验结 合到阿尔法通道上。在又一方面中，系统对强度图像应用定义的模糊剪切度量(硬剪切 度量的一般化)，并且随后对自然色图像应用了阿尔法图像抽取技术， 以便求解模糊边缘平滑度先验。该度量可以通过近似所有水平线的平均长度来测量模糊边缘平滑度。将其作为先验项添加到超分辨率任务可以 实现边缘保持和边缘平滑二者。系统将彩色图像超分辨率问题转换成阿 尔法通道超分辨率和阿尔法图像抽取的结合。可以将闭型阿尔法图像抽 取解用于以统一的方法通过阿尔法通道描述每个边缘段。同时利用源自 所有三个通道的颜色信息。以上方面的实施可包括下面的 一个或多个。可以对每个边缘段应用 阿尔法图像抽取来得到阿尔法通道和颜色。该过程可以对每个边缘段执 行双三次插值。该过程可以对双三次插值的数据应用图形剪切来产生超 分辨率阿尔法通道。将一种或多种颜色分配给超分辨率阿尔法通道。该 过程可以得出低分辨率图像的平滑边缘先验。高分辨率边缘段提取可以 使用一个或多个不同尺寸的邻域。也可以使用不同的距离图。可以应用Geocut方法来从低分辨率图像提供超分辨率。上述系统的优点可包括下面的一个或多个。系统从单个低分辨率输 入图像提供超分辨率(或图像幻像(hallucination))。系统使用的阿尔 法图像抽取技术可以通过结合源自所有三个通道的颜色信息来提取边 缘，从而可获得更精确的结果。系统可以用阿尔法通道来表示每个边缘。 系统还可以将其归一化(normalize)为统一的尺度并且避免了对模糊边 缘平滑度先验的参数选择的需要。角点检测算法可有助于避免角点的过 度平滑的问题。最后得到的图像具有平滑而且清晰的边缘，这通常是改 善人类感知所优先考虑的。系统支持图像平滑度先验偏好清晰的边缘而 边缘平滑度先验偏好空间平滑边缘的互相沖突的要求。系统还用统一的 方式结合了这两个因素。系统还可以处理显示了具有不同状况的很多种 边缘的自然色图像。系统还可以通过同时利用源自所有三个颜色通道的 信息来确定边缘。通过统一的框架来完成3D颜色信息和边缘处理。附图说明图l-2示出了对图像执行SR的示范性过程。 图3-4示出了模糊边缘平滑度先验过程的一个实施例。 图5是图形剪切过程的一个实施例的示范性说明。 图6示出了具有不同的 的各种示范性邻域系。 图7 (a)示出了示范性LR输入图像，而图7(b)、 (c)以及(d) 分别示出了当 =2、 4、 20时具有模糊边缘平滑度先验的示范性SR结果。图8a-8f比较了由不同的参数设置而形成的图像。图9示出了对角点附近的区域实施模糊边缘平滑度先验的结果。图10a-10f示出了图像补丁的示范性结果。图11示出了图10 (a)的整个图像的结果。图12A-12C示出了对包括动物、自然景物、人脸以及计算机图形在 内的各种类別的图像的实验结果。具体实施例方式图1示出了对图像执行SR的示范性过程。首先，接收输入图像 (100)。接下来，该过程执行边缘段提取(110)。本文档来自技高网...

【技术保护点】
一种处理低分辨率图像的方法，包括：　ａ、对低分辨率图像执行高分辨率边缘段提取；　ｂ、对每个边缘段执行图像超分辨率；　ｃ、执行重建约束加强；以及　ｄ、由低质量图像产生高质量图像。

【技术特征摘要】
【国外来华专利技术】US 2007-10-10 11/869,9061.一种处理低分辨率图像的方法，包括a、对低分辨率图像执行高分辨率边缘段提取；b、对每个边缘段执行图像超分辨率；c、执行重建约束加强；以及d、由低质量图像产生高质量图像。2. 如权利要求1所述的方法，包括对每个边缘段执行阿尔法图像抽 取以得到阿尔法通道和颜色。3. 如权利要求1所述的方法，4. 如权利要求1所述的方法 切以产生超分辨率阿尔法通道。5. 如权利要求4所述的方法， 率阿尔法通道。6. 如权利要求1所述的方法 先验。7. 如权利要求6所述的方法， (l-a)xB。8. 如权利要求1所述的方法 个或多个不同尺寸的邻域。9. 如权利要求1所述的方法，包括得到不同的距离图。10. 如权利要求1所述的方法，包括应用Geocut方法。11. 如权利要求1所迷的方法，包括对强度图像应用定义的模糊剪切 度量。12. 如权利要求1所迷的方法，包括应用阿尔法图像抽取技术来对自 然色图像提供模糊边缘平滑度先验。13. 如权利要求1所述的方法，包括通过近似一个或多个水平线的平 均长度来测量模糊边缘平滑度。14. 如权利要求13所述的方法，包括为超分辨率添加作为先验项的 模糊边缘平滑度以便实现边缘保持和边缘...

【专利技术属性】
技术研发人员：S戴，M韩，W徐，Y吴，Y巩，
申请(专利权)人：美国日本电气实验室公司，
类型：发明
国别省市：US[美国]