基于词典学习和稀疏表示的超分辨率算法制造技术

本发明专利技术涉及一种基于过完备词典学习和稀疏表示的图像超分辨率方法，在大规模数据集中提取两个过完备词典（低分辨率图像块词典和高分辨率图像块词典），并利用它们实现图像稀疏表示的超分辨率重建。同时，为了进一步提高彩色图像的超分辨率效果，还提出了基于超分辨率亮度信息的ＵＶ色度超分辨率重构。本发明专利技术提供的图像超分辨率方法在视频监控、医学成像、遥感图像等领域中有着广泛的应用前景。

【技术实现步骤摘要】

本专利技术属于图像处理领域，具体涉及一种基于词典学习和稀疏表示的超分辨 率算法。
技术介绍
超分辨率研究是期望将低分辨率图像放大成高分辨率图像，并保持图像中的 细节不会失真和出现马赛克等效果。由于其在视频监控、医学成像、遥感图像等 领域有着巨大的潜在应用而受到日益重视。虽然超分辨率技术的提出已出现一段 时间，但目前为止还没形成一个统一的框架。主要的难点在于由于同一低分辨率 图像可以由多个高分辨率图像退化生成，从数学上而言，超分辨率研究期望解决 的实质上是一个一对多问题，也称为病态问题。因此，要縮小其解空间的范围， 一种策略是构建知识库或引入图像中特有的结构信息。目前，超分辨率研究涉及到的
主要有图像处理、机器学习等。在 超分辨率研究中， 一种较为通用、效果也相对较好的方法是使用基于图像块(patch)的方法。其基本思想是构建两个数据集， 一个是低分辨率的， 一个是高分辨率的。对于测试的低分辨率图像块，首先求解其在低分辨率数据集上的表 示系数，再利用低分辨率图像块和高分辨率图像块的流形一致性假设，使用低分 辨率数据集上的表示系数重构出高分辨率的图像块。然而，流行的一致性假设在 很多情况下都是不成立的，即两个高分辨率和低分辨率两个数据集并不是同构数 据集，而是异构数据集。因此，在一个数据集上的表示系数并不能体现在另一个 数据集的表示系数。此外，即使对于同构数据集来说，耍求解在低分辨率数据集上的表示也是一个关键问题，容易产生过拟合或者是欠拟合的现象。最后，对于彩色图像，通常的方法都是将图像的RGB颜色空间转换到YUV颜色空间，并 且只对亮度信息(Y)做超分辨率，而对于另外两个色度只是做普通的插值处理， 这样就很容易会产生颜色的块效应。
技术实现思路
本专利技术所要解决的技术问题是提供一种实现超分辨率的方法，有效地将图像 处理与机器学习的特点结合起来处理低分辨率图像。为解决上述技术问题，本专利技术提供的技术方案如下首先，针对图像的训练集，我们提出了在异构数据集的基础上，以测试图像 块在两个数据集中稀疏表示的一致性为目标，学习得到两个在图像块稀疏表示下同构的数据集；其次，为了保证测试图像块在低分辨率数据集上的表示系数不产生过拟合或者是欠拟合的现象，我们使用线性规划算法求解图像块的稀疏表示；最后，针对色度信息(UV)和亮度信息(Y)的关系，我们提出了使用亮度信息指导下的双边滤波器重构色度信息的方法。综上所述，本专利技术实现了一种基于 同构数据集学习和稀疏表示的彩色图像超分辨率算法。下面详细给出该专利技术技术方案中所涉及的各个细节问题的说明(一)图像的稀疏表示图像的稀疏表示是指图像(块)可以完全或者近似地由非常少的一组原子(atom)图像(块)的线性组合表示，而所有的原子图像(块)即组成一个过完 备(overcomplete)的词典。由于组成这个词典的原子个数要大于每个原子的维 数，因此如果没有对表示稀疏没有任何的限制，那么每一个图像(块)在过完备的词典下的表示是不唯一的。而在一定条件下，表示的稀疏性正是保证唯一性的 充分条件。设H'是某个图像(块)的向量表示，DeK,"是一个过完备的词典。记卩^ 表示一个向量非零元素的个数，^为D列向量线性无关的最小值，当|| "<|时，对于^的稀疏表示"e『就是唯一 的。<formula>formula see original document page 7</formula>要获得(1)式的精确解被证明是一个NP难问题，通常都考虑近似的解法。最早而 且最简单的就是匹配追踪算法(match pursuit)及其改进算法正交匹配追踪算法 (orthogonal match pursuit),这两种方法都应用了贪心的思想，每次选择一个最 优的原子使得其与前一步的残差的内积达到最大。另一个近似的解法称为基追踪 算法(basispursuit),该方法使用尸模替换产模，这样就使得上述问题从一个非凸 问题转变成了凸优化的问题，并且可以使用线性规划算法求解。此外，迭代聚焦 算法(focal underdetermined system solver)使用严模(psl)〗戈替"模，迭4戈i也 实现了解空间能量的不断集中，虽然可以获得更精确的解，但也使得该问题不再 是一个凸优化的问题，对于噪声也非常敏感。 (二)词典学习与超分辨率重构对于图像(块)稀疏表示，除了上述提到的求解稀疏表示的算法之外，过完 备词典的构造也是非常重要的。一个好的词典不仅可以满足稀疏表示唯一性条件的约束，同时也可以获得更稀疏和更精确的表示。图像在过完备词典下的稀疏表 示是图像离散傅立叶变换，小波变换等表示形式的扩展，目的就是为了能够找到 一个更能反映特定图像的某种结构信息的过完备词典，并且在这个词典上能够使 用一种紧的，稀疏的表示来近似原始的图像。为了满足上述条件，对于所有的训练集，需要求解argminD,。2]||x, — D(z, ^ & (2)其中，、表示每一个训练样本，",表示训练样本x,在词典D下的稀疏表示，义是正则化参数。要求解上式通常分为两个步骤迭代进行(1)根据当前词典求解信 号的稀疏表示；(2)根据求解得到的稀疏表示更新词典。K-SVD算法首先运用 正交匹配追踪算法求解第一步中的稀疏表示，接着考虑每次只更新词典D中的第 A列《以及所对应的表示系数4。不考虑上式稀疏表示的罚项|| 1， (2)式可以重写为<formula>formula see original document page 8</formula>其中，A表示使用除了词典的第;t列之外对图像(块)表示的残差，要使得式子 总体达到最小，就要使《^最接近A。因此对&进行奇异值分解，￡4=cm"， 令A为U的第一列，《为V的第一列乘以a(l,l)。对于图像的超分辨率问题，需要同时使用到两个词典，即一个低分辨率图像 块的词典和一个与之对应的高分辨率图像块的词典。但测试数据在两个词典上的 表不往往是不一致的，即这两者是属于异构数据。记x,为亮度分量的低分辨率训 练图像块的向量表示，y,为与之对应的高分辨率训练图像块的向量表示。为了满足两个词典在稀疏表示下的同构性，需要求解<formula>formula see original document page 8</formula>其中，D是低分辨率图像块词典，W是与之对应的高分辨率图像块词典，a,是同时满足x,在词典D和j,在词典W下的稀疏表示，^和义分别是第二项和第三项的 正则化参数。为了使用K-SVD算法求解，把上式重写成其中，z,= <formula>formula see original document page 9</formula>当低分辨率图像块词典D和高分辨率图像块词典W都训练得到之后，对于每 一个低分辨率的测试图像块，使用线性规划算法求解其在低分辨率词典D上的稀 疏表示系数"min II a & s.t. jc, = Dor, 最后，高分辨率的图像块就可以通过下式重构(二) uv色度重构人眼对于uv色度空间的变化的敏感度要比对于亮度信息的变化低很多本文档来自技高网...

【技术保护点】
一种基于词典学习和稀疏表示的超分辨率算法，其特征在于包括如下步骤：　（１）在异构数据库的基础上，以测试图像块在两个数据集中稀疏表示的一致性为目标，学习得到两个在图像块稀疏表示下同构的数据集；　（２）使用线性规划算法求解图像块的稀 疏表示，保证测试图像块在低分辨率数据集上的表示系数不产生过拟合或欠拟合；　（３）针对色度信息ＵＶ和亮度信息Ｙ，使用亮度信息指导下的双边滤波器重构色度信息。

【技术特征摘要】

【专利技术属性】
技术研发人员：浦剑，张军平，
申请(专利权)人：复旦大学，
类型：发明
国别省市：31[中国|上海]