本发明专利技术公开了一种基于非局部高斯过程回归的图像超分辨方法，主要解决现有技术在纹理区域上超分辨效果不佳的问题。其实现步骤为：1.对输入图像进行非局部图像块网格采样，构造训练样本集；2.基于训练样本集学习高斯过程回归模型；3.对测试图像预处理并生成测试样本集；4.在测试样本集上应用学习好的高斯过程回归模型，预测并输出超分辨图像。本发明专利技术充分利用输入图像本身存在的图像块自相似性，通过非局部采样获取更多的非局部相似性信息，使得高斯过程回归模型的训练更为高效。仿真实验表明，本发明专利技术具有较好的超分辨能力，重建的图像能恢复更多的细节信息，更接近真实的高分辨图像，可广泛应用于图像压缩、刑事侦查、高清娱乐等领域。
【技术实现步骤摘要】
本专利技术属于图像处理领域，特别是涉及以单帧图像为输入的、基于机器学习的图 像超分辨方法，可应用于医学成像、视频监控、高清电视成像，也可用于视频或图像压缩。
技术介绍
图像保存着人类对世界最重要的视觉感知，是现代社会最重要的信息来源。图像 超分辨算法尝试从同一场景的一帧或者多帧低分辨图像中恢复出高分辨图像，更好地呈现 图像细节，具有重要的理论与应用价值。 图像超分辨算法基于处理方法的不同可分为三类:基于插值的方法、基于重建的 方法和基于学习的方法。 基于插值的方法假设图像局部平滑，使用不同的插值核得到高分辨图像;例如双 线性插值、双立方插值、最近邻插值法等。此类方法的优点在于方法简单易于实现且运行速 度快，缺点在于当放大因子较大时，会产生模糊现象。 基于重建的方法基于图像降质模型，在重建约束的基础上添加各种先验或正则 项，从而使逆问题的求解更加鲁棒。基于重建的超分辨方法尽管性能较插值方法有一定提 升，但当放大因子较大或低分辨输入图像数量不足时，性能下降很快。 基于学习的方法则利用各种机器学习方法，从训练样本中学习出高分辨图像。其 中，Yang等人在文南犬J.Yang, J.Wright，T.Huang,and Y.Ma，"Image super-resolution via sparse representation，''IEEE Trans . Image Process·，vol·19，no·11，pp·2861-2873中 基于稀疏表示理论通过联合优化框架学习出对偶字典，从而重建出高分辨图像。Dong等人 在文献W.Dong，L· Zhang，R· Lukac，and G· Shi，"Sparse representation based image interpolation with nonlocal autoregressive modeling IEEE Trans . Image Process.，vol. 22，no. 4，pp. 1382-1394中借助稀疏与非局部相似性约束，利用多个局部主 成分分析字典来自适应地重建高分辨图像块。Kwang等人在I.K.Kwang and K.Younghee, "Single-image super-resolution using sparse regression and natural image prior，" IEEE Trans .Pattern Anal .Mach. Intell. ,vol .32,no.6,pp. 1127-1133 一文中结 合匹配追踪算法和梯度下降方法来稀疏化核岭回归框架，从而学习出低分辨图像块与对应 高分辨图像块之间的映射。He等人在文献H.He and W.-C.Siu, "Single image super-resolution using Gaussian process regression,"in Proc . IEEE Conf.Comput.Vis .Pattern Recognit·，2011，pp·449-456中利用图像块的自相似性提出一 个自学习方法，该方法在每个局部区域内利用高斯过程回归学习一个从块到对应中心像素 之间的映射。Wang等人在L.Wang，H.Wu,and C.Pan, "Fast image upsampling via the displacement field, IEEE Trans. Image Process·，vol · 23，no· 12，pp· 5123-5135-文中 联合位移场插值与重建方法提出一个双尺度的图像超分辨算法来保持超分辨图像边缘的 锐利性 DHe等人在文献L.He，H.Qi，and R.Zaretzki，"Beta process joint dictionary learning for coupled feature spaces with application to single image super resolution，"in Proc. IEEE Conf.Comput.Vis.Pattern Recognit·，2013，pp·345-352中 使用Beta过程来学习对偶空间字典，从而重建出高分辨图像块。 上述基于学习的方法尽管具有较好的超分辨效果，但在细节与纹理的重建上仍然 存在失真现象，主观效果仍然不尽人意，还有进一步提高和改进的空间。
技术实现思路
本专利技术针对现有基于学习的图像超分辨算法存在的不足，提出一种基于非局部高 斯过程回归的图像超分辨方法，以减小现有方法产生的失真现象，提高纹理区域的重建质 量。 本专利技术的技术方案是通过输入图像自身提取训练样本集，寻找图像内部存在的非 局部相似性，对高斯过程回归模型进行自学习，预测出丢失的高频细节信息，得到最终的超 分辨图像，并实现比现有方法更好的超分辨重建效果。实现步骤包括如下： (1)输入一幅尺寸为IR X Ic的低分辨彩色图像I，将其由红、绿、蓝RGB颜色空间转换 为亮度图像Iy、蓝色色度图像Icb、红色色度图像Ic r构成的YCbCr颜色空间； (2)从亮度图像Ιγ生成规模为η的非局部训练样本集D: (2a)根据亮度图像Ιγ得到辅助插值高频图像1/和高频图像ΙΛ (2b)按照光栅扫描顺序基于间隔λ从辅助插值高频图像I〗'网格采样出尺寸为ΡΧ Ρ的初始图像块集合其中λ为正整数，取值范围介于; (2c)剔除掉初始图像块集合?:中块标准差小于设定阈值Θ的图像块，得到规模为η 的修剪图像块集合P = 其中Θ为取值范围介于之间的实数； (2d)在高频图像1/中提取与修剪图像块集合P对应的图像块，并得到这些图像块 的中心像素集合 (2e)根据（2c)和（2d)构成规模为η的训练样本集合Z) = {< X,.，〇其中〈Xi，yi> 表示xi与yi构成的二元组； (2f)对训练样本集合二中每个样本<Xi，yi>用Xi和yi分别除以Xi的2 范数llxill进行标准化，即<xi，yi>-〈xi/llxill，yi/llxill>，W = I，2，···，"，其中η为训练样本的总 个数； (3)基于训练样本集D学习出高斯过程回归模型Μ，得到从图像块Xi到对应高分辨 图像块中心像素丢失的高频分量yi之间的映射； (4)根据亮度图像Ιγ得到插值均值图像SM和高斯过程回归模型的测试集Q; (5)对蓝色色度图像lcb、红色色度图像ICr进行双立方Bicubic插值，得到尺寸为(F X Ir) X (FX Ic)的插值红色色度空间Scb和插值蓝色色度空间SCr，其中F为超分辨放大倍数； (6)基于回归模型的测试集Q，应用步骤(3)中学习好的高斯过程回归模型M，回归 出超分辨高频图像S/ ; (7)将超分辨高频图像S/与插值均值图像Sm相加，得到初始超分辨亮度图像Sy; (8)对初始超分辨亮度图像Sy应用反向投影迭代，得到最终超分辨亮度图像Sf; (9)将最终超分辨亮度图像SF与插值蓝色色度空间Scb、插值红色色度空间S Cr进行 合并，得到YCbCr颜色空间下的超分辨图像，并将其转换到RGB颜色空间下，输出最终的超分 辨图本文档来自技高网...
【技术保护点】
一种基于非局部高斯过程回归的图像超分辨方法，包括以下步骤：(1)输入一幅尺寸为IR×IC的低分辨彩色图像I，将其由红、绿、蓝RGB颜色空间转换为亮度图像IY、蓝色色度图像ICb、红色色度图像ICr构成的YCbCr颜色空间；(2)从亮度图像IY生成规模为n的非局部训练样本集D：(2a)根据亮度图像IY得到辅助插值高频图像I′I和高频图像I′Y；(2b)按照光栅扫描顺序基于间隔λ从辅助插值高频图像I′I网格采样出尺寸为p×p的初始图像块集合其中λ为正整数，取值范围介于[1,10]；(2c)剔除掉初始图像块集合P1中块标准差小于设定阈值θ的图像块，得到规模为n的修剪图像块集合其中θ为取值范围介于[0,3]之间的实数；(2d)在高频图像I′Y中提取与修剪图像块集合P对应的图像块，并得到这些图像块的中心像素集合(2e)根据(2c)和(2d)构成规模为n的训练样本集合其中<xi,yi>表示xi与yi构成的二元组；(2f)对训练样本集合中每个样本<xi,yi>用xi和yi分别除以xi的2范数‖xi‖进行标准化，即<xi,yi>←<xi/‖xi‖,yi/‖xi‖>,其中n为训练样本的总个数；(3)基于训练样本集D学习出高斯过程回归模型M，得到从图像块xi到对应高分辨图像块中心像素丢失的高频分量yl之间的映射；(4)根据亮度图像IY得到插值均值图像SM和高斯过程回归模型的测试集Q；(5)对蓝色色度图像ICb、红色色度图像ICr进行双立方Bicubic插值，得到尺寸为(F×IR)×(F×IC)的插值红色色度空间SCb和插值蓝色色度空间SCr，其中F为超分辨放大倍数；(6)基于回归模型的测试集Q，应用步骤(3)中学习好的高斯过程回归模型M，回归出超分辨高频图像S′Y；(7)将超分辨高频图像S′Y与插值均值图像SM相加，得到初始超分辨亮度图像SY；(8)对初始超分辨亮度图像SY应用反向投影迭代，得到最终超分辨亮度图像SF；(9)将最终超分辨亮度图像SF与插值蓝色色度空间SCb、插值红色色度空间SCr进行合并，得到YCbCr颜色空间下的超分辨图像，并将其转换到RGB颜色空间下，输出最终的超分辨图像。...
【技术特征摘要】
【专利技术属性】
技术研发人员：高新波，王海军，李洁，路文，何立火，张凯兵，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。