一种基于稀疏表示的图像超分辨率重建方法技术

本发明专利技术涉及一种基于稀疏表示的图像超分辨率重建方法，其步骤包括：1）从输入图像序列选出一部分为显著区域，剩余部分为非显著区域；2）根据显著区域训练一对显著字典D'l，D'h，并将该显著区域通过上下文稀疏分解在低分辨率显著字典D'l上得到显著稀疏系数；3）根据非显著区域训练一对通用字典Dl，Dh，并通过低分辨率通用字典Dl进行稀疏分解得到非显著稀疏系数；4）将稀疏系数与高分辨率显著字典D'h或高分辨率通用字典Dh相乘进行率重建，获得高分辨率图像序列。本发明专利技术在传统稀疏表示超分辨率框架基础上，重点关注图像内在结构信息，并将此作为先验模型约束L0-范数问题求解，在保持与传统稀疏表示方法复杂度相当同时，在主观和客观效果上性能都优于其他方法。

【技术实现步骤摘要】
一种基于稀疏表示的图像超分辨率重建方法
本专利技术涉及一种图像超分辨率方法，具体涉及一种基于视觉显著的上下文稀疏分解图像超分辨率方法。本专利技术可以灵活应用于高端多媒体系统的视频信号格式转换、视频监控感兴趣区域放大以及卫星、遥感等领域，属于图像超分辨率重建领域。
技术介绍
图像的超分辨率重建就是克服成像设备或技术的限制，从单帧低分辨率图像或低分辨率图像序列重建一个高分辨率图像。其中最常见的方法就是插值。传统的插值算法如最近邻插值、双线性插值、双三次插值、Lanczos插值都是假设图像具有连续性，从而预测高分辨率点的像素值，导致相邻像素过于相似而产生锯齿或者模糊，并不能解决超分辨率重建中高频细节的问题。过完备字典上的信号的稀疏表示是近来比较热门的领域，它的基本模型是认为自然信号(包括图像)可以用一组事先定义的基信号(即字典)的线性组合紧致表达，其中线性系数是稀疏的，即系数中大多数元素为0。稀疏系数在满约束条件的同时还需要非零元素的个数尽可能少，也就是需要尽可能稀疏，这是对图像信号的先验约束。利用稀疏表示的理论来求解图像超分辨率问题，Yang等人提出可以事先分别训练对应的高低分辨率的字典，将输入的低分辨率图像用低分辨率字典稀疏表示，然后将该稀疏系数与对应的高分辨率字典相乘即可得到高分辨率的图像。这样通过外部的字典库可以弥补图像超分辨率高频细节不够的缺陷，突破了传统的基于插值或正则项约束类方法放大倍数有限细节信息有限的限制。然而该方法利用通用训练集学习字典，无法对图像局部特征进行自适应重建。此外，这类方法的先验模型中事先假定相邻图像块之间是独立的，忽视了图像局部区域的相互依赖关系。
技术实现思路
通过分析基于稀疏表示的图像超分辨率方法中存在的字典学习和先验模型的问题，本专利技术对于低分辨率的图像，提出了一个全新的基于视觉显著的上下文稀疏分解图像超分辨率方法。在字典学习部分，除了学习通用字典外，视觉显著区域提取出的图像样本用来训练显著字典。在先验模型的部分，由于视觉显著区域通常趋于高度结构化，基于上下文的稀疏分解被用来进一步探索相邻图像块之间的联系。为了到达上述目的，本专利技术的技术方案如下：首先，对输入低分辨率的图像训练字典，分别训练显著区域的字典和通用字典。训练显著区域的字典前先要检测和划分出图像的显著区域，人眼观测时认为图像上较为显著的区域，因为从生理学角度，人眼认为显著的地方一般是边缘等结构化的信息，所以考虑视觉显著区域的高度结构化特性，认为从显著区域提取的图像样本应该也是高度相关的。因此学习出的字典应该也是高度适应与图像的显著区域的。对于其他的非显著区域，通用字典即可满足需求。然后我们利用最大后验概率理论，通过考虑当前局部图像块和当前块与邻域块的联系来约束公式求解最优稀疏系数，同时，考虑上下文感知的在显著区域的稀疏分解，我们可以用总能量表示先验概率，而与传统稀疏性约束相比，本专利技术提出的先验模型对空域上下文之间的联系给予了更多的权重。本专利技术具体技术方案如下，一种基于稀疏表示的图像超分辨率重建方法，其步骤包括：1）从输入图像序列选出一部分为显著区域，剩余部分为非显著区域；2）根据所述显著区域训练一对显著字典D'l，D'h，并将该显著区域通过上下文稀疏分解在低分辨率显著字典D'l上得到显著稀疏系数；3）根据所述非显著区域训练一对通用字典Dl，Dh，并通过低分辨率通用字典Dl进行稀疏分解得到非显著稀疏系数；4）将所述非显著稀疏系数与高分辨率通用字典Dh相乘进行重建，将所述显著稀疏系数与高分辨率显著字典D'h相乘进行重建，重建后获得高分辨率图像序列。更进一步，所述非显著或显著稀疏系数其中，L0-范数项是稀疏性约束，是数据保真项，X为训练样本，D={D1,D2,…Di}为训练得到的字典，λ为拉格朗日乘子，Di为字典的第i列。更进一步，训练所述显著字典D'l或D'h需要满足目标函数：D'=argminD'f(D')，其中，λ||Γ||0L0-范数项是稀疏性约束，是数据保真项，X为训练样本，D'为训练得到的显著字典，λ为拉格朗日乘子，Di'为显著字典的第i列。更进一步，训练显著和通用字典时，先初始化稀疏系数Γ，然后更新字典，再迭代更新稀疏系数Γ。更进一步，按照如下方法训练显著字典D'：1）采用对比度滤波器在不同的尺度进行滤波操作产生显著性分布图，得到图像各个像素位置的显著度，检测出显著区域；2）将显著度超过一定阈值的图像像素划分到同一个区域，设定该区域为图像的显著区域，划分出图像的显著区域；3）从图像的显著区域选取图像块作为显著字典的训练集，从训练集中提取图像块样本，建立显著字典D'。更进一步，所述显著字典D'需要满足目标函数：D'=argminD'f(D')，其中，XΩ为在显著区域提取的图像块样本，X为训练样本，λ为拉格朗日乘子，Di'为显著字典的第i列。更进一步，所述显著区域通过上下文稀疏分解的总能量：其中，W◇t矩阵表示当前块和方向t上邻域块用到的字典基的联系，ST表示S的转置矩阵，EC(S)表示上下文依赖关系的能量，S◇t为当前块在t方向的邻域块的稀疏模式，b=[b1,b2,...,bm]T是模型参数。更进一步，所述稀疏模式S满足最大后验概率：其中，γ是低分辨率图像块x的稀疏系数，γS是一个均值为0方差为ΣS的多变量高斯分布，ΣS是对角矩阵，稀疏性模式S作为正则项约束重建出高分辨率的图像块。更进一步，所述低分辨率图像块x的稀疏系数γ的稀疏性模式为S∈{-1,1}m，Si=1表示γS≠0，Si=-1表示γS=0，Si是第i个图像块的稀疏性模式。更进一步，所述输入图像序列为X={x1,x2,...,xt}的低分辨率图像序列，所述通用字典Dl或Dh训练过程满足如下目标函数：D=argminDf(D)本专利技术的有益效果本专利技术在传统稀疏表示超分辨率框架的基础上，重点关注图像内在的结构信息，并将此作为先验模型约束L0-范数问题的求解。从算法复杂度角度来看，显著字典学习只是通过一个显著区域的掩膜（划分）将图像分成显著区域和非显著区域对样本分别训练，与传统通用字典的训练相比复杂度相当；在先验模型部分，图像块邻域依赖关系的建立时间与稀疏系数的求解线性相关，依赖关系建立后作为正则项迭代求解时与传统稀疏分解方法的求解复杂度相同。因此，本专利技术方法在保持与传统稀疏表示方法的复杂度相当的同时，在主观和客观效果上性能都优于其他方法。附图说明图1为本专利技术一实施例中训练字典及其应用的方法的示意图；图2为本专利技术一实施例中当前块在邻域位置的邻域块的稀疏模式的示意图，图2（1）—图2（8）为各个位置的示意图；图3为本专利技术一实施例中的总流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合说明书附图来说明本专利技术高效的超分辨率方法的一个优选实施例：步骤(1)记输入的低分辨率图像序列为X={x1,x2,...,xt}。传统的字典训练过程旨在最小化下面的目标函数：D=argminDf(D)稀疏系数的求解过程与此类似：其中L0本文档来自技高网...

【技术保护点】
一种基于稀疏表示的图像超分辨率重建方法，其步骤包括：1）从输入图像序列选出一部分为显著区域，剩余部分为非显著区域；2）根据所述显著区域训练一对显著字典D'l，D'h，并将该显著区域通过上下文稀疏分解在低分辨率显著字典D'l上得到显著稀疏系数；3）根据所述非显著区域训练一对通用字典Dl，Dh，并通过低分辨率通用字典Dl进行稀疏分解得到非显著稀疏系数；4）将所述非显著稀疏系数与高分辨率通用字典Dh相乘进行重建，将所述显著稀疏系数与高分辨率显著字典D'h相乘进行重建，重建后获得高分辨率图像序列。

【技术特征摘要】
1.一种基于稀疏表示的图像超分辨率重建方法，其步骤包括：1)从输入图像序列选出一部分为显著区域，包括：采用对比度滤波器在不同的尺度进行滤波操作产生显著性分布图，得到图像各个像素位置的显著度，检测出显著区域；将显著度超过一定阈值的图像像素划分到同一个区域，设定该区域为图像的显著区域，划分出图像的显著区域；剩余部分为非显著区域；2)从图像的显著区域选取图像块作为显著字典的训练集，从训练集中提取图像块样本，建立显著字典；根据所述显著区域训练一对显著字典D'l，D'h，并将该显著区域通过上下文稀疏分解在低分辨率显著字典D'l上得到显著稀疏系数ΓΩ；训练所述显著字典D'l或D'h需要满足目标函数：D'＝argminD'f(D')，其中，L0-范数项λ||Γ||0是稀疏性约束，是数据保真项，X为训练样本，D'为训练得到的显著字典，λ为拉格朗日乘子，Di'为显著字典的第i列，Γ表示显著稀疏系数ΓΩ；3)根据所述非显著区域训练一对通用字典Dl，Dh，并通过低分辨率通用字典Dl进行稀疏分解得到非显著稀疏系数Γψ；4)将所述非显著稀疏系数Γψ与高分辨率通用字典Dh相乘进行重建，将所述显著稀疏系数ΓΩ与高分辨率显著字典D'h相乘进行重建，重建后获得高分辨率图像序列。2.如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述非显著或显著稀疏系数其中，L0-范数项λ||Γ||0是稀疏性约束，是数据保真项，X为训练样本，D＝{D1,D2,...Di}为训练得到的字典，λ为拉格朗日乘子，Di为字典的第i列，即Di为第i个字典基。3.如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，训练显著和通用字典时，先初始化稀疏系数Γ，然后更新字典，再迭代更新稀疏系数Γ。4....

【专利技术属性】
技术研发人员：杨撒博雅，白蔚，刘家瑛，郭宗明，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11