一种基于新型模板的图像超分辨率增强方法技术

本发明专利技术涉及基于新型模板的图像超分辨率技术，包括：获取原始图像集，对图像集中的每幅图像做0.5倍降采样，得到低分辨率图像；对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；对高分辨参考图像和低分辨率图像做新型模板增强；过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点；通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像。新型模板不仅可以有效地增强图像高频信息，同时还可有效保留图像中低频信息，从而在图像增强领域有着广泛的应用。

【技术实现步骤摘要】
一种基于新型模板的图像超分辨率增强方法
本专利技术涉及基于新型模板的图像超分辨率技术，特别涉及基于新型模板和点扩散函数叠加的，端到端的单幅图像超分辨率重建方法。
技术介绍
图像分辨率的调整是应用中经常需求的操作。当面对各类图像时，一些经典的图像处理技术往往无法实现较好的效果，尤其是有图像纹理细节或者边缘稳定性需求高时，由于分辨率的改变往往会伴随着高频信息丢失和信息量减少，因此图像的超分辨率结果往往较差，无法达到令人满意的目的。因此，设计一种良好的图像的超分辨率方法，提高图像的超分辨率的效果是一个值得研究的课题。随着计算机技术和机器视觉技术的发展，关于图像超分辨率的该方法有了长足的发展，并在许多领域有着重要的应用，如多媒体、安防监控和医学领域。目前，图像超分辨率算法主要可分为三类：第一类是基于插值理论的，不考虑图像的先验知识，仅通过图像上的像素点信息来计算目标点像素值。此类方法计算量小，速度快，可以很方便的在各种场合下使用。但是这类方法不能回复出较好的图片，往往会伴随着大量的信息丢失和模糊，在图像的超分辨率中无法较好完成目标。第二类是基于学习的方法，将图像的降质模型使用一定的网络结构进行模拟，通过数据库训练将网络收敛到目标范围，就可以使用此网络结构完成图像超分辨率过程。此类算法的优点在于可以较好地恢复图像信息，缺点在于对数据库的依赖较大，且运算量很大，在各种场合下的运用受到一定的限制。第三类算法是基于重建和增强理论的方法，通过一个或者多个数学模型，对图像降质过程进行建模，通过计算或者假设模型中的参数，逆向运算得到图像超分辨率的结果。此类算法基本都是建立在图像降质模型的基础上，通过一定的先验知识，保证在超分辨率过程中尽可能地保护图片信息，达到较好的超分辨率效果。新型模板不仅可以有效地增强图像高频信息，同时还可有效保留图像中低频信息，从而在图像增强领域有着广泛的应用。该新型模板则可以在完成图像高频噪声去除的同时，较好地保留图像低频信息，在去噪领域有着一定的应用。
技术实现思路
基于学习的图像超分辨率效果虽然较好，但是其对外部数据库的依赖较大，在没有良好且充足的数据库的情况下不能有效达成目的，其运算量也使其应用受到限制。而现有的基于重建或增强的方法大多对于图像的超分辨率都没有足够优秀的效果。针对以上问题，本专利技术的目的是提出一种基于新型模板的图像超分辨率方法。为实现上述目的，本专利技术采取以下技术方案：一种基于新型模板的图像超分辨率增强方法，包括如下步骤：步骤1，获取输入图像，对输入图像作0.5倍降采样，得到低分辨率图像；步骤2，对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，所述新型模板由设定的参数v和根据v生成的模板计算得出，具体实现方式如下，步骤3.1，先采取0.01为步长，分别对图像做v取范围0.01～0.99的增强，并分别计算增强后的清晰度指标，取清晰度的最大值A和最小值B，计算A和B的几何平均值得到清晰度在附近时的参数v；一幅大小为m×n的图像k的清晰度计算方式为：其中，k(x，y)表示图像中的坐标为(x，y)的像素点的灰度值；步骤3.2，通过步骤3.1的参数v确定新型模板如下：步骤4，通过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点；步骤5，通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像，具体实现方式如下，步骤5.1，利用新型模板生成点扩散函数，计算高分辨参考图像上点经点扩散函数投影到低分辨率后的像素值，其与该点的实际像素值的差即为残差值；其中，点扩散函数如下：步骤5.2，将高分辨参考图像上所有点的残差值按顺序合成为一幅图像，即为残差图像；步骤5.3，残差图像经点扩散函数，每个点变为l×l大小的窗，l为新型模板的维数，得到与高分辨参考图像同等大小的残差图像，将此时的残差图像叠加到高分辨参考图像的对应点上，得到最终的图像。而且，所述步骤2中得到高分辨参考图像的实现方式如下，步骤2.1，设定一个轮廓模板集合，包含57种轮廓特征模板；步骤2.2，计算低分辨率图像上的点及周围邻域的轮廓模板值，以轮廓模板值选择对应的轮廓模板；步骤2.3，使用选择的轮廓模板对低分辨率图像进行插值放大，得到插值结果，即得到高分辨参考图像。而且，所述步骤4中计算低分辨率图像与高分辨参考图像间的运动矩阵的实现方式如下，步骤4.1，对于低分辨率图像，计算其SIFT特征点，并寻找其在高分辨参考图像上的匹配点；步骤4.2，通过低分辨率图像与高分辨参考图像间的匹配点在各自图像上坐标信息，使用RANSAC法确定两者间的仿射矩阵；步骤4.3，计算出的仿射矩阵即为低分辨率图像和高分辨参考图像的运动矩阵。本专利技术由于采取了以上的技术方案，与现有技术相比，其具有以下优势：(1)与基于学习的图像超分辨率算法相比，尤其是基于深度学习的SRCNN卷积神经网络超分辨率算法相比，本专利技术利用新型模板增强算子有效弥补了图像超分辨率过程中的高频信息减少，同时避免了对于外部训练数据库的依赖，在实现方法和理论上有较高的自由度和适应性。(2)与现有的基于重建的图像超分辨率方法相比，本专利技术引入的轮廓模板插值很好的保持了图像边缘轮廓信息；使用的新型模板增强算子立足于增强图片纹理信息，提高算法对于各类图像的适应性；基于新型模板的点扩散函数立足于改善图像的边缘质量；引入的SIFT匹配过程立足于增加重建过程的精度，从而获得较好的重建结果。相较传统算法，获得了较好的重建结果。附图说明图1为本专利技术的整体流程图。具体实施方式下面结合附图和实施例对本专利技术的技术方案作进一步说明。本专利技术的整体流程图如图1所示，具体包含以下步骤(包括测试)：步骤1，获取标准数据库和一些额外的图像库作为原始图像集，并作为测试和验证本专利技术有效性的数据集，包括获取Set5、Set14、B100等标准库和USC-SIPI等图像库的图像；选取任意一幅图像做0.5倍降采样，得到低分辨率图像，即为实际的输入图像。步骤2，对输入图像，进行轮廓模板插值放大2倍，得到高分辨参考图像。步骤2.1，经由一定的图像集合，预先设定一个轮廓模板集合，包含57种轮廓特征模板，轮廓模板集合的生成为现有成熟技术，本专利技术不予撰述，具体参见文献[1]；[1]肖进胜,庞观林,唐路敏,钱超,邹白昱.基于轮廓模板和自学习的图像纹理增强超采样算法[J].自动化学报,2016,42(8):1248-1258.；步骤2.2，计算低分辨率图像上的点及周围邻域的轮廓模板值，用此值选择对应的轮廓模板；步骤2.3，使用选择的轮廓模板对低分辨率图像进行插值放大，得到插值结果，即得到高分辨参考图像。步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，具体的增强模板由设定的参数v和根据v生成的模板计算得出；图像的增强可以有效提升其纹理细节信息，对于图像超分辨率来讲，一个预先的增强可以很好地帮助后续超分辨过程中恢复图像质量。由于不同参数v的新型模板处理效果各异，为了较好地增强图像，我们选取一定方式确定增强时所使用的参数；步骤3.1，先采取0.01为步长，分别对图本文档来自技高网...

【技术保护点】
一种基于新型模板的图像超分辨率增强方法，其特征在于，包括如下步骤：步骤1，获取输入图像，对输入图像作0.5倍降采样，得到低分辨率图像；步骤2，对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，所述新型模板由设定的参数v和根据v生成的模板计算得出，具体实现方式如下，步骤3.1，先采取0.01为步长，分别对图像做v取范围0.01～0.99的增强，并分别计算增强后的清晰度指标，取清晰度的最大值A和最小值B，计算A和B的几何平均值

【技术特征摘要】
1.一种基于新型模板的图像超分辨率增强方法，其特征在于，包括如下步骤：步骤1，获取输入图像，对输入图像作0.5倍降采样，得到低分辨率图像；步骤2，对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，所述新型模板由设定的参数v和根据v生成的模板计算得出，具体实现方式如下，步骤3.1，先采取0.01为步长，分别对图像做v取范围0.01～0.99的增强，并分别计算增强后的清晰度指标，取清晰度的最大值A和最小值B，计算A和B的几何平均值得到清晰度在附近时的参数v；一幅大小为m×n的图像k的清晰度计算方式为：其中，k(x，y)表示图像中的坐标为(x，y)的像素点的灰度值；步骤3.2，通过步骤3.1的参数v确定新型模板如下：步骤4，通过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点；步骤5，通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像，具体实现方式如下，步骤5.1，利用新型模板...

【专利技术属性】
技术研发人员：雷俊锋，张赏月，肖进胜，罗丽，邹文涛，周永强，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42