一种基于多特征的POCS图像超分辨率重建方法技术

本发明专利技术公开了一种基于多特征的POCS图像超分辨率重建方法，属于图像重建技术领域。首先，根据图像的局部相似性特征和图像的梯度特征构建参考帧；然后运用LK光流法对上采样后的序列LR图像和参考帧进行配准；同时利用比值稀疏约束模型估计参考帧的PSF，并获取PSF作用窗口的中心坐标和PSF作用窗口的范围；最后利用参考帧和PSF生成重建图像的初始估计图像，根据重建图像残差对参考帧进行修正，得到最终重建图像。本发明专利技术的方法基于图像的局部相似性特征和图像梯度特征构建多特征参考帧图像，采用比值稀疏约束模型估计多特征参考帧图像的PSF，提高了重建图像的边缘保持能力和纹理细节信息，可以有效达到提升图像质量的目的。可以有效达到提升图像质量的目的。可以有效达到提升图像质量的目的。

【技术实现步骤摘要】
一种基于多特征的POCS图像超分辨率重建方法


[0001]本专利技术属于图像超分辨率重建的
，尤其涉及一种基于多特征的POCS图像超分辨率重建方法。

技术介绍

[0002]图像超分辨率重建是指在不升级成像硬件系统的前提下，利用计算机对低分辨率图像或图像序列进行处理，重建出高分辨率图像的一种图像处理技术，在医学影像分析、安全监控、遥感成像等领域都有广泛应用。
[0003]目前基于序列图像的超分辨率重建方法主要分为：基于传统算法的重建和基于深度学习方法的重建。基于传统算法的超分辨率重建主要包括：基于插值的方法(参考：Deepu Rajan,Subhasis Chaudhuri.Generalized interpolation and its application in super
‑
resolution imaging[J].Image and Vision Computing,2001,19(13).)、基于迭代反投影的方法(参考：Irani M,Peleg S.Improving resolution by image registration[J].GVGIP:Graphical Models and Image Processing,1991,53(3):231
‑
239.)、基于最大后验概率的方法(Schultz R R,Stevenson R L.Improved definition video frame enhancement[C].International Conference on Acoustics.IEEE,1995.)和基于凸集投影的方法(Stark H,Oskoui P.High
‑
resolution image recovery from image
‑
plane arrays,using convex projections[J].Journal ofthe Optical Society ofAmerica A Optics&Image Science,1989,6(11):1715.)等。近年来，基于深度学习的图像超分辨率重建成为人们研究的热点，2014年Chao等人提出一个含三个卷积层的网络
‑
SRCNN，首次将深度学习用于图像超分辨率重建(参考：Chao D,Chen C L,He K,et al.Learning a Deep Convolutional Network for Image Super
‑
Resolution[J].ECCV,2014.)该方法重建效果优且可以实现较大倍数的放大，但与此同时对网络结构的设计和训练过程要求很高，需要大量数据用于训练且运算量通常非常巨大(参考：谢海平,谢凯利,杨海涛.图像超分辨率方法研究进展[J].计算机工程与用,2020,56(19):34
‑
41.)。相比于基于深度学习方法，传统方法可以加入图像先验信息，不需要大量的训练样本，具有独特的优势。在众多传统重建方法中，POCS算法由于具有算法原理直观、成像模型灵活、方便引入大量先验信息等优点(参考：房垚鑫,郭宝峰,马超.基于改进点扩散函数的遥感图像超分辨率重建[J].激光术,2019,43(05):123
‑
128.)，是人们使用比较多的重建方法。但POCS算法在重建过程中使用插值方法构建参考帧，而且重建过程中没有对PSF(Point spread function，PSF)进行估计，导致重建的图像在边缘、细节信息方面效果不好。
[0004]综上，基于传统POCS算法的超分辨率重建和基于深度学习的超分辨率重建各有优劣，基于传统POCS算法的超分辨率重建优点是，算法原理直观，成像模型灵活，可以加入图像先验信息，具有独特的优势，缺点图像在边缘、细节信息方面效果不好。相反，基于深度学习的超分辨率重建效果好且可以实现较大倍数的放大，缺点是对网络结构的设计和训练过程要求很高，需要大量数据用于训练且运算量通常非常巨大。

技术实现思路

[0005]针对上述技术问题，本专利技术的目的在于提供一种多特征的POCS图像超分辨率重建方法，基于图像的局部相似性特征和图像的梯度特征构建多特征参考帧图像，利用LK光流法进行图像配准，采用比值稀疏约束模型估计图像的PSF，既提高了重建图像的边缘保持能力又增加了重建图像的纹理细节信息，有效的提升了图像质量。
[0006]为实现上述目的，本专利技术提供了一种基于多特征的图像超分辨率重建方法，包括如下步骤：
[0007]S1：输入序列LR图像g
i
(i＝1,2,3,4)；
[0008]S2：读取序列LR图像的一帧g1，根据图像的局部相似性特征构建参考帧f1,根据图像的梯度特征构建参考帧f2，将f1与f2根据像素值的均值加权计算得到多特征参考帧图像f；
[0009]S3：对除第一帧LR图像以外的其他帧序列LR图像进行2倍上采样，使用LK光流法对上采样后的序列图像与多特征参考帧图像f进行配准，找出多特征参考帧图像PSF作用窗口的中心坐标，并确定PSF作用窗口的范围；
[0010]S4：利用比值稀疏约束模型估计多特征参考帧图像f的PSF，由多特征参考帧图像f和估计出的PSF计算出重建图像PSF窗口作用范围内像素的初始估计值；
[0011]S5：计算PSF窗口作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差R；
[0012]S6：根据残差R与阈值T的大小关系对多特征参考帧图像f做出修正，得到重建高分辨率图像P1和P2，P1和P2根据像素值均值加权计算得到最终重建图像P。
[0013]所述步骤S2中由参考帧f1和参考帧f2生成多特征参考帧图像f的表达式为：
[0014][0015]其中，f表示多特征参考帧图像，f1表示参考帧图像f1,f2表示参考帧图像f2,a1表示参考帧图像f1的像素值均,b1表示参考帧图像f2的像素值均值。
[0016]所述步骤S3中使用LK光流法，即Lucas
‑
Kanade光流法对上采样后的序列图像与多特征参考帧图像f进行配准。
[0017]所述步骤S4中利用比值稀疏约束型估计重建图像的PSF表达式为：
[0018][0019]式中：C是成本函数，x是未知空间中高频的清晰图像，y是观测图像，k是PSF，λ和ψ是正则化参数，用来控制k和正则化项的权重。
[0020]由多特征参考帧图像f和估计出的PSF计算出重建图像PSF窗口作用范围内像素的初始估计值表达式为：
[0021][0022]式中：表示重建图像PSF窗口范围内像素的初始估计值，f表示多特征参考帧图像，表示卷积运算，k代表点扩散函数。
[0023]所述步骤S5中计算PSF作用范围内的像素估计值与当前原有序列分辨率图像像素
值之间的残差表达式为：
[0024][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征的POCS图像超分辨率重建方法，其特征在于，包括如下步骤：S1：输入序列LR图像g
i
(i＝1,2,3,4)；S2：读取序列LR图像的一帧g1，根据图像的局部相似性特征构建参考帧f1,根据图像的梯度特征构建参考帧f2，将f1与f2根据像素值的均值加权计算得到多特征参考帧图像f；S3：对除第一帧LR图像以外的其他帧序列LR图像进行2倍上采样，使用LK光流法对上采样后的序列图像与多特征参考帧图像f进行配准，找出多特征参考帧图像PSF作用窗口的中心坐标，并确定PSF作用窗口的范围；S4：利用比值稀疏约束模型估计多特征参考帧图像f的PSF，由多特征参考帧图像f和估计出的PSF计算出重建图像PSF窗口作用范围内像素的初始估计值；S5：计算PSF窗口作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差R；S6：根据残差R与阈值T的大小关系对多特征参考帧图像f做出修正，得到重建高分辨率图像P1和P2，P1和P2根据像素值均值加权计算得到最终重建图像P。2.根据权利要求1所述的基于多特征的POCS图像超分辨率重建方法，其特征在于，所述步骤S2中由参考帧f1和参考帧f2生成多特征参考帧图像f的表达式为：其中，f表示多特征参考帧图像，f1表示参考帧图像f1,f2表示参考帧图像f2,a1表示参考帧图像f1的像素值均,b1表示参考帧图像f2的像素值均值。3.根据权利要求1所述的基于多特征的POCS图像超分辨率重建方法，其特征在于，所述步骤S3中使用LK光流法，即Lucas
‑
Kanade光流法对上采样后的序列图像与多特征参考帧图像f进行配准。4...

【专利技术属性】
技术研发人员：卜丽静，张嘉裕，张正鹏，白旭，戴栋，谢欣余，肖曦，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：