基于凸组合方式的多帧低分辨率图像超分辨率重建方法技术

基于凸组合方式的多帧低分辨率图像超分辨率重建方法，本发明专利技术属于计算机视觉领域，主要解决图像处理精度问题和提出优化算法，本发明专利技术方法步骤包括对输入的多帧低分辨率(low‑resolution,LR)图像序列实施联合运动估计与超分辨率重建的方法得到“联合高分辨率(high‑resolution,HR)图像Ijoint”；对输入的多帧LR图像序列实施基于改进核回归的重建方法得到“核回归HR图像Ikernel”；运用本发明专利技术提出的凸组合框架，根据空域融合准则决定融合的区域，根据频域准则决定需要融合的频率成分，以及全局权重来决定对两种方法的融合的权重分配，通过这三个方面对上两步得到的HR图像进行融合，得到最后的重建的HR图像。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，涉及图像处理和优化理论问题，具体涉及一种新的基于改进核回归和联合估计的凸组合的超分辨率重建方法。
技术介绍
随着信息化时代的加深，多媒体信息得到了爆炸式的增长，在人们的周围无时无刻不充斥着各种各样的数字化信息(如图像、音频、视频等)。而伴随着图像、视频技术的广泛应用与日趋成熟，人们对于数字图像、视频质量的要求越来越高。在实际的应用场景中(如手机拍摄的照片，或者监控录像)，通常要求比较清晰的图像或者视频以用于数字图像、视频的后处理与分析，而与图像清晰度密切相关的一个概念就是图像的分辨率。分辨率的定义是成像设备展现物体良好细节的能力。所以一种思路是直接从成像设备硬件方面下手，这种改善分辨率的方法有两种。一种是增加所采集图像的像素数量，但这种方法会带来更多的噪声污染从而减少图像信噪比而且还会增加采集时间，第二种方法是是增加晶片尺寸，但价格昂贵性价比不高。因此，一种可替代上述方法的提升图像分辨率的技术出现了，即图像超分辨率重建技术，这种技术相对容易实现而且不会带来而外的开销，还能带来良好的视觉效果。这种方法在计算机视觉和图像处理领域有很多应用，而且在需要展现重要细节的场合显得尤为重要，比如从低质量的监控或者手机视频中分辨清楚文本或者其他小细节时。在现有的图像超分辨率重建方法中，根据输入低分辨率图像的数量广义分为单帧超分辨率重建(SingleFrameSuperResolution,SFSR)和多帧超分辨率重建(Multi-FrameSuperResolution,MFSR)。SFSR技术大多是通过从很多训练集HR图像中估计得到高频成分弥补输入LR图像中丢失的高频信息，而MFSR技术是通过合并所有LR图像的信息获得HR图像。本专利技术属于MFSR技术的范畴。MFSR技术的性能主要取决于运动参数估计的准确性。MFSR方法可以分为频域法和空域法两类。频域法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性，但频域法仅限于全局平移运动和模型,且频域中缺乏数据相关性,很难包含空域先验知识,因此目前已不再成为研究主流。空域法是在像素尺度上,通过对像素点的变换、约束而提高空间分辨率。主要的空域法有非均匀插值法，迭代反投影算法，凸集投影法，以及基于贝叶斯框架的方法-最大后验概率法和各种方法的混合。三十多年来，国内外学者对MFSR方法进行了深入的研究，取得了丰硕的成果，包括对先验知识模型的讨论，提出新的运动估计方法，对现有方案的分析和改进等。然而，多帧低分辨率图像的重建研究和应用还存在以下问题：(1)需要更加精准有效的图像配准(即精确的运动估计)，消除配准带来的重建误差；(2)需要更加快速的重构，由于基于多帧重构的方法多是迭代求解，在实时性上还有待提高，其插值重建后存在像素整体灰度值的偏离较大和空洞的问题；(3)需要更加稳健的鲁棒性，减少量化误差或噪声对重建图像影响。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供一种对噪声鲁棒、且能精准的估计运动信息的新的基于改进核回归和联合估计的凸组合的超分辨率重建方法。本专利技术提出的一种基于改进核回归和联合估计的凸组合的超分辨率重建方法是利用目前MFSR方法中性能比较显著的两种方法：基于核回归的方法和联合运动估计与超分辨率重建的方法。基于核回归的方法是针对图像序列帧之间运动参数难以精确估计的难题提出的，它不需要精确的运动估计就能对多帧图像进行超分辨率重建。该方法在超分辨率重建领域具有出色的性能，能够在插值重建的同时，实现图像的去噪。由于项目的应用场景是监控视频，而监控视频大多存在分辨率较低且模糊不清的问题，所以运用改进的核回归方法进行超分辨率重建。联合运动估计与超分辨率重建的方法在精确运动估计方面有很大的优势。这种联合估计方法主要是把运动估计和超分辨率重建这两个有先后顺序的过程放在一个框架内一起完成,通过超分辨率重建的估计值来优化运动估计的结果,从而能得到相比于现有运动估计算法更高的精度,最后又反过来提升超分辨率重建的效果。这两种方法各有优势，也各有缺点，对于基于核回归的方法来说，因为其没有运动估计步骤，所以当需要重建的图像中物体有大幅度运动时，其重建精准度会有所下降。而对于联合估计方法来说，互相影响的运动估计和超分辨率重建这两个过程能相互带给另一个过程的信息是有限的，所以其对图像超分辨率重建效果的提升并不是无限的，也就是对于重建效果的提升并不是很显著。针对以上问题，本专利技术提出了一种凸组合的框架，能有效地融合这两种方法，互相弥补各自的劣势，另一方面又相互提升各自的优势。在需要重建的图像中有物体大幅度运动时，这时候的联合估计方法就可以提供准确的运动估计上的优势，而重建效果较好的核回归方法也可以进一步提升联合运动估计方法的重建效果。本专利技术提出的新方法具体实施包括下列步骤：步骤1：对输入的多帧LR图像序列实施联合运动估计与超分辨率重建的方法得到“联合高分辨率HR图像Ijoint”；步骤2：对输入的多帧LR图像序列实施基于改进核回归的重建方法得到“核回归HR图像Ikernel”；步骤3：运用本专利技术提出的凸组合框架，根据空域融合准则决定融合的区域，根据频域准则决定需要融合的频率成分，以及全局权重来决定对两种方法的融合的权重分配，通过这三个方面对上两步得到的HR图像进行融合，得到最后的重建的HR图像；凸组合方式可表述为：Icom＝(1-A(r,s))·Ikernel+A(r,s)·Ijoint(1)A(r,s)＝αV·W(r,s)(2)其中V和W(r,s)分别确定对两个图像的空域混合区域和频域混合频率混合成分，全局参数α∈[0,1]确定对联合HR图像Ijoint和核回归HR图像Ikernel混合多少。由于本专利技术的主要新颖点在于凸组合框架的提出，所以对于两种基本MFSR方法:基于改进核回归重建方法和联合运动估计与超分辨率重建方法的具体实施只做简单介绍不做深究，主要详细介绍凸组合框架的确定。多帧图像超分辨率重建方法具体的过程大致可以分为三个基本步骤:配准、插值、重建。根据不同的算法，三个基本环节可以同时进行，也可以分开独立实现。通常，多帧超分辨率重建首先需要通过运动估计过程将各个低分辨率图像进行配准,再利用频域或空域重建算法将已配准的低分辨率图像融合为一幅高分辨率图像。而联合运动估计与超分辨率重建方法的主要特征就是运动估计环节与超分辨率重建环节同时进行，两个过程迭代估计，互相影响，提高运动估计精度从而改善重建效果。核回归作为一种不需要依赖数据本身建模的非参数的回归方法，由于其较强的灵活性和延展性，被广泛的用于图像处理领域，如：图像插值、去噪、超分辨率重建等。基于改进核回归重建方法是对于经典核回归理论的进一步改进。经典核回归重建是建立在多项式基础上的插值重建方法，只考虑了图像的灰度信息。在经典核回归理论的基础上，利用图像的局部结构特征又提出了一种可控核回归的多帧超分辨重建方法。可控核回归重建方法在考虑灰度信息的同时，还通过构造可控核函数融入了图像的结构信息，虽然在一定程度上改善了图像的视觉质量，但是局部协方差矩阵的计算是从经典核回归重建计算梯度而来，计算复杂度高，且插值重建后存在像素整体灰度值的偏离较大和空洞的问题。本专利技术使用的一种基于改进本文档来自技高网...

【技术保护点】
基于凸组合方式的多帧低分辨率图像超分辨率重建方法，其特征在于，包括以下步骤、步骤1、对输入的多帧LR图像序列实施联合运动估计与超分辨率重建的方法得到联合高分辨率HR图像Ijoint；步骤2、对输入的多帧LR图像序列实施基于改进核回归的重建方法得到核回归HR图像Ikernel；步骤3、根据空域融合准则决定融合的区域，根据频域准则决定需要融合的频率成分，再根据全局权重来决定对融合的权重分配；步骤4、按照凸组合模型，根据融合的区域、融合的频率成分、融合的权重分配对联合高分辨率HR图像Ijoint和核回归HR图像Ikernel进行融合得到重建的HR图像。

【技术特征摘要】
1.基于凸组合方式的多帧低分辨率图像超分辨率重建方法，其特征在于，包括以下步骤、步骤1、对输入的多帧LR图像序列实施联合运动估计与超分辨率重建的方法得到联合高分辨率HR图像Ijoint；步骤2、对输入的多帧LR图像序列实施基于改进核回归的重建方法得到核回归HR图像Ikernel；步骤3、根据空域融合准则决定融合的区域，根据频域准则决定需要融合的频率成分，再根据全局权重来决定对融合的权重分配；步骤4、按照凸组合模型，根据融合的区域、融合的频率成分、融合的权重分配对联合高分辨率HR图像Ijoint和核回归HR图像Ikernel进行融合得到重建的HR图像。2.根据权利要求1所述的基于凸组合方式的多帧低分辨率图像超分辨率重建方法，其特征在于，步骤1包括以下步骤，步骤1.1、根据图像的降质模型，利用多帧LR图像序列与超分辨率重建图像之间的运动关系与噪声，建立联合运动估计与数据融合的模型，交替迭代出融合图像；步骤1.2、利用超分辨率重建框架，代入融合图像，迭代出联合高分辨率HR图像Ijoint。3.根据权利要求1所述的基于凸组合方式的多帧低分辨率图像超分辨率重建方法，其特征在于，步骤2包括以下步骤，步骤2.1、输入多帧LR图像序列步骤2.2、采用3Dsobel算子计算出每个感兴趣像素点的梯度；步骤2.3、计算三维局部梯度结构张量S(P)，求得三维结构方向信息；步骤2.4、计算出修正核函数的邻域像素的几何距离函数值；步骤2.5、将步...

【专利技术属性】
技术研发人员：高建彬，唐欢，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51