基于凸优化理论的视频联合去噪及超分辨率方法和系统技术方案

本发明专利技术提出一种基于凸优化理论的视频联合去噪及超分辨率方法，包括以下步骤：根据稀疏编码理论，基于图像块，从多个清晰图像中学习，得到一组过完备低分辨率基和过完备高分辨率基；分别建立关于噪声、重建系数矩阵和原始信号的约束式；根据约束式建立目标函数；利用增广拉格朗日优化方法对目标函数求解，得到原始信号和重建系数矩阵；利用重建系数矩阵和过完备高分辨率基进行超分辨率操作，得到去噪后的清晰高分辨率视频。本发明专利技术可以有效对进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强，视频优化效果明显。本发明专利技术还公开了一种基于凸优化理论的视频联合去噪及超分辨率系统。

【技术实现步骤摘要】
基于凸优化理论的视频联合去噪及超分辨率方法和系统
本专利技术涉及计算摄像学领域，特别涉及一种基于凸优化理论的视频联合去噪及超分辨率方法和系统。
技术介绍
近年来，信号相关噪声的去噪及图像超分辨率一直都是计算摄像学和计算机视觉中的研究热点。传统去噪方面的研究主要集中于与信号无关的噪声去噪，但是这与实际的拍摄系统不相符。AlessandroFoi等人的研究表明，原始信号与CCD拍摄噪声均值之间存在平方关系。现在信号相关的去噪越来越成为计算机视觉与计算摄像学中的研究热点。下面列举一些主流的与信号相关的去噪方法：（一）、Danielyan与G.Boracchi等人提出的将原始图像中的像素块通过信号变换转换至频域进行去噪处理。（二）、LiZhang与SundeepVaddadi等人提出的运用主成分分析与张量分析的方法实现多张噪声图像的去噪。（三）、KeigoHirakawa与ThomasW.Parks等人将原始信号看作一系列噪声像素块的组合，提出一种概率型的去噪方法。图像超分辨率方面已经有许多较为成熟的方法，总的来说可以概括为基于空域内插、基于频域处理、基于正则化和基于学习基四大类。与其余三类方法比较，基于学习基的方法在输入图像和优化模型方面具有较少的约束限制。最近的研究结果表明，自然图像像素块可以用一组过完备基和稀疏线性矩阵重建表示，因此基于学习基的方法需要学习一组低分辨率的过完备基和对应的一组高分辨过完备基用于超分辨率。由于需要较少的约束条件，目前此方法吸引了越来越多研究者的兴趣。EmmanuelCandes、JianchaoYang和JinjunWang等人已成功验证了此方法的可实施性。在高速摄像与高帧率视频中，高噪声与低分辨率一直是两个最需解决的问题。如何同时解决这两个问题十分关键。在噪声为高斯分布假设下，YiXu与M.B.Chappalli等人首先将信号转换到频域，并利用频域方法完成了图像去噪与超分辨率。Dekeyser等人利用空域方法同时对图像进行了去噪与超分辨率。但是，目前还没有人提出一种有效的方法，可以对含有信号相关噪声的图像与视频同时进行去噪与超分辨率。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术的一个目的在于提出一种基于凸优化理论的视频联合去噪及超分辨率方法，可以有效对进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强，视频优化效果明显。本专利技术的第二个目的在于提出一种基于凸优化理论的视频联合去噪及超分辨率系统。为达到上述目的，本专利技术第一方面的实施例提出了一种基于凸优化理论的视频联合去噪及超分辨率方法，包括以下步骤：根据稀疏编码理论，基于图像块，从多个清晰图像中学习，得到一组过完备低分辨率基和过完备高分辨率基；分别建立关于噪声、重建系数矩阵和原始信号的约束式；根据所述约束式建立目标函数；利用增广拉格朗日优化方法对所述目标函数求解，得到所述原始信号和所述重建系数矩阵；利用所述重建系数矩阵和所述过完备高分辨率基进行超分辨率操作，得到去噪后的清晰高分辨率视频。根据本专利技术实施例的基于凸优化理论的视频联合去噪及超分辨率方法可以有效对高帧率视频同时进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强，对自然场景下的高帧率视频都适用，在优化过程中同时做到信号相关去噪与超分辨率，减少了偏差迭代的可能性，视频优化效果明显好于其他方法，本方法以稀疏编码理论、凸优化理论为支撑，从软件方面较好地解决高速相机拍摄视频噪声高、带宽小的问题。在本专利技术的一个实施例中，所述得到一组所述过完备低分辨率基和所述过完备高分辨率基进一步包括：从多个所述清晰图像中选出多个像素块，采用sparsecoding在多个所述像素块中学习，得到所述过完备低分辨率基和所述过完备高分辨率基，其中，多个所述清晰图像包括多个高分辨率图像和对应的低分辨率图像。在本专利技术的一个实施例中，根据所述过完备高分辨率基和所述过完备低分辨率基，利用所述重建系数矩阵重建得到对应的所述低分辨率图像和所述高分辨率图像。在本专利技术的一个实施例中，所述过完备低分辨率基和所述过完备高分辨率基在统计意义下对自然场景普适。在本专利技术的一个实施例中，所述根据所述约束式建立所述目标函数进一步包括：对所述原始信号利用光流算法通过相对位移进行光流对齐，得到拍摄数据。在本专利技术的一个实施例中，所述约束式包括：所述拍摄数据由原始信号和拍摄噪声组成。在本专利技术的一个实施例中，所述约束式包括：所述摄噪声在以所述原始信号为均值的3δ范围内。在本专利技术的一个实施例中，所述约束式包括：所述原始信号可用所述过完备低分辨率基重建表示。在本专利技术的一个实施例中，所述约束式包括：如果两个所述像素块有重叠，则所述像素块重叠部分相同。在本专利技术的一个实施例中，所述得到所述原始信号和所述重建系数矩阵进一步包括：利用所述增广拉格朗日优化方法，将所述目标函数分解为所述原始信号的迭代优化和所述重建系数的迭代优化，并改变相应的参数。在本专利技术的一个实施例中，所述增广拉格朗日优化方法包括将所述约束条件进行增广拉格朗日展开，得到可解目标函数，并采用凸优化理论进行迭代求解。在本专利技术的一个实施例中，所述超分辨率操作进一步包括：将得到的所述重建系数矩阵与所述过完备高分辨率基相乘，得到对应的所述超分辨率图像与视频。在本专利技术的一个实施例中，根据所述相对位移对所述超分辨率图像与视频实施反光流算法，得到去噪后的所述清晰高分辨率视频。本专利技术第二方面的实施例提出了一种基于凸优化理论的视频联合去噪及超分辨率系统，包括过完备基学习模块、约束式模块、目标函数模块、求解模块、结果生成模块和重建模块。其中，过完备基学习模块用于根据稀疏编码理论，基于图像块，从多个清晰图像中学习，得到一组过完备低分辨率基和过完备高分辨率基；约束式模块用于分别建立关于噪声、重建系数矩阵和原始信号的约束式；目标函数模块用于根据所述约束式建立目标函数；求解模块用于利用增广拉格朗日优化方法对所述目标函数求解，得到所述原始信号和所述重建系数矩阵；结果生成模块用于利用所述重建系数矩阵和所述过完备高分辨率基进行超分辨率操作，得到去噪后的清晰高分辨率视频。根据本专利技术实施例的基于凸优化理论的视频联合去噪及超分辨率系统可以有效对高帧率视频同时进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强，对自然场景下的高帧率视频都适用，在优化过程中同时做到信号相关去噪与超分辨率，减少了偏差迭代的可能性，视频优化效果明显好于其他系统，本系统以稀疏编码理论、凸优化理论为支撑，从软件方面较好地解决高速相机拍摄视频噪声高、带宽小的问题。在本专利技术的一个实施例中，过完备基学习模块还用于从多个所述清晰图像中选出多个像素块，采用sparsecoding在多个所述像素块中学习，得到所述过完备低分辨率基和所述过完备高分辨率基，其中，多个所述清晰图像包括多个高分辨率图像和对应的低分辨率图像。在本专利技术的一个实施例中，还包括重建模块，用于根据所述过完备高分辨率基和所述过完备低分辨率基，利用所述重建系数矩阵重建得到对应的所述低分辨率图像和所述高分辨率图像。在本专利技术的一个实施例中，所述过完备低分辨率基和所述过完备高分辨率基在统计意义下对自然场景普适。在本专利技术的一个本文档来自技高网...

【技术保护点】
一种基于凸优化理论的视频联合去噪及超分辨率方法，其特征在于，包括以下步骤：根据稀疏编码理论，基于图像块，从多个清晰图像中学习，得到一组过完备低分辨率基和过完备高分辨率基；分别建立关于噪声、重建系数矩阵和原始信号的约束式；根据所述约束式建立目标函数；利用增广拉格朗日优化方法对所述目标函数求解，得到所述原始信号和所述重建系数矩阵；以及利用所述重建系数矩阵和所述过完备高分辨率基进行超分辨率操作，得到去噪后的清晰高分辨率视频。

【技术特征摘要】
1.一种基于凸优化理论的视频联合去噪及超分辨率方法，其特征在于，包括以下步骤：根据稀疏编码理论，基于图像块，从多个清晰图像中学习，得到一组过完备低分辨率基和过完备高分辨率基；分别建立关于噪声、重建系数矩阵和原始信号的约束式；根据所述约束式建立目标函数；利用增广拉格朗日优化方法对所述目标函数求解，得到所述原始信号和所述重建系数矩阵；以及利用所述重建系数矩阵和所述过完备高分辨率基进行超分辨率操作，得到去噪后的清晰高分辨率视频，所述根据所述约束式建立所述目标函数进一步包括：对所述原始信号利用光流算法通过相对位移进行光流对齐，得到对齐拍摄数据表示为D,并根据原始信号L、拍摄噪声N、过完备高分辨率基BH、过完备低分辨率基BL、重建系数矩阵A建立如下优化模型：min||L||*+λ||A||1其中C为常数矩阵，α、β均为常数；D＝L+N表示拍摄得到的数据由原始信号L与拍摄噪声N构成；L＝BLA表示原始信号L可以用低分辨率的过完备基BH重建；IL＝C表示相邻像素块的重叠部分是相同的，此限制条件是为了消除重建结果中的块效应,N2≤αL+β表明拍摄噪声N与原始信号L间的非线性关系，所述得到所述原始信号和所述重建系数矩阵进一步包括：利用所述增广拉格朗日优化方法，将所述目标函数分解为所述原始信号的迭代优化和所述重建系数的迭代优化，并改变相应的参数，其中，将所述优化模型转化为增广拉格朗日函数：在每次迭代过程中重要参数的更新规则如下：(一)、更新L：其中UL_tempVT是的SVD分解形式，x表示上次迭代得到的L；(二)、更新A：其中x表示上次迭代得到的A；(三)、更新N：N为2N.^3+(1-2(kL+con-ε.^2-μ-1λ2)).*N-(D-L+μ-1Y1)＝0三次方程的正数解；(四)、更新参数ε：ε方程ε.^3＝(αL+β-N2-μ-1λ2).*ε的正数解，所述超分辨率操作进一步包括：按照上述迭代更新规则进行优化模型求解，得到优化后的重建系数矩阵A，利用A与过完备高分辨率基BH相乘得到对其的高分辨率视频帧，利用之前光流得到的相对位移对这些对齐视频帧做反光流算法，得到最终去噪后的清晰高分辨率视频。2.如权利要求1所述的方法，其特征在于，所述得到一组所述过完备低分辨率基和所述过完备高分辨率基进一步包括：从多个所述清晰图像中选出多个像素块，采用sparsecoding在多个所述像素块中学习，得到所述过完备低分辨率基和所述过完备高分辨率基，其中，多个所述清晰图像包括多个高分辨率图像和对应的低分辨率图像。3.如权利要求1所述的方法，其特征在于，根据所述过完备高分辨率基和所述过完备低分辨率基，利用所述重建系数矩阵重建得到对应的所述低分辨率图像和所述高分辨率图像。4.如权利要求1所述的方法，其特征在于，所述过完备低分辨率基和所述过完备高分辨率基在统计意义下对自然场景普适。5.如权利要求1所述的方法，其特征在于，所述约束式包括：所述对齐拍摄数据由原始信号和拍摄噪声组成。6.如权利要求5所述的方法，其特征在于，所述约束式包括：所述摄噪声在以所述原始信号为均值的3δ范围内。7.如权利要求1所述的方法，其特征在于，所述约束式包括：所述原始信号可用所述过完备低分辨率基重建表示。8.如权利要求2所述的方法，其特征在于，所述约束式包括：如果两个所述像素块有重叠，则所述像素块重叠部分相同。9.如权利要求1所述的方法，其特征在于，所述增广拉格朗日优化方法包括将约束条件进行增广拉格朗日展开，得到可解目标函数，并采用凸优化理论进行迭代求解。10.如权利要求1所述的方法，其特征在于，根据相对位移对所述超分辨率图像与视频实施反光流算法，得到去噪后的所述清晰高分辨率视频。11.一种基于凸优化理论...

【专利技术属性】
技术研发人员：索津莉，边丽蘅，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：