一种基于分块模糊核集的非均匀视频盲去模糊方法技术

本发明专利技术涉及一种基于分块模糊核集的非均匀视频盲去模糊方法，属于视频处理技术领域；包括以下步骤：根据视频帧图像梯度大小检测模糊帧；使用清晰帧和模糊帧之间的特征匹配计算分块单应变换；通过分块单应变换的离散采样逼近模糊运动，并通过优化逼近误差计算模糊运动的速度参数；根据模糊运动速度获取各个分块对应的模糊核，并利用反卷积计算清晰的分块；将清晰的分块拼接得到清晰的帧图像，从而去除模糊帧。与已有方法相比，本发明专利技术方法采用多个模糊核描述视频帧的模糊运动，计算时不需设定初始值，增加了鲁棒性，对于非均匀的视频模糊处理更加高效；对视频中的清晰区域要求不高，增加了适用范围。

【技术实现步骤摘要】
一种基于分块模糊核集的非均匀视频盲去模糊方法
：本专利技术涉及一种视频盲去模糊方法，具体涉及一种基于分块模糊核集的非均匀视频盲去模糊方法，属于视频处理

技术介绍
：随着数码摄像机的普及，视频拍摄成为人们日常生活中重要的活动，在家庭娱乐、影视制作、生产安防等方面有着重要的应用。但是，由于视频拍摄时环境和使用人员的限制，拍摄的视频不可避免的存在画面模糊等问题，影响人眼的观看感受和后期的进一步处理。对于视频去模糊这一具有较高应用价值问题，国内外的学者已经做了大量的基础研究。常用的视频去模糊方法主要包括两类：基于模糊核优化求解的方法和基于图像合成的方法。基于模糊核优化求解的方法以D.Lee等人在IEEETransactionsonImageProcessing上的工作Videodeblurringalgorithmusingaccurateblurkernelestimationandresidualdeconvolutionbasedonablurred-unblurredframepair为代表，使用视频帧之间的运动获取模糊帧潜在的清晰图像，然后迭代优化求解模糊核。但是该方法使用单一的模糊核描述整个帧图像的模糊运动，对于具有较大景深的视频场景去模糊效果较差。基于图像合成的方法以S.Cho等人在ACMTransactionsonGraphics上的工作Videodeblurringforhand-heldcamerasusingpatch-basedsynthesis为代表，通过清晰帧上的清晰区域对模糊帧上的模糊区域进行合成。但是该方法对视频中的清晰区域的分布要求较高，即如果模糊帧上的相关区域没有对应的其他帧上的清晰区域，该方法将无法进行去模糊处理，从而影响最终的视频质量。
技术实现思路
：本专利技术的目的是针对视频序列中出现的模糊帧，为了使用户获得更清晰的视觉感受，提出了一种基于分块模糊核集的非均匀视频盲去模糊方法。本专利技术的思想是根据视频帧图像梯度大小检测视频序列中的模糊帧；使用清晰帧和模糊帧之间的特征匹配计算分块单应变换；通过分块单应变换的离散采样逼近模糊运动，并通过优化逼近误差计算模糊运动的速度参数；根据模糊运动速度获取各个分块对应的模糊核，并利用反卷积计算清晰的分块；通过将清晰的分块拼接得到清晰的帧图像，从而去除视频中的模糊。本专利技术的的目的是通过以下技术方案实现的：一种基于分块模糊核集的非均匀视频盲去模糊方法，包括以下步骤：步骤一、检测模糊帧对于视频的每一帧，检测该帧是否是模糊帧，若是，执行以下步骤；否则，继续检测，直到没有模糊帧；步骤二、视频帧网格化将视频帧划分为由若干矩形分块组成的网格，记录网格中每个矩形角点的坐标为其中，t表示视频帧索引数，i和j表示矩形角点的索引数，是第t帧视频中(i，j)角点，是第t帧图像中(i，j)角点的二维坐标,R表示实数集，将网格中每个矩形表示为步骤三、分别进行模糊帧前后两个清晰帧与模糊帧之间的特征点匹配对于每一个模糊帧，分别在模糊帧前面和后面寻找和模糊帧最近的清晰帧作为参考，命名为前清晰帧和后清晰帧，分别检测模糊帧图像和前后清晰帧图像上的特征点，并进行特征点匹配，得到彼此匹配的特征点对的集合{(pt1,ps1)}和{(ps2,pt2)}。其中pt1和pt2分别是前后清晰帧上的特征点，ps1和ps2分别是模糊帧上与pt1和pt2匹配的特征点；步骤四、分别计算前清晰帧到模糊帧和模糊帧到后清晰帧的对应分块的单应变换对于每个分块，根据前清晰帧和模糊帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换Hi,j,t'：根据模糊帧和后清晰帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换Hi,j,t”:其中，t’表示和第t帧最近的前清晰帧的索引，Hi,j,t'是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示前清晰帧左上角角点索引为(i,j)的分块到模糊帧对应分块的单应变换，t”表示和第t帧最近的后清晰帧的索引，Hi,j,t”是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示模糊帧左上角角点索引为(i,j)的分块到后清晰帧对应分块的单应变换，pt1，ps1，pt2，ps2是三维列向量，前二维分别是特征点的X和Y坐标，第三维设为1，双竖线符号表示二范数；步骤五、计算模糊帧对应的模糊运动的速度步骤5.1首先确定前后清晰帧中谁最靠近模糊帧，若是前清晰帧，则通过Hi,j,t'对前清晰帧的每个分块进行图像变换和拼接得到图像L，若是后清晰帧，则通过对后清晰帧的每个分块进行图像变换和拼接得到图像L，然后对图像L网格化得到所有分块步骤5.2利用前清晰帧到模糊帧和模糊帧到后清晰帧的单应变换作为参考，通过优化以下能量函数计算模糊运动的速度参数其中是模糊帧上的一个分块，是通过步骤5.1得到的与该模糊帧上的分块对应的清晰分块，表示用单应变换对进行图像变换，表示用单应变换对进行图像变换,λ是预先设定的权值，a是一个大小为2T-2的向量，其中第k个分量为中第k+1个分量与第k个分量的差；是分别对单应变换Hi,j,t'的逆和Hi,j,t”进行T-1次离散采样得到的变换，即其中T是预设的参数，l是离散采样的索引数，I是3阶单位矩阵；步骤六、计算分块的模糊核图像根据预设的模糊核图像的大小，将中心位置是白色像素的核图像按照计算得到的运动速度和离散采样的变换进行图像变换，得到中心白色像素的运动轨迹，并且将轨迹上的像素灰度设为相应的中的值，从而得到每一个分块的模糊核图像步骤七、反卷积计算清晰帧对于每一个分块，利用反卷积的方法计算下面公式中对应的清晰分块其中是卷积符号。在得到每个分块对应的清晰图像后，将清晰的分块拼接，最终生成模糊帧对应的清晰帧。有益效果：对比传统视频去模糊方法，本专利技术方法具有以下优势：(1)传统的基于模糊核的视频去模糊方法采用单一核函数进行反卷积求解，无法有效处理非均匀的视频模糊，而且依赖于初始模糊核的估计，算法鲁棒性较差。本方法采用多个模糊核描述视频模糊运动，能够有效处理非均匀的视频模糊，而且计算时不需要设定模糊核的初始值，增加了鲁棒性。(2)传统的基于图像合成的视频去模糊方法对视频中出现的清晰区域要求比较高，限制了能够进行去模糊的视频的范围。本方法不需要对模糊帧上每个模糊区域都有对应的清晰区域，因此适用的范围更加广泛。综上所述，本专利技术方法可以更加高效地处理视频序列中的模糊帧，得到清晰的视频帧图像。附图说明：图1是本专利技术实施例一种基于分块模糊核集的非均匀视频盲去模糊方法流程示意图。图2是本专利技术方法与其他方法是对人工模糊图像的去模糊实验结果对比图。图3是本专利技术方法与其他方法对自然的均匀运动模糊图像的去模糊实验结果对比图。图4是本专利技术方法与其他方法对自然的非均匀运动模糊图像的去模糊实验结果对比图。具体实施方式下面将结合附图和实施例对本专利技术加以详细说明，同时也叙述了本专利技术技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。实施例一种基于分块模糊核集的非均匀视频盲去模糊方法，具体实现步骤如下：步骤一、检测模糊帧模糊帧检测方法有很多，例如Niranjan等人提出的基于累计概率的非参考图像模糊检测方法(N本文档来自技高网...

【技术保护点】
一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于，该方法包括如下步骤：步骤一、检测模糊帧对于视频的每一帧，检测该帧是否是模糊帧，若是，执行以下步骤；否则，继续检测，直到没有模糊帧；步骤二、视频帧网格化将视频帧划分为由若干矩形分块组成的网格，记录网格中每个矩形角点的坐标为{Xi,jt=(xi,jt,yi,jt)∈R2},]]>其中，t表示视频帧索引数，i和j表示矩形角点的索引数，是第t帧视频中(i，j)角点，是第t帧图像中(i，j)角点的二维坐标,R表示实数集，将网格中每个矩形表示为Qi,jt={Xi,jt,Xi+1,jt,Xi+1,j+1t,Xi,j+1t};]]>步骤三、分别计算前后两个清晰帧与模糊帧之间的特征点匹配对于每一个模糊帧，分别在模糊帧前面和后面寻找和模糊帧最近的清晰帧作为参考，命名为前清晰帧和后清晰帧，分别检测模糊帧图像和前、后清晰帧图像上的特征点，并进行特征点匹配，得到彼此匹配的特征点对的集合{(pt1,ps1)}和{(ps2,pt2)}；其中pt1和pt2分别是前、后清晰帧上的特征点，ps1和ps2分别是模糊帧上与pt1和pt2匹配的特征点；步骤四、分别计算前清晰帧到模糊帧和模糊帧到后清晰帧的对应分块的单应变换对于每个分块，根据前清晰帧和模糊帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换Hi，j，t‑1：E(Hi,j,t-1)=Σpt1∈Qi,jt-1||ps1-Hi,j,t-1·pt1||2;]]>根据模糊帧和后清晰帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换Hi，j，t:E(Hi,j,t)=Σps2∈Qi,jt||pt2-Hi,j,t·ps2||2;]]>其中，t‑1表示前清晰帧到模糊帧的单应变换，Hi，j，t‑1是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示前清晰帧左上角角点索引为(i,j)的分块到模糊帧对应分块的单应变换，t表示模糊帧到后清晰帧的单应变换，Hi，j，t是包含6个未知数，最后一行是(0,0,1)的三阶矩阵，表示模糊帧左上角角点索引为(i,j)的分块到后清晰帧对应分块的单应变换，pt1，ps1，pt2，ps2是三维列向量，前二维分别是特征点的X和Y坐标，第三维设为1，双竖线符号表示二范数；步骤五、计算模糊帧对应的模糊运动的速度5.1首先确定前后清晰帧中谁最靠近模糊帧，若是前清晰帧，则通过Hi，j，t‑1对前清晰帧的每个分块进行图像变换和拼接得到图像L，若是后清晰帧，则通过对后清晰帧的每个分块进行图像变换和拼接得到图像L，然后对图像L网格化得到所有分块5.2利用前清晰帧到模糊帧和模糊帧到后清晰帧的单应变换作为参考，通过优化以下能量函数计算模糊运动的速度参数wi,jt={wi,j,t-11,wi,j,t-12,...,wi,j,t-1T-1,wi,j0,wi,j,t1,wi,j,t2,...,wi,j,tT-1}:]]>E(wi,jt)=||wi,j0Li,jt+Σl=1T-1(wi,j,t-1lHi,j,t-1l(Li,jt)+wi,j,tlHi,j,tl(Li,jt))-bi,jt||2+λ||a||2;]]>其中是模糊帧上的一个分块，是通过步骤5.1得到的与该分块对应的清晰分块，表示用单应变换对进行图像变换，同理表示用单应变换对进行图像变换,λ是预先设定的权值，a是一个大小为2T‑2的向量，其中第k个分量为中第k+1个分量与第k个分量的差；是分别对单应变换Hi，j，t‑1的逆和Hi，j，t进行T‑1次离散采样得到的变换，即Hi,j,t-1l=T-lTI+lTHi,j,t-1-1,]]>；Hi,j,tl=T-lTI+lTHi,j,t]]>其中T是预设的参数，l是离散采样的索引数，I是3阶单位矩阵；步骤六、计算分块的模糊核图像根据预设的模糊核图像的大小，将中心位置是白色像素的核图像按照计算得到的运动速度和离散采样的变换进行图像变换，得到中心白色像素的运动轨迹，并且将轨迹上的像素灰度设为相应的中的值，从而得到每一个分块的模糊核图像步骤七、反卷积计算清晰帧对于每一个分块，利用反卷积的方法计算下面公式中对应的清晰分块bi,jt=Li,jt⊗Ki,jt;]]>其中是卷积符号；在得到每个分块对应的清晰图像后，将清晰的分块拼接，最终生成模糊帧对应的清晰帧。...

【技术特征摘要】
1.一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于，该方法包括如下步骤：步骤一、检测模糊帧对于视频的每一帧，检测该帧是否是模糊帧，若是，执行以下步骤；否则，继续检测，直到没有模糊帧；步骤二、视频帧网格化将视频帧划分为由若干矩形分块组成的网格，记录网格中每个矩形角点的坐标为其中，t表示视频帧索引数，i和j表示矩形角点的索引数，是第t帧视频中(i，j)角点，是第t帧图像中(i，j)角点的二维坐标，R表示实数集，将网格中每个矩形表示为步骤三、分别进行模糊帧前后两个清晰帧与模糊帧之间的特征点匹配对于每一个模糊帧，分别在模糊帧前面和后面寻找和模糊帧最近的清晰帧作为参考，命名为前清晰帧和后清晰帧，分别检测模糊帧图像和前、后清晰帧图像上的特征点，并进行特征点匹配，得到彼此匹配的特征点对的集合{(pt1，ps1)}和{(ps2，pt2)}；其中pt1和pt2分别是前、后清晰帧上的特征点，ps1和ps2分别是模糊帧上与pt1和pt2匹配的特征点；步骤四、分别计算前清晰帧到模糊帧和模糊帧到后清晰帧的对应分块的单应变换对于每个分块，根据前清晰帧和模糊帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换Hi，j，t′：根据模糊帧和后清晰帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换Hi，j，t″：其中，t’表示和第t帧最近的前清晰帧的索引，Hi，j，t′是包含6个未知数，最后一行是(0，0，1)的三阶矩阵，表示前清晰帧左上角角点索引为(i，j)的分块到模糊帧对应分块的单应变换，t”表示和第t帧最近的后清晰帧的索引，Hi，j，t″是包含6个未知数，最后一行是(0，0，1)的三阶矩阵，表示模糊帧左上角角点索引为(i，j)的分块到后清晰帧对应分块的单应变换，pt1，ps1，pt2，ps2是三维列向量，前二维分别是特征点的X和Y坐标，第三维设为1，双竖线符号表示二范数；步骤五、计算模糊帧对应的模糊运动的速度步骤5.1首先确定前后清晰帧中谁最靠近模糊帧，若是前清晰帧，则通过Hi，j，t′对前清晰帧的每个分块进行图像变换和拼接得到图像L，若是后清晰帧，则通过对后清晰帧的每个分块进行图像变换和拼接得到图像L，然后对图像L网格化得到所有分块步骤5.2利用前清晰帧到模糊帧和模糊帧到后清晰帧的单应变换作为参考，通过优化以下...

【专利技术属性】
技术研发人员：张磊，周乐，陈晓权，黄华，
申请(专利权)人：北京理工大学，北京理工大学深圳研究院，
类型：发明
国别省市：北京;11