一种基于全局优化的视频稳定方法技术

本发明专利技术涉及一种基于全局优化的视频稳定方法，包括以下步骤：根据人的视觉主观感受规律推导出稳定视频应具备的空间、时间和保形约束性；使用光流法获得视频中的特征点运动轨迹；根据以上约束限制和特征点运动轨迹建立稀疏线性方程组，并求解得到稳定的视频各帧网格点；根据每一视频帧稳定前后网格点的位置对图像进行扭曲获得稳定的视频图像。与已有的方法相比，该方法将运动建模和运动补偿整合到一个优化过程中，提高了计算效率，节省了计算时间。

【技术实现步骤摘要】

本专利技术涉及一种视频稳定方法，特别涉及一种基于全局优化的视频稳定方法，属于视频处理领域。
技术介绍
随着视频采集设备的廉价化，越来越多的视频采集设备应用于我们生活，涉及娱乐、安全、生产等各个方面。但是，由于使用环境和使用人员的限制，如大风对于监控摄像头的影响、业余爱好者没有三脚架、云台等专业的摄像稳定设备的情况，往往导致我们采集到的视频数据带有一定的抖动或者晃动，影响人眼的观看感受和后期的进一步处理。对于视频稳定这一具有较高应用价值问题，国内外的学者已经做了大量的基础研究。常用的视频稳定方法主要包括三种：基于2D的方法、基于3D的方法和基于2.5D的方法。基于2D以基于L1优化的视频稳定(M.Grundmann,V.Kwatra and I.Eassa.Auto-directed video stabilization with robust L1optimal camera paths.In Proc.CVPR,225–232，2011)为代表，使用矩阵描述摄像机的运动轨迹，并对运动矩阵进行平滑，获得稳定的视频数据；但是该方法无法准确地描述带有大视差的场景，对于具有较大景深的场景其稳定后的视频往往带有显著的扭曲。基于3D的方法以基于内容保护图像扭曲的3D视频稳定(F.Liu,M.Gleicher,H.L.Jin,and A.Agarwala,Content-preserving warps for3D video stabilization.ACM Transactions on Graphics28(3):44:1–44:9,2009)为代表，主要依赖于SfM方法进行3D场景重建，根据重建出来的场景来获得稳定后的视频。但是由于SfM方法目前还不成熟，对于复杂的场景无法进行正确的重建，因此该方法存在着一定的局限性，限制了其实际应用。基于2.5D的方法以子空间稳定(F.Liu,M.G leicher,J.Wang,H.L.Jin and A.Aharwala.Subspace video stabilization.ACM Transactions on Graphics30(1):4:1–4:10,2011)为代表,使用特征点轨迹描述摄像机运动，对于轨迹求取其子空间，在子空间上对轨迹进行平滑，进而恢复得到全部的稳定视频轨迹。但是本方法的子空间求取依赖于足够数目的较长特征点轨迹，对于没有长轨迹的视频则无法进行处理。
技术实现思路
本专利技术的目的是针对带有抖动或者晃动的视频数据，提出一种视频稳定方法，使用户获得较舒适的观看感受。本专利技术技术方案的思想是首先根据人的视觉主观感受规律推导出稳定视频应具备的空间、时间和保形约束性；使用光流法获得视频中的特征点运动轨迹；根据以上约束限制和特征点运动轨迹建立稀疏线性方程组，并求解得到稳定的视频各帧网格点；根据每一视频帧稳定前后网格点的位置对图像进行扭曲获得稳定的视频图像。本专利技术的具体实现步骤如下：一种基于全局优化的视频稳定方法，该方法包括以下步骤：步骤一、计算特征点轨迹在视频帧中提取特征点，使用光流法计算下一帧中特征点的位置，进而得到整个视频中所有特征点的运动轨迹；步骤二、视频帧网格化将视频帧划分为若干正方形区域，并获得网格角点的坐标，其形式化表示为：{Xi,jt=(xi,jt,yi,jt)∈R2本文档来自技高网...

【技术保护点】
一种基于全局优化的视频稳定方法，其特征在于，包括以下步骤：步骤一、计算特征点轨迹在视频帧中提取特征点，使用光流法计算下一帧中特征点的位置，进而得到整个视频中所有特征点的运动轨迹；步骤二、视频帧网格化将视频帧划分为若干正方形区域，并获得网格角点的坐标，其形式化表示为：{Xi,jt=(xi,jt,yi,jt)∈R2},]]>将稳定后的网格角点形式化表示为：{Vi,jt=(ui,jt,ui,jt)∈R2}]]>对于某一网格，其形式化表示为：Qi,jt={Vi,jt,Vi+1,jt,Vi,j+1t,Vi+1,j+1t}]]>其中，t表示视频帧索引数，u代表扭曲后网格的角点x轴坐标，v代表扭曲后网格的角点y轴坐标；步骤三、计算能量函数中的保形项Esp为了获得与原视频帧尽可能相近的稳定图像，因此在原视频帧网格区域和稳定后的视频帧网格区域之间应保持一个相似变换，从数学的角度看，这种相似扭曲应满足柯西黎曼等式，因此，保形项应定义为：Esp(Vi,jt)=ΣtΣi,j(||(ui+1,jt-ui,jt)+(ui,j+1t-ui,jt)||)2+ΣtΣi,j(||(ui+1,jt-ui,jt)-(ui,j+1t-ui,jt)||)2]]>步骤四、计算能量函数中的空域约束项Esc为了获得较佳的视频观看感受，不仅要保持每个网格的形状，还要保持相邻网格之间变换的相似度，避免网格之间出现显著的扭曲，因此将该条件形式化表示为：Esc(Vi,jt)=ΣtΣi,j||Vi,j+1t-2Vi,jt+Vi,j-1t||2+ΣtΣi,j||Vi+1,jt-2Vi,jt+Vi-1,jt||2+ΣtΣi,j||Vi+1,j+1t-Vi+1,jt-Vi,j+1t+Vi,jt||2]]>步骤五、计算能量函数中的扭曲约束项Ewf为了保证尽量大的图像剪切率，保证保留更多的视觉信息，因此要保证扭曲后的网格点位置尽量与稳定前相近，因此，该条件形式化表示为：Ewf(Vi,jt)=ΣtΣi,j||Vi,jt-Xi,jt||2]]>步骤六、计算能量函数中的时域平滑项Ets为了获得稳定的摄像机运动轨迹，因此要对带有晃动和抖动的视频轨迹进行平滑，使用普雷斯科特(Hodrick?Prescott)滤波对轨迹进行平滑处理，为了将特征点轨迹与网格稳定联系起来，使用每个特征点所在网格的四个角点通过均值坐标方法表示该特征点，因此将上述过程形式化表示为：Ets(Vi,jt)=ΣtΣi,j{||CVi,jt+1-CVi,jt||2+||CVi,jt-1-2CVi,jt+CVi,jt+1||2+||CVi,jt+2-3CVi,jt+1+3CVi,jt-CVi,jt-1||2}]]>其中:CVi,jt=Ci,jtVi,jt+Ci+1,jtVi+1,jt+Ci+1,j+1tVi+1,j+1t+Ci+1,j+1tVi+1,j+1t]]>C表示根据均值坐标计算出的各个角点的权重值；Ci,jt=2tan(αi,j/2)+tan(βi,j/2)ri,j,]]>ri,j=|Pht-Vi,jt|,]]>Pht表示第t帧中第h个特征点，其位于由{Vti,j,Vti+1,j,Vti,j+1,Vti+1,j+1}组成的网格中，αi,j,βi,j分别表示线段PthVti,j与线段PthVti,j+1、PthVti+1,j之间的夹角；步骤七、能量函数优化求解将上述约束条件分别赋予权重，建立用于求解稳定后网格角点位置的能量函数,形式化表示为：E(Vi,jt)=ω1·Esp+ω2·Ets+ω3·Esc+ω4·Ewf]]>使用求解稀疏线性方程组的方法求解该能量函数最小化问题，得到稳定后的网格点所在位置Vti,j；其中，权重w2=10，w3=2；对于权重w1，不同的网格应采用不同的权重，形式化表示为：ω1(Qi,j)=1,:N(Qi,j)>010,:N(Qi,j)=0]]>其中N(Qi,j)表示该网格中的轨迹点数目；对于权重w4，不同的网格应采用不同的权重，对于位于视频帧边界的角点，其权重w4=2，对于其他角点，其w4=1；步骤八、图像扭曲根据稳定前的网格点Xti,j和稳定后的网格点Vti,j建立单应性变换矩阵，根据矩阵获得稳定后的视频帧数据。...

【技术特征摘要】
1.一种基于全局优化的视频稳定方法，其特征在于，包括以下步骤：
步骤一、计算特征点轨迹
在视频帧中提取特征点，使用光流法计算下一帧中特征点的位置，进而得到
整个视频中所有特...

【专利技术属性】
技术研发人员：张磊，徐千昆，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：