本发明专利技术涉及一种视频矫正方法，特别涉及一种基于图像变形的视频矩形化矫正方法，属于视频处理领域。本发明专利技术首先对所有视频帧进行局部变形；在变形后矩形视频帧上设置网格，再依据坐标映射关系，将网格放置在原不规则视频帧上，对所有帧网格对应坐标取均值，即初始网格；对初始网格做时域空域约束建立稀疏线性方程组，并求解得到校正后的视频各帧网格点；根据每一视频帧矫正前后网格进行双线性插值得到矫正后的视频帧。该方法在已有图像矫正方法的基础上，增加时域约束条件，实现了视频的矩形化矫正。
【技术实现步骤摘要】
本专利技术设及一种视频矫正方法，特别设及一种基于图像变形的视频矩形化矫正方 法，属于视频处理领域。
技术介绍
随着互联网技术的发展和数码摄像设备的大范围使用，视频数据的采集非常容 易，广泛存在于生活中的各个方面。随着图像和视频拼接技术的发展，人们越来越不满足于 普通摄像机得到的有限视角的视频，期望获得更宽视角的视频W获得更好的视觉效果。然 后由于采集的视频数据的视角差异或者普通数码摄像机的随意移动，都会造成拼接后视频 的边界不规则。[000引本方法所用已有技术包括seamcarving的图像缩放技术(Avidan,S.,Shamir,A. 2007.Seamcarvingforcontent-awareimageresizing.In SIGGRAPH2007.)在本方法中利用seamcarving技术填充的所有不规则视频帖得到初步 的矩形视频帖，进行网格的设置，再进行后续操作。再者是已有的不规则全景图像矫正技术化e，K.，化ang，比，Sun,J. 2013. RectanglingPanoramicImagesviaWa巧ing.InSIGGRAPH2013),本方法是对该方法的 一个扩展，增加了时域上的连续性约束，得到视觉上合理的矩形规则视频。
技术实现思路
本专利技术的目的是针对拼接后不规则的视频数据，提出的一种视频矫正方法，使用 户获得较舒适的观看感受。 本专利技术技术方案的思想是首先对所有视频帖进行局部变形；在变形后矩形视频帖 上设置网格，再依据坐标映射关系，将网格放置在原不规则视频帖上，对所有帖网格对应坐 标取均值，即初始网格；对初始网格做时域空域约束建立稀疏线性方程组，并求解得到校正 后的视频各帖网格点；根据每一视频帖矫正前后网格进行双线性插值得到矫正后的视频 帖。该方法在已有图像矫正方法的基础上，增加时域约束条件，实现了视频的矩形化矫正。 本专利技术的目的是通过下述技术方案实现的。[000引，包括W下步骤： 步骤一、对视频每一帖进行局部变形 对于视频中不规则边界的每一帖，利用seamcarving算法，通过不断插入长短不 一的seam的方式，填充缺失像素，得到规则矩形边界的视频帖，插入的同时记录插入后每 个像素点所在原图的位置坐标； 步骤二、设置网格，并将网格变形回原图 对步骤一中得到的每一规则视频帖，将其均匀划分为若干矩形区域，并获得网格 角点的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标， 即可将每帖网格变形回原图； 步骤S、网格归一化 对得到的所有覆盖视频帖不规则有效区域的网格，对应位置坐标取均值，得到归 一化网格，即是每帖初始网格； 步骤四、计算能量函数中的保形项氏 为了获得与原视频帖尽可能相近的图像，尽可能减少其形状失真，因此在原视频 帖网格和矫正后的视频帖对应网格之间应保持一个相似变换，保形能量函数定义为：【主权项】1. ，其特征在于，包括以下步骤： 步骤一、对视频每一帧进行局部变形 对于视频中不规则边界的每一帧，利用seamcarving算法，通过不断插入长短不一的seam的方式，填充缺失像素，得到规则矩形边界的视频帧，插入的同时记录插入后每个像素 点所在原图的位置坐标； 步骤二、设置网格，并将网格变形回原图 对步骤一中得到的每一规则视频帧，将其均匀划分为若干矩形区域，并获得网格角点 的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标，即可 将每帧网格变形回原图； 步骤三、网格归一化 对得到的所有覆盖视频帧不规则有效区域的网格，对应位置坐标取均值，得到归一化 网格，即是每帧初始网格； 步骤四、计算能量函数中的保形项Es 为了获得与原视频帧尽可能相近的图像，尽可能减少其形状失真，因此在原视频帧网 格和矫正后的视频帧对应网格之间应保持一个相似变换，保形能量函数定义为：其中上标t为视频帧索引，下标q是每帧网格的方格索引，N是网格的方格数，Aq为8*4 的矩阵，Vq为8*1的矩阵，（X0, …，（?J3)为网格变形前一个方格四个顶点对应四对 坐标，而（X。，yQ)，…，（x3,y3)为相应的变形后对应四对坐标； 步骤五、计算能量函数中的直线保持项E1 首先对视频中每帧进行预处理，过程为先对每帧进行直线检测，并对检测得到的所有 直线依据网格对其进行分割，使得每个子线段只在一个方格中，然后对所有线段按其倾斜 角分为m组，使得同组的线段倾斜角基本相同；预处理后为减少直线的失真，保持视频矫正 前后直线的平行性和共线性，使得倾斜角相似（同组）的线段矫正过程中旋转角尽可能一 致，其能量函数定义为：其中，R是旋转矩阵，{0:}是m组线段的旋转角集合，民是方格中线段对应向量，表示 变形前线段，是'的线性函数，而e表示变形后线段，N^是线段总数，j是线段索引，q(j)表 示线段所在方格索引，m(j)表示线段所在组号； 步骤六、计算能量函数中的边界约束项Eb 为使得变形后视频每帧边界严格为矩形，约束其变形后网格四个边界上的点在图像边 界上，其能量函数定义如下：其中L/R/T/B分别表示左、右、上、下； 步骤七、计算能量函数中的特征点位移约束项Ep 首先对当前帧的前一帧提取特征点，并利用光流法得到当前帧中特征点的对应匹配点 位置；然后为保持变形后视频的时域上的连续性，减少抖动等失真现象，保持特征点在变形 前后的相对位移尽可能不变，该约束项定义为：其中Np是检测得到特征点的个数，民，Pt分别表示第t帧变形前后特征点坐标， P'h，Ph则分别表示第t-1帧的相应点； 步骤八、计算能量函数中的网格点位置约束项Ev 为增强时域连续性约束效果，进一步减少不连续的失真，相邻帧对应网格点变形后坐 标应保持时域上连续，即尽可能一致，该约束项定义为：其中，V't_i分别表示变形后第t帧和第t-1帧的网格位置坐标； 步骤九、能量函数优化求解 将上述约束条件分别赋予权重，建立用于求解矫正后网格角点位置的能量函数，形式 化表示为： E(V% { 0 :})=W1Edw2Efw3EJw4E^w5Eb 由于函数中每帧计算只需前一帧的相关信息，故逐帧使用迭代求解稀疏线性方程组的 方法求解该能量函数最小化问题即可，得到矫正后的网格点坐标Vt; 步骤十、图像变形 对每帧根据矫正前的网格和矫正后的网格进行插值，即可获得矫正后的每个视频帧。【专利摘要】本专利技术涉及一种视频矫正方法，特别涉及一种基于图像变形的视频矩形化矫正方法，属于视频处理领域。本专利技术首先对所有视频帧进行局部变形；在变形后矩形视频帧上设置网格，再依据坐标映射关系，将网格放置在原不规则视频帧上，对所有帧网格对应坐标取均值，即初始网格；对初始网格做时域空域约束建立稀疏线性方程组，并求解得到校正后的视频各帧网格点；根据每一视频帧矫正前后网格进行双线性插值得到矫正后的视频帧。该方法在已有图像矫正方法的基础上，增加时域约束条件，实现了视频的矩形化矫正。【IPC分类】H04N5-262【公开号】CN104822030【申请号】CN201510180896【专利技术人】黄华, 刘彩虹 【申请人】北京理工大学深圳研究院, 北京理工大学【公开日】2015年8月5日【申请日】2015本文档来自技高网...
【技术保护点】
一种基于图像变形的不规则视频矩形化矫正方法，其特征在于，包括以下步骤：步骤一、对视频每一帧进行局部变形对于视频中不规则边界的每一帧，利用seam carving算法，通过不断插入长短不一的seam的方式，填充缺失像素，得到规则矩形边界的视频帧，插入的同时记录插入后每个像素点所在原图的位置坐标；步骤二、设置网格，并将网格变形回原图对步骤一中得到的每一规则视频帧，将其均匀划分为若干矩形区域，并获得网格角点的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标，即可将每帧网格变形回原图；步骤三、网格归一化对得到的所有覆盖视频帧不规则有效区域的网格，对应位置坐标取均值，得到归一化网格,即是每帧初始网格；步骤四、计算能量函数中的保形项Es为了获得与原视频帧尽可能相近的图像，尽可能减少其形状失真，因此在原视频帧网格和矫正后的视频帧对应网格之间应保持一个相似变换，保形能量函数定义为：Es(Vqt)=1NtΣq||(Aqt((Aqt)TAqt)-1(Aqt)T-I)Vqt||2]]>Aqt=x^0t-y^0t10y^0tx^0t01............x^3t-y^3t10y^3tx^3t01,Vqt=x0ty0t...x3ty3t]]>其中上标t为视频帧索引，下标q是每帧网格的方格索引，N是网格的方格数，Aq为8*4的矩阵，Vq为8*1的矩阵，为网格变形前一个方格四个顶点对应四对坐标，而(x0,y0),…,(x3,y3)为相应的变形后对应四对坐标；步骤五、计算能量函数中的直线保持项El首先对视频中每帧进行预处理，过程为先对每帧进行直线检测，并对检测得到的所有直线依据网格对其进行分割，使得每个子线段只在一个方格中，然后对所有线段按其倾斜角分为m组，使得同组的线段倾斜角基本相同；预处理后为减少直线的失真，保持视频矫正前后直线的平行性和共线性，使得倾斜角相似(同组)的线段矫正过程中旋转角尽可能一致，其能量函数定义为：El(Vt,{θmt})=1NLtΣj||Cjt(θm(j)t)eq(j)t||2]]>C=Re^(e^Te^)-1e^TRT-I,R=cosθm-sinθmsimθmcosθm]]>其中，R是旋转矩阵，{θmt}是m组线段的旋转角集合，是方格中线段对应向量，表示变形前线段，是Vq的线性函数，而e表示变形后线段，NL是线段总数，j是线段索引，q(j)表示线段所在方格索引，m(j)表示线段所在组号；步骤六、计算能量函数中的边界约束项Eb为使得变形后视频每帧边界严格为矩形，约束其变形后网格四个边界上的点在图像边界上，其能量函数定义如下：Eb(Vt)=Σvi∈Lxi2+Σvi∈R(xi-w)2+Σvi∈Tyi2+Σvi∈B(yi-h)2]]>其中L/R/T/B分别表示左、右、上、下；步骤七、计算能量函数中的特征点位移约束项Ep首先对当前帧的前一帧提取特征点，并利用光流法得到当前帧中特征点的对应匹配点位置；然后为保持变形后视频的时域上的连续性，减少抖动等失真现象，保持特征点在变形前后的相对位移尽可能不变，该约束项定义为：Ep=1NpΣP||(Pt′-Pt-1′)-(Pt-Pt-1)||2]]>其中Np是检测得到特征点的个数，Pt分别表示第t帧变形前后特征点坐标，P′t‑1,Pt‑1则分别表示第t‑1帧的相应点；步骤八、计算能量函数中的网格点位置约束项Ev为增强时域连续性约束效果，进一步减少不连续的失真，相邻帧对应网格点变形后坐标应保持时域上连续，即尽可能一致，该约束项定义为：Ev=Σv||v′t-vt-1′||2]]>其中，v′t‑1分别表示变形后第t帧和第t‑1帧的网格位置坐标；步骤九、能量函数优化求解将上述约束条件分别赋予权重，建立用于求解矫正后网格角点位置的能量函数,形式化表示为：E(Vt，{θmt})＝w1Es+w2El+w3Ep+w4Ev+w5Eb由于函数中每帧计算只需前一帧的相关信息，故逐帧使用迭代求解稀疏线性方程组的方法求解该能量函数最小化问题即可，得到矫正后的网格点坐标Vt；步骤十、图像变形对每帧根据矫正前的网格和矫正后的网格进行插值，即可获得矫正后的每个视频帧。...
【技术特征摘要】
【专利技术属性】
技术研发人员：黄华，刘彩虹，
申请(专利权)人：北京理工大学深圳研究院，北京理工大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。