一种基于运动几何量约束的视频稳像裁剪控制方法技术

一种基于运动几何量约束的视频稳像裁剪控制方法所依托的系统包括预处理模块、判断模块、计算模块以及输出模块；一种基于运动几何量约束的视频稳像裁剪控制方法，包括：1预处理模块计算出视频帧和裁剪窗口顶点坐标；2判断模块判断视频帧经旋转平移变化后是否包含裁剪窗口，并根据结果判断继续执行步骤三还是跳至7.1；3最大平移向量计算单元计算最大平移向量；4计算模块平移裁剪窗口；5最优旋转角度计算单元分别计算视频帧的四条边能旋转的最大角度；6最优旋转角度计算单元计算视频帧能旋转的最优旋转角度；7.1输出布尔值TRUE，结束本方法；7.2输出布尔值FALSE，输出3的最大平移向量和6的最优旋转角度，结束本方法。

【技术实现步骤摘要】

本专利技术涉及一种视频稳像裁剪控制方法，尤其涉及一种基于运动几何量约束的视频稳像裁剪控制方法，属于视频处理领域。
技术介绍
随着移动设备上摄像头的普及，视频拍摄变得越来越容易。但是普通用户在运动环境下拍摄的视频通常存在一定的画面抖动现象，影响了视频内容的正常观看。视频稳像技术能够有效增强视频帧序列的稳定性，已成为消除画面抖动的一种重要手段。视频稳像过程中往往需要对视频帧作旋转、平移等几何变换，以使得变换后的帧序列在播放时满足一定的视觉稳定性。但这种变换会造成视频内容缺失，使得某些帧在变换后有一部分画面不能落在视频窗口范围内，从而造成视频内容缺失。如何控制视频稳像过程中的裁剪区域大小，成为影响视频稳像效果的重要因素。目前，关于视频稳像中的裁剪控制方法主要包括两种：最大内接矩形法和权重调节法。最大内接矩形法以Grundmann等人于2011年发表在会议CVPR上的工作为代表(CVPR，Auto-directed video stabilization with robust L1optimal camera paths)。该方法首先计算所有帧在变换后的重叠区域，然后寻找最大的内接矩形作为裁剪窗口，最后通过等比例缩放以满足用户指定的裁剪区域大小。这种方法虽然计算简单，但当最大内接矩形小于用户指定大小时，等比例缩放会降低裁剪后的视频分辨率。权重调节法以Liu等人于2013年发表在期刊ACM Transactions on Graphics上的工作为代表(ACM Transactions on Graphics,2013,32(4).Bundled camera paths for video stabilization.)。该方法在求解几何变换时增加一项裁剪窗口顶点位置约束，并设置相应的权重值来控制稳像后裁剪区域的实际大小。这种方法虽然能够使稳像后的视频满足用户指定的裁剪区域大小，但计算速度比较慢。上述已有的最大内接矩形法和权重调节法虽然能使稳像后的视频满足用户指定裁剪大小，但由于在视频抖动比较剧烈的情况下，视频稳像过程中平移向量、旋转角度等几何量造成的偏移较大，导致最大内接矩形普遍较小以及能量函数求解复杂，所以，依然存在稳像后视频帧分辨率较低、计算速度慢等问题。本专利技术的目的旨在克服指定裁剪大小的视频帧分辨率和提高计算效率等技术问题，提出一种基于运动几何量约束的视频稳像裁剪控制方法。
技术实现思路
本专利技术的目的是针对现有视频稳像裁剪控制方法存在裁剪后分辨率降低、计算效率低的不足，提出一种基于运动几何量约束的视频稳像裁剪控制方法。本专利技术技术方案的思想是判断旋转和平移变换后的视频帧能否包含视频窗口：如果可以，进行旋转平移变换；否则，在满足最大平移向量在原平移向量方向上尽可能与原平移向量的大小接近的基础上，满足最优旋转角度尽可能接近旋转角度；一种基于运动几何量约束的视频稳像裁剪控制方法所依托的系统，简称本系统，包括预处理模块、判断模块、计算模块以及输出模块；其中，预处理模块的输出为计算模块的输入；计算模块包含最大平移向量计算单元和最优旋转角度计算单元；本系统各模块的功能如下：预处理模块：将视频帧和裁剪窗口的位置关系形式化,具体为：将视频帧和裁剪窗口的位置关系形式化成坐标关系；判断模块：判断旋转角度和原平移向量是否满足视频帧旋转和平移后仍包含裁剪窗口的条件，具体为以预处理模块得到的数据作为输入，对裁剪窗口进行选择平移变换，最后判断视频帧是否包含变换后的裁剪窗口，判断模块的输出结果决定是否需要计算模块；计算模块：计算出最大平移向量和最优旋转角度；输出模块：输出布尔值；本系统各模块的连接关系如下：预处理模块与判断模块相连；预处理模块与计算模块相连；判断模块与计算模块相连；判断模块与输出模块相连；计算模块与输出模块相连；一种基于运动几何量约束的视频稳像裁剪控制方法，简称本方法，具体步骤如下：步骤一、预处理模块计算出视频帧和裁剪窗口顶点坐标，具体为：步骤1.1将裁剪百分比、视频帧的长和宽、旋转中心、原平移向量以及旋转角度输入预处理模块；其中，原平移向量记为V，其坐标记为(xv,yv)，xv为V的横坐标，yv为V的纵坐标；旋转角度，记为α；本系统中所有向量所在的坐标系为图像坐标系；裁剪百分比，记为r，视频帧的长，记为w，视频帧的宽，记为h；步骤1.2预处理模块把视频帧和裁剪窗口形式化为两个中心重合的相似矩形；步骤1.3根据裁剪百分比计算出视频帧和裁剪窗口之间的横向边距和纵向边距；其中，横向边距，记为dx，纵向边距，记为dy，二者通过以下公式(1)计算得出： d x = w * ( 1 - r ) / 2 d y = h * ( 1 - r ) / 2 - - - ( 1 ) ]]>步骤1.4分别给视频帧和裁剪窗口的顶点赋值；其中，所述视频帧具有4个顶点，此4个顶点坐标从左上角按逆时针顺序分别为：A(0,0)、B(0,h)、C(w,h)和D(w,0)；裁剪窗口也具有4个顶点，此4个顶点坐标从左上角按逆时针顺序分别为：A'(dx,dy)、B'(dx,h-dy)、C'(w-dx,h-dy)和D'(w-dx,dy)；其中，所述的视频帧顶点A和D组成视频帧的AD边；顶点C和D组成视频帧的DC边；顶点C和B组成视频帧的CB边；视频帧顶点B和A组成视频帧的BA边；记为裁剪窗口顶点的横坐标，为裁剪窗口顶点的纵坐标；其中，i的变化范围是1到4，且： x c 1 = d x ; x c 2 = d x ; x c 3 = w - d x ; x c 4 = w本文档来自技高网...

【技术保护点】
一种基于运动几何量约束的视频稳像裁剪控制方法，其特征在于：一种基于运动几何量约束的视频稳像裁剪控制方法所依托的系统，简称本系统，包括预处理模块、判断模块、计算模块以及输出模块；其中，预处理模块的输出为计算模块的输入；计算模块包含最大平移向量计算单元和最优旋转角度计算单元；本系统各模块的功能如下：预处理模块：将视频帧和裁剪窗口的位置关系形式化,具体为：将视频帧和裁剪窗口的位置关系形式化成坐标关系；判断模块：判断旋转角度和原平移向量是否满足视频帧旋转和平移后仍包含裁剪窗口的条件，具体为以预处理模块得到的数据作为输入，对裁剪窗口进行选择平移变换，最后判断视频帧是否包含变换后的裁剪窗口，判断模块的输出结果决定是否需要计算模块；计算模块：计算出最大平移向量和最优旋转角度；输出模块：输出布尔值；本系统各模块的连接关系如下：预处理模块与判断模块相连；预处理模块与计算模块相连；判断模块与计算模块相连；判断模块与输出模块相连；计算模块与输出模块相连。

【技术特征摘要】
1.一种基于运动几何量约束的视频稳像裁剪控制方法，其特征在于：一种基于运动几何量约束的视频稳像裁剪控制方法所依托的系统，简称本系统，包括预处理模块、判断模块、计算模块以及输出模块；其中，预处理模块的输出为计算模块的输入；计算模块包含最大平移向量计算单元和最优旋转角度计算单元；本系统各模块的功能如下：预处理模块：将视频帧和裁剪窗口的位置关系形式化,具体为：将视频帧和裁剪窗口的位置关系形式化成坐标关系；判断模块：判断旋转角度和原平移向量是否满足视频帧旋转和平移后仍包含裁剪窗口的条件，具体为以预处理模块得到的数据作为输入，对裁剪窗口进行选择平移变换，最后判断视频帧是否包含变换后的裁剪窗口，判断模块的输出结果决定是否需要计算模块；计算模块：计算出最大平移向量和最优旋转角度；输出模块：输出布尔值；本系统各模块的连接关系如下：预处理模块与判断模块相连；预处理模块与计算模块相连；判断模块与计算模块相连；判断模块与输出模块相连；计算模块与输出模块相连。2.如权利要求1所述的一种基于运动几何量约束的视频稳像裁剪控制方法，其特征还在于：一种基于运动几何量约束的视频稳像裁剪控制方法，简称本方法，具体步骤如下：步骤一、预处理模块计算出视频帧和裁剪窗口顶点坐标；步骤二、判断模块判断视频帧经旋转平移变化后是否包含裁剪窗口，并根据结果判断继续执行步骤三还是跳至7.1；步骤三、最大平移向量计算单元计算最大平移向量；步骤四、计算模块平移裁剪窗口；步骤五、最优旋转角度计算单元分别计算视频帧的四条边能旋转的最大角度；步骤六、最优旋转角度计算单元计算视频帧能旋转的最优旋转角度；步骤七、根据步骤三及步骤六的计算结果，输出布尔值，结束本方法，具体为：7.1输出布尔值TRUE，结束本方法；7.2输出布尔值FALSE，输出步骤三的最大平移向量和步骤六的最优旋转角度，结束本方法；至此，从步骤一到步骤七，完成了一种基于运动几何量约束的视频稳像裁剪控制方法。3.如权利要求2所述的一种基于运动几何量约束的视频稳像裁剪控制方法，其特征还在于：步骤一，具体为：步骤1.1将裁剪百分比、视频帧的长和宽、旋转中心、原平移向量以及旋转角度输入预处理模块；其中，原平移向量记为V，其坐标记为(xv,yv)，xv为V的横坐标，yv为V的纵坐标；旋转角度，记为α；本系统中所有向量所在的坐标系为图像坐标系；裁剪百分比，记为r，视频帧的长，记为w，视频帧的宽，记为h；步骤1.2预处理模块把视频帧和裁剪窗口形式化为两个中心重合的相似矩形；步骤1.3根据裁剪百分比计算出视频帧和裁剪窗口之间的横向边距和纵向边距；其中，横向边距，记为dx，纵向边距，记为dy，二者通过以下公式(1)计算得出： d x = w * ( 1 - r ) / 2 d y = h * ( 1 - r ) / 2 - - - ( 1 ) ]]>步骤1.4分别给视频帧和裁剪窗口的顶点赋值；其中，所述视频帧具有4个顶点，此4个顶点坐标从左上角按逆时针顺序分别为：A(0,0)、B(0,h)、C(w,h)和D(w,0)；裁剪窗口也具有4个顶点，此4个顶点坐标从左上角按逆时针顺序分别为：A'(dx,dy)、B'(dx,h-dy)、C'(w-dx,h-dy)和D'(w-dx,dy)；其中，所述的视频帧顶点A和D组成视频帧的AD边；顶点C和D组成视频帧的DC边；顶点C和B组成视频帧的CB边；视频帧顶点B和A组成视频帧的BA边；记为裁剪窗口顶点的横坐标，为裁剪窗口顶点的纵坐标；其中，i的变化范围是1到4，且： x c 1 = d x ; x c 2 = d x ; x c 3 = w - d x ; x c 4 = w - d x ; ]]> y c 1 = d y ; y c 2 = h - d y ; y c 3 = h - d y ; y c 4 = d y . ]]>4.如权利要求2所述的一种基于运动几何量约束的视频稳像裁剪控制方法，其特征还在于：步骤二，具体为：步骤2.1判断模块将裁剪窗口绕旋转中心反向旋转与步骤1.1中旋转角相同的角度；其中，反向旋转的角度为-α；所述的旋转中心，记为P，其坐标记为(x,y)，x为横坐标，y为纵坐标；旋转后的裁剪窗口顶点的横坐标和纵坐标通过如下公式(2)计算得到： x c i ′ = ( x c i - x ) * cos ( - α ) - ( y c i - y ) * sin ( - α ) + x y c i ′ = ( x c i - x ) * sin ( - α ) + ( y c i - y ) * cos ( - α ) + y - - - ( 2 ) ]]>其中，旋转后的裁剪窗口顶点横坐标记为纵坐标记为sin为正弦运算；cos为余弦运算；*为数值乘法；步骤2.2将原平移向量反向旋转步骤1.1中旋转角度相同的角度，得到对应的平移向量；其中，将原平移向量反向旋转的角度为-α；记原平移向量反方向旋转后的向量为V'，其坐标为(x'v,y'v)，x'v是横坐标；y'v是纵坐标，向量V'的坐标通过如下公式(3)计算得到： x v ′ = x v * cos ( - α ) - y v * sin ( - α ) y v ′ = x v * sin ( - α ) + y v * cos ( - α ) - - - ( 3 ) ]]>步骤2.3将步骤2.1输出的旋转后裁剪窗口顶点横坐标和纵坐标分别减去步骤2.2输出的对原平移向量进行旋转后的横坐标和纵坐标，得出裁剪窗口旋转平移后顶点坐标具体通过如下公式(4)计算得出； x c i ′ ′ = x c i ′ - x v ′ y c i ′ ′ = y c i ′ - y v ′ - - - ( 4 ) ]]>步骤2.4将步骤2.1和步骤2.2的输出带入步骤2.3的输出，得到裁剪窗口旋转平移后顶点坐标，具体为公式(5)： x c i ′ ′ = ( x c i - x - x v ) * cos ( - α ) - ( y c i ...

【专利技术属性】
技术研发人员：张磊，黄华，孔馨仪，徐欣廷，刘云飞，何冲冲，魏晓翔，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11