一种基于Harris Corner的视频稳像方法及系统技术方案

本发明专利技术公开了一种基于Harris?Corner的视频稳像方法及系统，其中方法主要对一个帧频率中的当前帧和下一帧进行Gaussian滤波后，采用HarrisCorner算法分别提取两帧中的特征点，并进行匹配，找到匹配对，根据下一帧相对于当前帧的旋转角θ进行帧的逆变换，以消除图像由于旋转产生的抖动，并将逆变换后的帧作为当前帧，再获取下一帧进行上述逆变换操作直到该帧率中的所有帧都消除了抖动，再根据每帧匹配的特征点，计算平面运动矢量，并对每帧进行分析和补偿，以输出稳定的图像。本发明专利技术基于HarrisCorner的算法对图像进行稳定处理，使得稳像效果更好，且能满足实际应用中对效率的要求。

【技术实现步骤摘要】

本专利技术涉及图像处理技术，尤其涉及一种基于Harris Corner的视频稳像方法及系统。
技术介绍
在手机或DV拍摄视频的过程中，常常会因为拍摄者手的抖动或走动，导致拍摄的视频发生抖动，影响观看，为了消除拍摄后视频的抖动，现有技术中如专利文献1(《基于全局特征点迭代的全景稳像方法》专利申请号200810150384.X)、文献 2 (《Digital Image Stabilization by Adaptive BlockMotion Vectors Filtering》 作者 Filippo Vella, Alfio Castorina, MassimoMancuso, Giuseppe Messina, IEEE Transactions on, 2002-ieeexplore. ieee. org)禾口文献 3 (《SIFT Features Tracking for Videc^tabilization》作者 S Battiato，G Gallo，G Puglisi, ICIAP 2007)均提出了关于视频稳像的算法。其中，专利文献1采用Harris Corner提取特征点，使用基于SAD的特征窗口进行特征点匹配，再使用基于距离的特征点匹配正确性的筛查，通过仿射运动模型，计算图像的运动，最后采用基于滤波的图像运动补偿方法进行稳像。但其主要缺点是，基于SAD的匹配，常常会因为图像旋转，或图像模糊导致匹配错误的概率很高，最终导致全局运动矢量计算错误，达不到稳像效果。文献2提出了一种基于宏块的运动矢量计算，对前帧的每一个宏块，通过搜索算法，如UMHexagonS算法，在后帧中寻找最佳匹配(SAD最小)，再基于MAD计算全局运动矢量，最后对小于阈值的运动进行补偿。但是其采用宏块的方法，使得计算精度不高，最终的效果一般。文献3提出了一种基于SIFT特征点的视频稳像算法。其优点是特征点很稳健，但是该算法复杂度高，耗时较长，不满足实际应用中对效率的要求。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中视频稳像技术效果不佳或者不满足实际应用中对效率的要求的缺陷，提供一种稳像效果好，且能满足实际应用中对效率的要求的基于Harris Corner的视频稳像方法及系统。本专利技术解决其技术问题所采用的技术方案是提供一种基于Harris Corner的视频稳像方法，包括以下步骤Si、获取当前视频的帧率F和当前帧A ；S2、对当前帧A采用Gaussian滤波，消除噪点；S3、获取下一帧B，并对该帧采用Gaussian滤波，消除噪点；S4、对经滤波后的帧A和帧B采用Harris Corner算法分别提取特征点，并进行特征点匹配；S5、根据相匹配的特征点计算图像的旋转角θ ；S6、判断旋转角θ是否为0，在θ不为0时，对帧B反方向旋转θ，并将旋转后的帧B作为步骤S4中新的帧B，转入执行步骤S4;在θ为0时，根据匹配的特征点，计算平面运动矢量；S7、判断是否处理完F帧，若否，则将旋转后的B帧作为当前帧，转入执行步骤S3 ； 若是，则根据所述平面运动矢量对每一帧进行分析与补偿后，输出每一帧。本专利技术所述的方法中，步骤S4中特征点的匹配具体为设帧A中的每个特征点χ 的坐标为(xAPos，yAPos)，在B帧中，以(xAPos，yAPos)为窗口中心，取尺寸为81x81的特征窗，寻找该特征窗中的特征点1，对于其中的每一个特征点1，根据LACC算法，计算特征点 χ与特征点y之间的相关性系数，如果其相关性系数大于0. 9，则计数器nSum加1 ；计算特征窗内所有的特征点y后，如果nSum等于1，则两个特征点是匹配的，形成一对匹配对，反之， 该特征点没有找到匹配的特征点。本专利技术所述的方法中，步骤S5中计算旋转角θ具体为从匹配对中选取任意两对匹配对Fl(Alx，Bly), F2(A2x, B2y)，其中Alx，Ah为帧A中的特征点，特征点Bly，B2y是分别与Alx，A2x匹配的帧B中的特征点，特征点Alx与A2y连接成线Li，Bly, B2y连接成线L2，根据余弦定理，计算Ll和L2之间的夹角；枚举所有的特征点对，计算夹角，取支持度计数最大的角度作为图像的旋转角Θ。本专利技术所述的方法中，步骤S7中对所有F帧进行分析与补偿具体包括步骤S71、从匹配对中选取任意一对匹配对Fl (Alx，Bly)，其中Alx为帧A中的特征点， 特征点Bly是与Alx匹配的帧B中的特征点，设特征点Alx的坐标为(xAPos，yAPos)，特征点Blx的坐标为(xBPos，yBPos)，则该特征点在两帧中水平方向的运动矢量为xM0Ve = xBPos-xAPos，垂直方向的运动矢量为yMove = yBPos-yAPos，对所有匹配对进行计算，最后取支持度计数最大的xMove和yMove分别作为图像的水平方向的位移和垂直方向的位移；S72、根据步骤S71获取全部的F帧图像相对前一帧的运动矢量(xMovel，yMove 1)，(xMove2, yMove3)......(xMoveF, yMoveF)，其中，xMoveF表示第F帧相对于前一帧在水平方向的运动矢量，yMoveF表示帧序列中第F帧相对于前一帧在竖直方向的运动矢量；S73、对全部F帧的运动矢量进行累加，水平方向的运动矢量和mTotalMVX = xMovel+xMove2+··· +yMoveF,竖直方向的运云力矢量禾口 nTotalMVY = yMovel+yMove2+··· +yMoveF ；S74、按先后顺序取出一帧N，其中N为该帧在帧序列中的第N帧N e [1，F]，计算该帧的补偿量，水平方向的补偿量xMV = nMoveSumX-fc^rotalMVX/F)*^其中nMoveSumX = xMovel+xMove2+—+xMoveN ；垂直方向的补偿量:yMV = nMoveSumY-(nTotalMVY/F) *N，其中 nMoveSumY = yMovel+yMove2+···+yMoveN ；S75、设置取景框，取景框位于帧N的中心，距离上边界0. l*Height个像素，其中 Height为图像高，距离下边界为0. l*Height个像素，距离左边界0. l*Width个像素，距离右边界为0. l*Width个像素，根据步骤S73中计算的补偿量移动取景框，其中水平方向的移动量为xMV，垂直方向的移动量为yMV ；S76、对取景框中的图像进行截取，并放大到原帧N的宽高后输出。本专利技术解决其技术问题所采用的另一技术方案是构造一种基于Harris Corner的视频稳像系统，包括解码器，用于获取当前视频的帧率F，以及当前帧A和下一帧B ；滤波器，用于对解码器获取的当前帧A和当前帧B采用Gaussian滤波，消除噪点；缓存器，用于将经过滤波后的帧A和帧B放入缓存器的帧序列中；特征点提取和匹配器，用于对缓存器中的帧A和帧B两帧采用HarrisCorner算法分别提取特征点，并进行特征点匹配；图象旋转器，用于根据相匹配的特征点计算图像的旋转角θ ；在θ不为0时，对帧B反方向旋转θ，并将旋转后的帧B作为缓存器帧序列中新的帧B，以对新的帧B重新执行所述特征点提取和匹配器中的相应操作；分析与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Harris Corner的视频稳像方法，其特征在于，包括以下步骤51、获取当前视频的帧率F和当前帧A；52、对当前帧A采用Gaussian滤波，消除噪点；53、获取下一帧B，并对该帧采用Gaussian滤波，消除噪点；54、对经滤波后的帧A和帧B采用HarrisCorner算法分别提取特征点，并进行特征点匹配；55、根据相匹配的特征点计算图像的旋转角θ；56、判断旋转角θ是否为0，在θ不为0时，对帧B反方向旋转θ，并将旋转后的帧B 作为步骤S4中新的帧B，转入执行步骤S4;在θ为0时，根据匹配的特征点，计算平面运动矢量；57、判断是否处理完F帧，若否，则将旋转后的B帧作为当前帧，转入执行步骤S3；若是，则根据所述平面运动矢量对每一帧进行分析与补偿后，输出每一帧。2.根据权利要求1所述的方法，其特征在于，步骤S4中特征点的匹配具体为设帧A中的每个特征点χ的坐标为(xAPos，yAPos)，在B帧中，以(xAPos，yAPos)为窗口中心，取尺寸为81x81的特征窗，寻找该特征窗中的特征点y，对于其中的每一个特征点y，根据LACC 算法，计算特征点χ与特征点1之间的相关性系数，如果其相关性系数大于0. 9，则计数器 nSum加1 ；计算特征窗内所有的特征点y后，如果nSum等于1，则两个特征点是匹配的，形成一对匹配对，反之，该特征点没有找到匹配的特征点。3.根据权利要求2所述的方法，其特征在于，步骤S5中计算旋转角θ具体为从匹配对中选取任意两对匹配对Fl (Alx，Bly), F2 (A2x，B2y)，其中Alx，Ah为帧A中的特征点，特征点Bly，B2y是分别与Alx，A2x匹配的帧B中的特征点，特征点Alx与A2y连接成线Ll，Bly，B2y连接成线L2，根据余弦定理，计算Ll和L2之间的夹角；枚举所有的特征点对，计算夹角，取支持度计数最大的角度作为图像的旋转角θ。4.根据权利要求2所述的方法，其特征在于，步骤S7中对所有F帧进行分析与补偿具体包括步骤·571、从匹配对中选取任意一对匹配对Fl(Alx，Bly),其中Alx为帧A中的特征点，特征点Bly是与Alx匹配的帧B中的特征点，设特征点Alx的坐标为(xAPos，yAPos)，特征点Blx的坐标为(xBPos，yBPos)，则该特征点在两帧中水平方向的运动矢量为xMove = xBPos - xAPos,垂直方向的运动矢量为yMove = yBPos - yAPos,对所有匹配对进行计算，最后取支持度计数最大的xMove和yMove分别作为图像的水平方向的位移和垂直方向的位移；·572、根据步骤S71获取全部的F帧图像相对前一帧的运动矢量(xMovel，yMove1)，(xMove2, yMove3)......(xMoveF, yMoveF),其中，xMoveF表示第F帧相对于前一帧在水平方向的运动矢量，yMoveF表示帧序列中第F帧相对于前一帧在竖直方向的运动矢量；·573、对全部F帧的运动矢量进行累加，水平方向的运动矢量和nTotalMVX= xMovel + xMove2 + …+ yMoveF,竖直方向的运动矢量禾口 nTotalMVY = yMove 1 + yMove2 + …+ yMoveF ；·574、按先后顺序取出一帧N，其中N为该帧在帧序列中的第N帧Ne[1，F]，计算该帧的补偿量，水平方向的补偿量xMV = nMoveSumX - (nTotalMVX / F) * N,其中nMoveSumX=xMovel + xMove2 +··· + xMoveN ；垂直方向的补偿量yMV = nMoveSumY - (nTotalMVY /F) * N,其中 nMoveSumY = yMovel + yMove2 +··· + yMoveN ；·575、设置取景框，取景框位于帧N的中心，距离上边界0.1 ^Height个像素，其中 Height为图像高，距离下边界为0. 1 *Height个像素，距离左边界·0.1 * Width个像素， Width为图像宽，距离右边界为0.1 * Width个像素，根据步骤S73中计算的补偿量移动取景框，其中水平方向的移动量为XMV，垂直方向的移动量为yMV ；·576、对取景框中的图像进行截取，并放大到原帧N的宽高后输出。5.一种基于Harris Corner的视频稳像系统，其特征在于，包括 解码器，用于获取当前视频的帧率F，以及当前帧A和下一帧B ；滤波器，用于对解码器获取的当前帧A和当前帧B采用Gaussian滤波...

【专利技术属性】
技术研发人员：蒋义勇，
申请(专利权)人：深圳市万兴软件有限公司，
类型：发明
国别省市：