一种基于参考帧优选和前后景分离的视频稳像运动估计方法技术

本发明专利技术公开了一种基于参考帧优选和前后景分离的视频稳像运动估计方法，用于解决运动矢量估计不准确影响稳像处理后的效果问题。首先以相邻帧优先为原则进行参考帧选取优化，而后通过网格聚类和密度聚类算法融合的方式对视频帧中的特征点进行聚类和初步的筛选。然后利用随机抽样一致性算法求取最优单应矩阵，结合透视投影变换求出特征点对之间的距离。根据距离准则剔除不满足预设条件的特征点对得到提纯后的特征点对。最后将获得准确的背景特征点对用于计算全局运动矢量。本发明专利技术公开的视频稳像运动估计方法有效去除前景对于运动估计的影响并提高了估计出的全局运动矢量精度，达到提升稳像修复效果，能广泛应用于不同拍摄设备所摄视频的稳像修复。

【技术实现步骤摘要】
一种基于参考帧优选和前后景分离的视频稳像运动估计方法
本专利技术属于视频图像处理
，涉及一种视频稳像运动估计方法，可广泛应用于移动拍摄设备中。
技术介绍
随着拍摄设备的日益广泛以及拍摄平台的多样化，生活中已经随处可见各种摄影摄像设备。这些设备采集的视频不可避免的会存在一些抖动，不利于人工观测也不利于后续视频图像处理。视频稳像的主要目的是对视频中的由于外部因素干扰或自身移动性带来的抖动、模糊等进行矫正和消除，改善视频质量和观赏感受。稳像技术可用于科研测绘、执法记录仪、手机相机等领域，其灵活性高、成本低、易维护等优势使得视频稳像技术具有乐观的商业价值和广泛的应用前景。视频稳像技术包含运动估计、运动滤波和运动补偿三部分，运动估计作为核心部分需要从有前景等因素干扰下估算出摄像载体的全局运动矢量。近年来研究人员已经提出了不少运动估计算法，主要分为基于特征和基于强度这两大类的方法。基于特征的算法的精度依赖于视频的质量，诸如噪声、模糊等视频质量不佳的条件可能导致运动矢量估计失败。基于强度的方法不依赖于点或边等特征，通常通过以块为单位或全区域考虑整个图像的灰度来估计全局运动。基于特征的方法通常比基于强度的方法更精确，但也更容易产生局部效应。因此，需要一种能准确去除前景影响、能准确计算出全局运动矢量的运动估计算法，以获得较好的视频稳像修复效果。
技术实现思路
本专利技术的目的是为了解决现有的技术方案中存在的参考帧选择随意、无法有效去除前景点影响导致运动估计环节计算出的全局运动矢量不准确等问题，提出了一种基于参考帧优选和前后景特征点分离的运动估计方法，该方法包括：(1)在相邻参考帧选取基础上，结合清晰度、相似度以及特征点匹配有效对数自适应选取合适的参考帧；(2)对视频帧网格状划分，以网格为单元利用密度聚类算法对当前帧的特征点进行聚类并剔除部分噪声点；(3)通过随机抽样一致性算法计算出当前帧和参考帧对应的最优单应矩阵，去除部分误匹配；(4)将计算出的最优单应矩阵带入透视投影变换计算对应特征点之间的距离，并依据距离准则进行最终筛选和剔除；(5)最终留下的特征点对用于计算全局运动矢量。较佳地，所述的步骤(1)具体为：(1-1)计算出相邻帧pt-1的清晰度值Ft-1；(1-2)将计算出的清晰度值Ft-1与清晰度阈值C进行比较，若清晰度值Ft-1大于阈值C则更新当前相邻帧pt-1为参考帧并跳出步骤结束流程，否则继续进行步骤(1-3)；(1-3)计算当前帧pt与参考帧pi背景特征点对有效匹配对数值Lt及有效匹配点数与当前帧所有特征点数的比值τ；(1-4)若有效对数值Lt大于匹配阈值Q且比值τ大于相似度阈值S则维持当前参考帧pi为参考帧不变并结束流程，否则进行步骤(1-5)；(1-5)强制更新参考帧为当前相邻帧pt-1。较佳地，所述步骤(2)具体为：将视频图像帧用网格划分形成网状结构。通过自适应步长滑动窗口检测并聚类，获得特征点分布区域。算法中涉及到的划分后的网格单元dj被表示为di＝d(Sti,Hni)。其中St表示该网格对于区域簇的属于状态，Hn表示该网格的特征点包含状态。而自适应步长滑动窗口是以3×3网格单元作为滑动窗口，以L为长度的自适应步长滑动。最后簇表示的是包含了当前聚集的特征点群区域。密度聚类算法具体使用的是DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)，具有不需要预设簇数量、能发现不同大小任意形状的簇群、能识别噪声点以及算法速度快等特点。所述结合网格的DBSCAN密度聚类算法步骤具体如下：(2-1)输入视频图像帧，网格化分割成互不相交的网格单元，可表示为D＝{di|i＝1,2,...,n}，网格单元表示为di＝d(Sti,Hni)；(2-2)遍历所有的网格单元，若单个单元中包含特征点，则将该单元对应d(Hni)的值置为true，否则置为false。d(Hni)的值只可设置一次，设置后不可更改；(2-3)将滑动窗口b从左往右，从上往下扫描。若滑动窗口b内包含特征点的网格，即d(Hni)为true的网格数量超过阈值T，则判定当前窗口b中包含特征点的网格单元都属于簇，并将那些网格单元的对应属性d(Sti)置为true，其余空白网格单元对应d(Sti)置为false。若滑动窗口b内包含特征点的网格数量小于阈值T，则当前窗口b中的网格单元的d(Sti)属性都置为false，同时将下一次的滑动步长设置为3个网格单元；(2-4)扫描过程按照步骤(2-3)中的规则进行，直至所有网格单元的属性都被赋值true或者false。所有d(Sti)的值为true的网格单元中包含的特征点即为聚类出的结果。较佳地，所述步骤(3)具体为：将不少于4组的特征点对带入随机抽样一致性数学模型中，并通过代价函数是否极小循环判别，直至得到代价函数极小值时对应的最优参数单应矩阵。较佳地，所述步骤(4)具体为：(4-1)将随机抽样一致性算法计算得出的最优单应矩阵应用于透视投影变换，得到透视投影变换模型下的距离计算模型。(4-2)对初步提纯后的特征点对集合计算每一对特征点对之间的距离。(4-3)依据对应背景特征点对之间距离为0，而前景特征点对的距离非0为判断条件，筛选出准确的背景特征点对。较佳地，所述步骤(5)具体为：通过筛选后的特征点对即为不包含前景特征点干扰的背景特征点对，带入对应运动变换模型中即可计算出全局运动矢量。得到的全局运动矢量即为本专利技术方案流程的最终数值结果。本专利技术的有益效果：(1)本专利技术所述方法步骤1中，提出根据清晰度、相似度以及特征点匹配有效对数结合的自适应参考帧选取方式，解决单一参考帧选取模式中参考帧质量不佳的问题。(2)本专利技术所述方法步骤2中，通过网格划分改进DBSCAN密度聚类方式，进一步提高算法计算速度并减少算法后续计算量。(3)本专利技术所述方法步骤4中，提出一种基于RANSAC的前后景特征点分离方法，融合透视投影变换与距离准则，解决无法完全去除前景影响的问题。附图说明图1是本专利技术所述一种基于参考帧优选和前后景特征点分离的运动估计方法流程示意图。图2是本专利技术参考帧自适应更新流程示意图。图3是本专利技术聚类与前后景分离流程示意图。具体实施方式本专利技术提出了一种基于参考帧优选和前后景分离的视频稳像运动估计方法，用于解决运动矢量估计不准确影响稳像处理后的效果问题。首先以相邻帧优先为原则进行参考帧选取优化，而后通过网格聚类和密度聚类算法融合的方式对视频帧中的特征点进行聚类和初步的筛选。然后利用随机抽样一致性算法求取最优单应矩阵，结合透视投影变换求出特征点对之间的距离。根据距离准则剔除不满足预设条件的特征点对得到提纯后的特征点对。最后将获得准确的背景特征点对用于计算全局运动矢量。本专利技术公开的视频稳像运动估计方法有效本文档来自技高网...

【技术保护点】
1.一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，包括如下步骤：/nS1在相邻参考帧选取基础上，结合清晰度、相似度以及特征点匹配有效对数自适应选取合适的参考帧；/nS2对视频帧网格状划分，以网格为单元利用密度聚类算法对当前帧的特征点进行聚类并剔除部分噪声点；/nS3通过随机抽样一致性算法计算出当前帧和参考帧对应的最优单应矩阵，去除部分误匹配；/nS4将计算出的最优单应矩阵带入透视投影变换计算对应特征点之间的距离，并依据距离准则进行最终筛选和剔除；/nS5最终留下的特征点对用于计算全局运动矢量。/n

【技术特征摘要】
1.一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，包括如下步骤：
S1在相邻参考帧选取基础上，结合清晰度、相似度以及特征点匹配有效对数自适应选取合适的参考帧；
S2对视频帧网格状划分，以网格为单元利用密度聚类算法对当前帧的特征点进行聚类并剔除部分噪声点；
S3通过随机抽样一致性算法计算出当前帧和参考帧对应的最优单应矩阵，去除部分误匹配；
S4将计算出的最优单应矩阵带入透视投影变换计算对应特征点之间的距离，并依据距离准则进行最终筛选和剔除；
S5最终留下的特征点对用于计算全局运动矢量。


2.根据权利要求1所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述步骤S1具体包括如下：
S1.1计算出相邻帧pt-1的清晰度值Ft-1；
S1.2将计算出的清晰度值Ft-1与清晰度阈值C进行比较，若清晰度值Ft-1大于阈值C则更新当前相邻帧pt-1为参考帧并跳出步骤结束流程，否则继续进行步骤S1.3；
S1.3计算当前帧pt与参考帧pi背景特征点对有效匹配对数值Lt及有效匹配点数与当前帧所有特征点数的比值τ；
S1.4若有效对数值Lt大于匹配阈值Q且比值τ大于相似度阈值S则维持当前参考帧pi为参考帧不变并结束流程，否则进行步骤S1.5；
S1.5强制更新参考帧为当前相邻帧pt-1。


3.根据权利要求1所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述步骤S2中对视频帧网格状划分的方法包括如下：
通过自适应步长滑动窗口检测并聚类，获得特征点分布区域；将划分后的网格单元dj表示为di＝d(Sti,Hni)，其中St表示该网格对于区域簇的属于状态，Hn表示该网格的特征点包含状态；自适应步长滑动窗口是以3×3网格单元作为滑动窗口，以L为长度的自适应步长滑动，最后簇表示的是包含了当前聚集的特征点群区域。


4.根据权利要求1所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述步骤S2中的密度聚类算法采用DBSCAN密度聚类算法，具体包括如下步骤：
S2.1输入视频图像帧，网格化分割成互不相交的网格单元，可表示为D＝{di|i＝1,2,...,n}，网格单元表示为di＝d(Sti,Hni)；
S2.2遍历所有的网格单元，若单个单元中包含特征点，则将该单元对应d(Hni)的值置为true，否则置为false，且d(Hni)的值只可设置一次，设置后不可更改；
S2.3将滑动窗口b从左往右，从上往下扫描；若滑动窗口b内包含特征点的网格，即d(Hni)为true的网格数量超过阈值T，则判定当前窗口b中包含特征点的网格单元都属于簇，并将那些网格单元...

【专利技术属性】
技术研发人员：成科扬，李世超，祖广豹，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32