基于整数规划的多尺度视频关键帧提取方法技术

本发明专利技术提供了一种基于整数规划的多尺度视频关键帧提取方法，包括以下步骤：(1)视频图建模：将视频建模成无向权重图；(2)视频内容划分：根据归一化图割把视频帧分成若干部分，并设定尺度因子；(3)根据尺度因子，利用整数规划得到关键帧集合。与现有技术相比，本发明专利技术从关键帧提取的本质出发，利用归一化图割理论和整数规划选取关键帧，不仅能够尽大程度的代表视频内容，而且设定一个尺度因子，通过选择不同尺度实现用户交互的决定关键帧的大体数目，以满足用户的不同需要。

【技术实现步骤摘要】
基于整数规划的多尺度视频关键帧提取方法
本专利技术涉及一种视频关键帧提取方法，尤其涉及一种基于整数规划和多尺度的视频关键帧提取方法，属于视频、多媒体信号处理

技术介绍
随着计算机与信息技术的发展，特别是多媒体技术的迅速发展，视频内容变的越来越丰富，视频作为一种信息量大、表现力强的媒体形式一直是人们进行信息交流的重要载体。另外，随着软硬件技术以及网络技术的飞速发展,视频资源数量的急剧增加,越来越多的人选择使用计算机或手机等移动设备观看视频。大量的视频数据亟需高效的视频内容管理方式，从而给用户更好的多媒体体验。用关键帧代表视频片段是一种常用的视频管理方式，用户只需要浏览少数的关键帧就可以了解视频的内容。因此，人们一直在努力开展关键帧提取技术的研究。另一方面，由于视频数据的几何式增长，视频检索在多媒体处理领域中越来越重要，传统的视频检索主要是依靠文本标注来实现，这种方法工作量大，效率低，而且主观性较大，因此一种自动、客观、全面的视频检索方式——基于内容的视频检索是近年来的一个研究重点。基于内容的视频检索的一个重要步骤就是从视频序列中提取关键帧，并以关键帧为索引对原始内容进行检索。因此，关键帧提取在基于内容的视频检索中有着重要的作用。目前的视频关键帧提取的方法大致分为两大类，第一类是基于采样的关键帧提取方法，这类方法采用随机或均匀抽样的方式得到关键帧，这类方法虽然简单快捷，但是可能会导致一些重要的视频片段没有选到关键帧，或者是一些片段取到重复的关键帧；第二类是基于镜头分割的关键帧提取方法，这类方法把视频分成若干个视频镜头，然后选取每个镜头的首帧或末帧作为视频关键帧，此类方法受限于镜头分割的精度，同时，此类方法获得的关键帧并不能完全体现视频镜头的内容。视频关键帧的数目也是个重要的问题，视频关键帧选取本质上是选择能够代表视频内容的帧。关键帧数目的太多，虽然较高程度的体现了视频的内容，但增加了视频检索的计算量，而且也在某种程度上失去了关键帧的意义(选取关键帧的目的是为了简洁的表示视频)；而如果关键帧数目太少，则不能完全体现视频的内容。另外，现有关键帧提取技术大多选取的关键帧数目都是相对固定的，例如，基于采样的方法，均匀采样一般都是间隔固定的时间段选取一帧作为关键帧，随机抽样一般都预设了关键帧总数目；基于镜头分割的方法，镜头分割确定后，关键帧的数目也就确定了。即现有方法决定了同一个视频选取的关键帧数目是相对固定的。
技术实现思路
本专利技术针对现有视频关键帧提取技术存在的不足，提供一种既能最大程度上代表视频内容又能实现用户交互式设定关键帧数目的视频关键帧选取方法。与现有技术相比，本专利技术从关键帧提取的本质出发，利用归一化图割理论和整数规划选取关键帧，不仅能够尽大程度的代表视频内容，而且设定一个尺度因子，通过选择不同尺度实现用户交互的决定关键帧的大体数目，本专利技术称之为基于整数规划的多尺度视频关键帧提取方法。本专利技术采用的技术方案为：一种基于整数规划的多尺度视频关键帧提取方法，其特征在于该方法包括以下步骤：(1)视频图建模：把视频建模成无向权重图；(2)视频内容划分：设定尺度因子s，所述尺度因子由用户根据需要设定用于确定关键帧的数目，并利用归一化图割理论把视频序列根据内容划分成s个部分；(3)整数规划建模：对划分后的视频序列的视频图进行整数规划建模，选取关键帧。优选地，所述步骤(1)的具体实现步骤是：①视频帧抽象为高维空间中的顶点，顶点之间连线作为边，构造为高维空间中的图；②提取视频帧的SURF(SpeedUpRobustFeature：快速鲁棒特征)，以不同帧的特征点的距离函数作为边权重，把视频抽象成的图转变为权重图。优选地，所述步骤(3)的具体实现步骤是：对以上步骤(1)得到的视频图，首先定义每个顶点的标号，如果该顶点对应的视频帧被选为关键帧，则标号为1，否则为0，整数规划的目标函数就是最大化所有顶点的标号和，约束条件有两个，其一是保证选为关键帧对应的视频图顶点之间要互不相连，其二是保证视频图的每一部分都至少有一个点的标号为1，整数规划的解是一个最优的标号集，其中标号为1的顶点集合就是关键帧的集合。优选地，步骤(1)中所使用的距离函数是能够实现权重和距离成反比关系的函数。上述方法首先对视频进行图建模，以SURF距离函数构造权重，利用归一化图割理论把视频划分成若干部分，并对视频图进行整数规划建模，选取图顶点作为视频关键帧。本专利技术既能提取到代表视频内容的关键帧，又能交互式的调节关键帧数目，与现有技术相比，本专利技术的技术充分考虑了视频内容的区分性和代表性，在不同内容的视频片段选取关键帧，既保证了内容的代表性有避免了关键帧内容的重复，同时，本专利技术可以根据尺度因子来调节关键帧的数目，当用户仅需要了解视频内容大概时，可以设置较小的尺度因子得到较少的关键帧，当需要更详细的视频内容时，可以设置较大的尺度因子得到较多数目的关键帧，这是传统的关键帧技术所不具备的。附图说明图1是本专利技术的步骤框架示意图。图2是某一视频帧SURF示意图。图3是视频图整数规划建模示意图。图4关键帧提取示例：(a)原始视频帧；(b)不同尺度下的关键帧。具体实施方式下面结合附图对本专利技术加以详细的说明。本专利技术的方法按图1所示流程，包括如下具体步骤：(1)视频图建模①视频图建模即把视频用无向图G＝(V,E)表示，其中V和E分别代表图顶点集和边集。视频每帧对应于图顶点，顶点之间相互连线构成图的边集。②定义边权重。图的边权重表示视频不同帧之间的关系，本专利技术利用不同帧的加速鲁棒特征(Speed-UpRobustFeature：SURF)之间的Hausdoff距离的函数来定义权重。SURF是指图像中的兴趣点，一般指的是角点、斑点等人类视觉感兴趣的点，具有可重复性和可靠性，即可以抵抗选择、平移、光照和噪声等干扰，具有较强的鲁棒性，而且SURF的检索速度快，效率高。图2是某一视频帧SURF示意图。具体的方法为：对于视频的每一帧，计算每一点x＝(x,y)的Hessian矩阵行列式的值来判断是否是特征点。Hessian矩阵的定义如下：其中Lxx(x,σ)，Lxy(x,σ)和Lxy(x,σ)是高斯函数的二阶偏导和在点x＝(x,y)的卷积。σ是表示点x＝(x,y)所在的尺度。Hessian矩阵的行列式值如下：若点的Hessian矩阵行列式值为正，则代表该点为局部极值点。然后利用非最大抑制算法搜索不同尺度上的特征点。最后利用Haar小波响应并通过累加扇形区域的小波响应来确定特征点的方向，构造特征向量。为计算方便，本专利技术每帧取相同数目的特征点，对于图顶点i和j的边权重wij定义如下：wij＝e-H(i,j)(3)其中H(i,j)是对于两帧特征点集合的Hausdorff距离。之所有采用这种函数形式是为了视频内容划分的需要，对于视频不同帧来说，边权重越大，即两帧对应的图顶点之间的距离越小，说明两帧之间的内容越相似。为进一步提高方法效率，把权重小于设定阈值的边移除。另外，对于距离权重的定义也可以采用其它能够实现权重和距离成反比关系的函数。(2)视频内容划分视频内容划分就是把视频序列根据内容(合理地)分成两份或者M份。从视频图建模的角度来说，这个问题就相当于图划分的问题，即给定一个图G＝(V,本文档来自技高网...

【技术保护点】
一种基于整数规划的多尺度视频关键帧提取方法，其特征在于该方法包括以下步骤：(1)视频图建模：把视频建模成无向权重图；(2)视频内容划分：设定尺度因子s，所述尺度因子由用户根据需要设定用于确定关键帧的数目，并利用归一化图割理论把视频序列根据内容划分成s个部分；(3)整数规划建模：对划分后的视频序列的视频图进行整数规划建模，选取关键帧。

【技术特征摘要】
1.一种基于整数规划的多尺度视频关键帧提取方法，其特征在于该方法包括以下步骤：(1)视频图建模：把视频建模成无向权重图，具体实现步骤为：①视频帧抽象为高维空间中的顶点，顶点之间连线作为边，构造为高维空间中的图；②提取视频帧的SURF特征即快速鲁棒特征，以不同帧的特征点的距离函数作为边权重，把视频抽象成的图转变为权重图；(2)视频内容划分：设定尺度因子s，所述尺度因子由用户根据需要设定用于确定关键帧的数目，并利用归一化图割理论把视频序列根据内容划分成s个部分；(3)整数规划建模：对划分后的视频序列的视频图进行整数规划建模...

【专利技术属性】
技术研发人员：聂秀山，柴彦娥，马林元，
申请(专利权)人：聂秀山，
类型：发明
国别省市：山东;37