一种基于运动矢量投影矩阵的H.264/AVC压缩域视频匹配方法组成比例

本发明专利技术提供了一种基于运动矢量投影矩阵的H.264/AVC压缩域视频匹配方法，为了解决传统视频匹配方法需要将视频全部解压缩且计算量大的问题，本发明专利技术提出了一种基于运动矢量投影矩阵的H.264压缩域视频匹配方法，属于视频处理领域。该方法通过对H.264压缩码流中提取出来的运动矢量进行时间域均值化和空间域均值化处理，然后投影到高斯随机矩阵上，经四分位数量化后形成视频签名，最后利用该视频签名进行视频匹配和检索，不仅省去了对视频完全解压缩的步骤，还在保证匹配效果良好的条件下，有效降低了计算复杂度，节省了大量检索的时间。

【技术实现步骤摘要】
一种基于运动矢量投影矩阵的H.264/AVC压缩域视频匹配方法
本专利技术属于视频处理领域，一种压缩域视频匹配方法，具体涉及一种基于运动矢量投影矩阵的H.264/AVC(高级视频编码)压缩域视频匹配方法。
技术介绍
现如今，由于网络通信技术和多媒体技术的飞速发展，数字多媒体已经广泛应用于广告、娱乐、教育、医学等多个领域。众多应用导致数字视频数量快速增加。如何对巨大的视频库进行有效管理，从大量视频库中高效地检索出与目标视频相匹配的视频数据已经成为十分重要的研究课题。目前存储或传输视频大多以压缩的形式出现，直接在压缩域中进行处理和分析可以避免复杂的视频全解码过程，从而有效降低检索中的计算复杂度、缩短检索时间。因此，压缩域视频检索匹配技术越来越受到广泛关注。H.264/AVC作为目前最流行的视频编解码标准，具有比以往编码标准更出色的压缩性能，广泛应用于如网络电视、高清电视、视频监控以及各种移动设备等众多领域，针对H.264/AVC压缩视频的检索和匹配更是各界纷纷研究的热点。(ZargariF,MehrabiM,GhanbariM.CompresseddomaintexturebasedvisualinformationretrievalmethodforI-framecodedframes.IEEETransConsumElectron56(2):728–736,2010)和(MehrabiM,ZargariF,GhanbariM.FastandlowcomplexitymethodforcontentaccessingandextractingDC-framesfromH.264codedvideos.IEEETransConsumElectron56(3):1801–1808,2010)分别利用I帧编码信息中的预测模式和直流分量值，通过二者的直方图进行检索和匹配。该方法仅仅利用了I帧中的空间信息，并未考虑视频序列的时间特征。现有的基于P帧的视频检索和匹配算法(SovanBiswasR.VenkateshBabu.H.264COMPRESSEDVIDEOCLASSIFICATIONUSINGHOMV.IEEEICASSP2013:2040-2044,2013)和(MopuriKReddy,SahilArora,R.VenkateshBabu.Spatio-TemporalfeaturebasedVLADforefficientVideoRetrieval.ComputerVision,PatternRecognition,ImageProcessingandGraphics(NCVPRIPG),2013FourthNationalConferenceon,2013)将HOMV(运动矢量的方向直方图)作为视频签名进行视频检索和匹配。该方法对预处理后的运动矢量MV先在时间域上划分成t帧重合的层，对时间域的每一层，再在空间域上划分成相互重叠的立方体。对每一个时间-空间立方体，将所属在该时间-空间立方体中的运动矢量进行分析处理，处理方法为：将运动矢量的幅度作为权值，把运动矢量的方向分成n组，统计落在每一组中的运动矢量的个数。该统计结果即为该时间-空间立方体的运动矢量方向直方图，即为视频签名。具体按如下公式实现：首先，按下式计算时间-空间立方体内运动矢量的方向和幅度：orientation(x,y)＝|tan-1(MVy/MVx)×n/π|其中，MVx和MVy分别是运动矢量MV在水平和垂直方向的分量，orientation(x,y)为在位置点(x,y)处运动矢量的方向，magnitude(x,y)为位置点(x,y)处运动矢量的幅度，n为方向分组的个数。对每一个分组的统计个数按下式进行初始化：feature＝01×n其中，feature为落在各个方向分组的统计个数，是一个长度为n的一维向量。然后，统计落在每个分组的运动矢量个数：feature(orientation(x,y))＝feature(orientation(x,y))+magnitude(x,y)利用以下公式统计得出HOMV作为该时间-空间立方体的视频签名：HOMV＝feature/||feature||1其中，||feature||1为特征向量feature的模值。重复以上运算得出每一个时间-空间立方体的视频签名。最后，利用K-均值聚类算法对视频签名进行聚类分析，完成视频匹配和检索。该方法在得出时间-空间立方体时，对视频进行了大量的重叠计算，增加了大量不必要的计算量。
技术实现思路
针对上述缺陷或不足，本专利技术的目的在于提供一种基于运动矢量投影矩阵的H.264/AVC压缩域视频匹配方法。为达到以上目的，本专利技术的技术方案为：包括以下步骤：步骤一、提取运动矢量：对库视频与查询视频的H.264/AVC的压缩码流进行部分解码，以提取出运动矢量MV(i,j)f，其中，f为每秒的帧数，i和j分别表示运动矢量MV在第f帧中水平方向和垂直方向的位置点；步骤二、时间域均值化运动矢量：2.1)、利用指示函数I(i,j)f将帧内编码的影响系数设置为零，指示函数I(i,j)f用下式表示：2.2)、对每帧中相同位置处的块进行均值化，均值化以后的运动矢量矩阵记为MVT(i,j)；步骤三、空间域均值化运动矢量：对时间域处理后的运动矢量矩阵MVT(i,j)进行空间8×8块的平均，得到空间域均值化以后的运动矢量矩阵MVS(k,l)，其中，k为MVS(k,l)在水平方向的位置点，l为MVS(k,l)在垂直方向的位置点；步骤四、生成高斯随机矩阵：通过代码生成s个与MVS(k,l)大小相同的、服从高斯分布的随机矩阵分别标记为R(i)，i＝1,2,...s；步骤五、将运动矢量矩阵投影到高斯随机矩阵上；首先，分别提取MVS(k,l)在水平方向的分量MVSX(k,l)和垂直方向的分量MVSY(k,l)，然后，将MVSX(k,l)和MVSY(k,l)分别投影到步骤四中生成的服从高斯分布的随机矩阵R(i)上，得到MVSX(k,l)在随机矩阵R(i)上的投影结果PX(i)和MVSY(k,l)在随机矩阵R(i)上的投影结果PY(i)；步骤六、量化生成视频签名：6.1)、采用四分位数量化法，按下式将PX(i)分为四等份，分别标记为0,1,2,3：其中HX(i)表示水平方向分量的投影结果量化以后的哈希码流值，Q1、Q2、Q3分别为PX(i)的四分位数；6.2)、将量化以后的值排列起来形成长度为s的一维四值向量，作为这一秒水平方向分量的视频签名；6.3)、对于垂直方向分量的投影结果PY(i)，采用与水平方向分量同样的量化方法，得出垂直方向的视频签名，将水平方向和垂直方向分量的量化结果排列起来，形成长度为2s的一维四值向量，作为这一秒视频的签名；6.4)、重复步骤6.1)到6.3)过程，直到得出整个视频的签名；步骤七、计算视频签名之间的距离：步骤八、视频检索和匹配：采用滑动窗的方法找出库视频与查询视频的最佳匹配时间，得出与查询视频最匹配的库视频。与现有技术比较，本专利技术的有益效果为：(1)传统的视频检索与匹配算法是对视频全部解压缩以后处理的，而本专利技术提出的视频检索和匹配方法，对H.264/AVC压缩码流仅进行部分本文档来自技高网...

【技术保护点】
一种基于运动矢量投影矩阵的H.264/AVC压缩域视频匹配方法，其特征在于，包括以下步骤：步骤一、提取运动矢量：对库视频与查询视频的H.264/AVC的压缩码流进行部分解码，以提取出运动矢量MV(i,j)f，其中，f为每秒的帧数，i和j分别表示运动矢量MV在第f帧中水平方向和垂直方向的位置点；步骤二、时间域均值化运动矢量：2.1)、利用指示函数I(i,j)f将帧内编码的影响系数设置为零，指示函数I(i,j)f用下式表示：2.2)、对每帧中相同位置处的块进行均值化，均值化以后的运动矢量矩阵记为MVT(i,j)；步骤三、空间域均值化运动矢量：对时间域处理后的运动矢量矩阵MVT(i,j)进行空间8×8块的平均，得到空间域均值化以后的运动矢量矩阵MVS(k,l)，其中，k为MVS(k,l)在水平方向的位置点，l为MVS(k,l)在垂直方向的位置点；步骤四、生成高斯随机矩阵：通过代码生成s个与MVS(k,l)大小相同的、服从高斯分布的随机矩阵分别标记为R(i)，i＝1,2,...s；步骤五、将运动矢量矩阵投影到高斯随机矩阵上：首先，分别提取MVS(k,l)在水平方向的分量MVSX(k,l)和垂直方向的分量MVSY(k,l)，然后，将MVSX(k,l)和MVSY(k,l)分别投影到步骤四中生成的服从高斯分布的随机矩阵R(i)上，得到MVSX(k,l)在随机矩阵R(i)上的投影结果PX(i)和MVSY(k,l)在随机矩阵R(i)上的投影结果PY(i)；步骤六、量化生成视频签名：6.1)、采用四分位数量化法，按下式将PX(i)分为四等份，分别标记为0,1,2,3：HX(i)=0,PX(i)≤Q11,Q1<PX(i)≤Q22,Q2<PX(i)≤Q33,PX(i)>Q3]]>其中HX(i)表示水平方向分量的投影结果量化以后的哈希码流值，Q1、Q2、Q3分别为PX(i)的四分位数；6.2)、将量化以后的值排列起来形成长度为s的一维四值向量，作为这一秒水平方向分量的视频签名；6.3)、对于垂直方向分量的投影结果PY(i)，采用与水平方向分量同样的量化方法，得出垂直方向的视频签名，将水平方向和垂直方向分量的量化结果排列起来，形成长度为2s的一维四值向量，作为这一秒视频的签名；6.4)、重复步骤6.1)到6.3)过程，直到得出整个视频的签名；步骤七、计算视频签名之间的距离：步骤八、视频检索和匹配：采用滑动窗的方法找出库视频与查询视频的最佳匹配时间，得出与查询视频最匹配的库视频。...

【技术特征摘要】
1.一种基于运动矢量投影矩阵的H.264/AVC压缩域视频匹配方法，其特征在于，包括以下步骤：步骤一、提取运动矢量：对库视频与查询视频的H.264/AVC的压缩码流进行部分解码，以提取出每个帧间编码块的运动矢量，将视频第f帧中水平方向第i个块、垂直方向第j个块所在位置的4×4块的运动矢量记为MV(i,j)f；步骤二、时间域均值化运动矢量：2.1)、利用指示函数I(i,j)f将帧内编码的影响系数设置为零，指示函数I(i,j)f用下式表示：2.2)、对一秒中的每个帧间编码帧中相同位置处的块进行均值化，均值化以后的运动矢量矩阵记为MVT(i,j)；步骤三、空间域均值化运动矢量：对时间域处理后的运动矢量矩阵MVT(i,j)进行空间8×8块的平均，得到空间域均值化以后的运动矢量矩阵MVS(k,l)，其中，k为MVS(k,l)在水平方向的位置点，l为MVS(k,l)在垂直方向的位置点；步骤四、生成高斯随机矩阵：通过代码生成s个与MVS(k,l)大小相同的、服从高斯分布的随机矩阵分别标记为R(i)，i＝1,2,...s；步骤五、将运动矢量矩阵投影到高斯随机矩阵上：首先，分别提取MVS(k,l)在水平方向的分量MVSX(k,l)和垂直方向的分量MVSY(k,l)，然后，将MVSX(k,l)和MVSY(k,l)分别投影到步骤四中生成的服从高斯分布的随机矩阵R(i)上，得到MVSX(k,l)在随机矩阵R(i)上的投影结果PX(i)和MVSY(k,l)在随机矩阵R(i)上的投影结果PY(i)；步骤六、量化生成视频签名：6.1)、采用四分位数量化法，按下式将PX(i)分为四等份，分别标记为0,1,2,3：其中HX(i)表示水平方向分量的投影结果量化以后的哈希码流值，Q1、Q2、Q3分别为PX(i)的四分位数；6.2)、将量化以后的值排列起来形成长度为s的一维四值向量，作为步骤2.2中所述一秒的水平方向分量视频签名；6.3)、对于垂直方向分量的投影结果PY(i)，采用与水平方向分量同样的量化方法，得出垂直方向的视...

【专利技术属性】
技术研发人员：王萍，李平，黄华，
申请(专利权)人：西安交通大学，北京理工大学深圳研究院，
类型：发明
国别省市：陕西;61