融合全局R特征的近似重复视频检索方法技术

本发明专利技术公开的融合全局R特征的近似重复视频检索方法，首先执行对数据库中视频提取局部SIFT特征；其次执行根据局部SIFT特征中的坐标信息建立全局R特征；然后执行利用局部SIFT特征中描述符信息建立BOF检索模型；接下来根据BOF模型，建立投票检索模型；最后执行应用信息融合策略把全局几何分布信息融合到BOF模型中，在大规模的数据中精确的检索近似重复视频。本发明专利技术融合全局R特征的近似重复视频检索方法能够根据信息融合策略把全局几何分布信息融合于BOF模型中，实现在大规模的数据中精确的检索近似重复视频。

Approximate repeated video retrieval method incorporating global R features

Approximate duplicate video retrieval method disclosed by the invention combines the global R features, the first implementation of the extraction of local features of SIFT video database; secondly carried out according to the local SIFT features in coordinate information to establish the global R features; then executed using local SIFT feature descriptor information based BOF retrieval model; then according to the BOF model, the establishment of the voting the final implementation of retrieval model; application of information fusion strategy of the global geometric distribution of information fusion to the BOF model, in large-scale data accurate retrieval near duplicate video. Near duplicate video retrieval method according to information fusion strategy the global geometric distribution of information fusion in BOF model of the invention combines the global R features, implemented in large-scale data accurate retrieval near duplicate video.

【技术实现步骤摘要】
融合全局R特征的近似重复视频检索方法
本专利技术属于视频分析及检索方法
，具体涉及一种融合全局R特征的近似重复视频检索方法。
技术介绍
随着通信技术、视频采集设备、视频编辑软件的快速发展，网络视频的数量呈指数级增长。同时，视频相关的服务，如：广告、视频分享、推荐和监控，激发了在线用户的兴趣并且参与到视频相关的活动中，如：搜索、上传、下载和评论等。如今，每天都会有大量的视频在互联网被上传和共享，网上存在着大量几乎重复的视频。大量近似重复视频的出现催生了许多新的应用，如：视频结果重新排序，版权保护，在线视频使用监测、视频标注及视频数据库清理等等。例如：一个典型的情况可能是，一个网站的用户想要寻找一些新的视频，但最终在搜索引擎返回的排名结果很多重复的视频；另一种情况可能是，一个视频制作者希望他们的版权保护的视频，以避免在互联网上共享。以上这两种场合都需要近似重复视频检索技术来实现各自的目标。近年来，近似重复视频检索成为研究的热点，很多的研究者都在研究这个技术。目前，大多数现有的方法通常是采用下面的近似重复视频检索框架(R.Fernandez-Beltran，andF.Pla，“Latenttopics-basedrelevancefeedbackforvideoretrieval，”PatternRecognition，vol.51，pp.72-84，Mar，2016.)：首先，通过镜头边界检测和采样算法把视频分解为一系列的关键帧；其次，对这些关键帧提取视觉特征，如：尺度不变特征(SIFT)，局部二进制模式(LBP)等，用关键帧的视觉特征序列来表示整个视频；最后，系统需要根据视觉特征序列来计算每个数据集中的视频和查询视频之间的相似性，并且返回数据集中与查询视频最相似视频的名称。通常情况下，无论是时间还是空间信息可被用来评估两个视频之间的相似性(M.Douze，H.Jegou，andC.Schmid，“AnImage-BasedApproachtoVideoCopyDetectionWithSpatio-TemporalPost-Filtering，”IeeeTransactionsonMultimedia，vol.12，no.4，pp.257-266，Jun，2010.C.-L.Chou，H.-T.Chen，andS.-Y.Lee，“Pattern-BasedNear-DuplicateVideoRetrievalandLocalizationonWeb-ScaleVideos，”IeeeTransactionsonMultimedia，vol.17，no.3，pp.382-395，Mar，2015.)。此外，也有一些现有的方法，对整个视频提取一个全局特征来实现实时检索，但这种方法一般不能用来对长时间视频进行有效检索(X.Zhou，andL.Chen，“StructureTensorSeries-BasedLargeScaleNear-DuplicateVideoRetrieval，”Multimedia，IEEETransactionson，vol.14，no.4，pp.1220-1233，2012.)。在最近出现的一些文献中，两个视频中成对的帧之间的相关性的也被用来衡量视频的相似性(J.Liu，Z.Huang，H.T.Shen，andB.Cui，“Correlation-BasedRetrievalforHeavilyChangedNear-DuplicateVideos，”AcmTransactionsonInformationSystems，vol.29，no.4，Dec，2011.)。最近的近重复视频检索技术的文献综述可以参考文献(J.Liu，Z.Huang，H.Cai，H.T.Shen,N.ChongWah，andW.Wang，“Near-DuplicateVideoRetrieval:CurrentResearchandFutureTrends，”AcmComputingSurveys，vol.45，no.4，Aug，2013.)。目前，大部分的近重复视频检索方法都是基于局部特征和BOF检索模型的，但是这些方法只利用了单一的局部纹理信息，忽略了特征点的全局信息，从而导致视频检索的精确度不高。
技术实现思路
本专利技术的目的在于提供一种融合全局R特征的近似重复视频检索方法，能够根据信息融合策略把全局几何分布信息融合于BOF模型中，实现在大规模的数据中精确的检索近似重复视频。本专利技术所采用的技术方案是，融合全局R特征的近似重复视频检索方法，具体按照以下步骤实施：步骤1、对数据库中视频提取局部SIFT特征；步骤2、经步骤1后，根据获取的局部SIFT特征中的坐标信息建立全局R特征；步骤3、待步骤2完成后，利用局部SIFT特征中描述符信息建立BOF特征模型；步骤4、根据步骤3得到的BOF特征模型，建立基于BOF的投票检索模型；步骤5、应用信息融合策略把全局几何分布信息融合到经步骤4建立的基于BOF的投票检索模型中，在大规模的数据中精确的检索近似重复视频。本专利技术的特点还在于：步骤1具体按照以下方法实施：先对参考视频库中的所有视频进行关键帧提取，然后对每个关键帧都进行SIFT特征提取。对关键帧提取采用的是均匀采样的方法，且每隔6秒提取一帧图像；SIFT特征提取是采用D.G.Lowe，“Distinctiveimagefeaturesfromscale-invariantkeypoints，”InternationalJournalofComputerVision，vol.60，no.2，pp.91-110，Nov，2004.的方法，(采用文献“独特的尺度不变图像特征”中的方法)对关键帧提取SIFT特征，其提取的信息包括有：特征点的位置、尺度、角度以及局部描述信息。步骤2具体按照以下方法实施：根据步骤1得到的局部SIFT特征中的坐标信息建立全局R特征是根据提取的SIFT特征中的位置信息，采用改进的Radon变换来提取全局R特征；Radon变换是指一个平面内沿不同方向的直线对函数f做线积分，得到的投影就是函数f的Radon变换；这样能将一个离散的二值图像上的每个非零的像素点投影到一个Radon矩阵中；对于一幅图像f(x,y)，x,y为图像中像素的坐标，则该图像f(x,y)经Radon变换表示为如下形式：在式(1)中：δ(·)是狄拉克δ函数又称为单位脉冲函数，在除了零以外的点都等于零，而其在整个定义域上的积分等于1；θ为角度，且θ∈[0,π)；ρ为极径，且ρ∈(-∞,∞)；改进的Radon变换在本专利技术融合全局R特征的近似重复视频检索方法中又称为R变换，用公式表示为如下形式：在式(2)中，是f(x,y)的Radon变换；改进的Radon变换解决了原变换不具备尺度、旋转及平移不变性的问题；应用(2D)2PCA主成份分析算法对从R变换得到的矩阵进行主成份分析变换得到相应的低维矩阵作为最终的特征，称为R特征；(2D)2PCA采用的是文献“双向二维主成分分析在高效的人脸表示与识别中的应用”中的双向二维主成分分析方法，同时在行和列两个方向上进行主成份分析和计算，这样能获得更高的识别精度的特征。步骤3具体按照以下步骤实施本文档来自技高网...

【技术保护点】
融合全局R特征的近似重复视频检索方法，其特征在于，具体按照以下步骤实施：步骤1、对数据库中视频提取局部SIFT特征；步骤2、经步骤1后，根据获取的局部SIFT特征中的坐标信息建立全局R特征；步骤3、待步骤2完成后，利用局部SIFT特征中描述符信息建立BOF特征模型；步骤4、根据步骤3得到的BOF特征模型，建立基于BOF的投票检索模型；步骤5、应用信息融合策略把全局几何分布信息融合到经步骤4建立的基于BOF的投票检索模型中，在大规模的数据中精确的检索近似重复视频。

【技术特征摘要】
1.融合全局R特征的近似重复视频检索方法，其特征在于，具体按照以下步骤实施：步骤1、对数据库中视频提取局部SIFT特征；步骤2、经步骤1后，根据获取的局部SIFT特征中的坐标信息建立全局R特征；步骤3、待步骤2完成后，利用局部SIFT特征中描述符信息建立BOF特征模型；步骤4、根据步骤3得到的BOF特征模型，建立基于BOF的投票检索模型；步骤5、应用信息融合策略把全局几何分布信息融合到经步骤4建立的基于BOF的投票检索模型中，在大规模的数据中精确的检索近似重复视频。2.根据权利要求1所述的融合全局R特征的近似重复视频检索方法，其特征在于，所述步骤1具体按照以下方法实施：先对参考视频库中的所有视频进行关键帧提取，然后对每个关键帧都进行SIFT特征提取。3.根据权利要求2所述的融合全局R特征的近似重复视频检索方法，其特征在于，对所述关键帧提取采用的是均匀采样的方法，且每隔6秒提取一帧图像；SIFT特征提取是采用独特的尺度不变图像特征中的方法对关键帧提取SIFT特征，其提取的信息包括有：特征点的位置、尺度、角度以及局部描述信息。4.根据权利要求1所述的融合全局R特征的近似重复视频检索方法，其特征在于，所述步骤2具体按照以下方法实施：根据步骤1得到的局部SIFT特征中的坐标信息建立全局R特征是根据提取的SIFT特征中的位置信息，采用改进的Radon变换来提取全局R特征；Radon变换是指一个平面内沿不同方向的直线对函数f做线积分，得到的投影就是函数f的Radon变换；这样能将一个离散的二值图像上的每个非零的像素点投影到一个Radon矩阵中；对于一幅图像f(x,y)，x,y为图像中像素的坐标，则该图像f(x,y)经Radon变换表示为如下形式：在式(1)中：δ(·)是狄拉克δ函数又称为单位脉冲函数，在除了零以外的点都等于零，而其在整个定义域上的积分等于1；θ为角度，且θ∈[0,π)；ρ为极径，且ρ∈(-∞,∞)；改进的Radon变换在本发明融合全局R特征的近似重复视频检索方法中又称为R变换，用公式表示为如下形式：在式(2)中，是f(x,y)的Radon变换；改进的Radon变换解决了原变换不具备尺度、旋转及平移不变性的问题；应用(2D)2PCA主成份分析算法对从R变换得到的矩阵进行主成份分析变换得到相应的低维矩阵作为最终的特征，称为R特征；(2D)2PCA采用的是双向二维主成分分析在高效的人脸表示与识别中的应用中的双向二维主成分分析方法，同时在行和列两个方向上进行主成份分析和计算，以便于能获得更高的识别精度的特征。5.根据权利要求1所述的融合全局R特征的近似重复视频检索方法，其特征在于，所述步骤3具体按照以下步骤实施：步骤3.1、用大规模数据分级聚类算法对图像库中的SIFT特征中的描述符进行训练，生成类；所述大规模数据分级聚类算法是一种聚类算法；步骤3.2，经步骤3.1后，进行量化，生成每幅图像的BOF特征，具体方法如下：量化生成每幅图像的BOF特征是指判断图像的每个特征点与哪个类中心最近，最近的则放入该类中心，最后将生成一列频数表，即初步的无权BOF；接下来通过tf-idf对频数表加上权重，生成最终的加权BOF特征；其中，对查询视频的特征进行量化方法如下：q:Rd→[1,k]在式(3)中q：表示量化，Rd表示实数空间中的d维数据，k表示类中心的数量，xi,j,i＝1,...,m2为参考视频库中第j帧中第i个特征；计算每帧的tf-idf权值方法具体如下：

【专利技术属性】
技术研发人员：廖开阳，王玮，郑元林，曹从军，赵凡，蔺广逢，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61