本发明专利技术提出一种适用于视频/图像局部特征的空间关系匹配方法及系统，该方法包括获取所有所述视频/图像特征点的尺度信息，确定每个所述视频/图像特征点的局部邻域空间，获取所述局部邻域空间内所有所述视频/图像特征点的视觉关键词编码，对所述视觉关键词编码进行量化处理，生成新视觉关键词编码，对所述新视觉关键词编码进行排序，生成所述视频/图像特征点的空间关系编码；比较待匹配视频/图像特征点与所述视频/图像特征点的空间关系编码，构建关系矩阵，计算所述关系矩阵中所述待匹配视频/图像特征点与所述视频/图像特征点空间关系编码相似度，融合所述待匹配视频/图像特征点与所述视频/图像特征点的视觉相似度及空间关系编码相似度。
【技术实现步骤摘要】
本专利技术涉及基于内容的图像视频检索技术，特别涉及一种适用于视频/图像局部 特征的空间关系匹配方法及系统。
技术介绍
互联网图像和视频等视觉信息的迅速增长，给信息的组织与管理带来了巨大挑 战，相似图像视频检测是实施视频图像内容管理、检索的重要技术手段。以尺度不变特征变 换（SIFT，Scale-InvariantFeatureTransform)为代表的局部特征为相似视频图像内容 检测提供了一种鲁棒的特征表达方法，它可以提取出对亮度、模糊、视角、旋转等具有不变 性的特征，已经成为视频图像内容检索应用中一项极其重要的技术。 然而，为了确保局部特征对于各类变换的鲁棒性，其区分能力降低较为严重，其 突出表现为：1)仅将一个小的邻域空间内方向梯度直方图（HOG，HistogramofOriented Gradient)作为中心点的特征描述子（参考文献Lowe,DavidG.Objectrecognitionfrom localscale-invariantfeatures.ProceedingsoftheInternationalConferenceon ComputerVision2.pp. 1150 - 1157, 1999)，对于视频图像中的文字、草地等具有局部相似 纹理分布的对象，其描述子无法区分；2)为应对旋转变换而加入的主方向提取，导致特征 不具有方向识别不能，比如不能区分"6"和"9"。而为了提高检索速度，通过词袋（B〇W，Bag ofWords)技术（参考文献Sivic,Josef.Efficientvisualsearchofvideoscastas textretrieval.IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE, 31 (4)，pp. 591 - 605, 2009)，将SIFT描述子量化为多个视觉单词，则进一步降低了SIFT的 区分能力。 通常有两类手段改进SIFT特征，一是对SIFT局部特征点的空间关系进行校验，去 除空间关系不符合仿射变换的匹配点，典型方法如随机采样一致（RANSAC，RANdomSAmple Consensus)(具体参见文南犬M.A.FischlerandR.C.Bolles.Randomsampleconsensus:a paradigmformodelfittingwithapplicationstoimageanalysisandautomated cartography.CommunicationsoftheACM, 24 (6) : 381 - 395, 1981)，缺点是计算复杂度高； 二是将SIFT特征映射到低维空间中二次划分，提高词袋中视觉单词的区分能力，典型方法 为海明嵌入（HE，HammingEmbedding)(具体参见文献H.J'egou，M.Douze,andC.Schmid. Hammingembeddingandweakgeometricconsistencyforlargescaleimagesearch. ECCV. 2008)，缺点是数据依赖性较高。
技术实现思路
针对现有技术的不足，本专利技术提出一种适用于视频/图像局部特征的空间关系匹 配方法及系统。 本专利技术提出一种适用于视频/图像局部特征的空间关系匹配方法，包括： 步骤1，获取所述视频/图像的所有视频/图像特征点与所述视频/图像特征点 的属性信息，根据所述视频/图像特征点与所述属性信息，获取所有所述视频/图像特征点 的尺度信息，通过所述尺度信息，确定每个所述视频/图像特征点的局部邻域空间，获取所 述局部邻域空间内所有所述视频/图像特征点的视觉关键词编码，对所述视觉关键词编码 进行量化处理，生成新视觉关键词编码，对所述新视觉关键词编码进行排序，生成所述视频 /图像特征点的空间关系编码； 步骤2,比较待匹配视频/图像特征点与所述视频/图像特征点的空间关系编码， 构建关系矩阵，计算所述关系矩阵中所述待匹配视频/图像特征点与所述视频/图像特征 点空间关系编码相似度，融合所述待匹配视频/图像特征点与所述视频/图像特征点的视 觉相似度及空间关系编码相似度，以完成空间关系匹配。 所述的适用于视频/图像局部特征的空间关系匹配方法，所述步骤1包括计算视 频图像特征点之间的位置距离，公式为： 其中ro(i，j)为位置距离，i、j为视频/图像特征点，x( ? )，y( ?)分别为视频/ 图像特征点在视频/图像中水平和垂直方向的位置坐标； 计算邻域空间因子s，公式为： 其中〇为所述尺度信息。 所述的适用于视频/图像局部特征的空间关系匹配方法，还包括所述邻域空间是 以所述视频/图像特征点为中心，半径为a?s的圆，其中I<a< 2,a为缩放系数。 所述的适用于视频/图像局部特征的空间关系匹配方法，所述步骤2包括： 步骤201，所述关系矩阵中，若待匹配视频/图像特征点与所述视频/图像特征点 的视觉关键词相同，则矩阵元素设置为z，否则设置为h; 步骤202,从左向右，从上而下，在符合距离顺序关系前提下，扫描关系矩阵中的元 素，构建由元素z构成的阶梯，阶梯数称为同序长度，所述同序长度最大的阶梯数为最长同 序长度； 步骤203.计算最长同序长度与有效编码长度的比值作为所述待匹配视频/图像 特征点与所述视频图像特征点的空间关系编码的相似度。 所述的适用于视频/图像局部特征的空间关系匹配方法，通过如下公式融合特征 点视觉相似度及空间关系编码相似度： Sim=(人?simv+sims) ?w 其中Sim最终相似度，Simv为所述待匹配视频/图像特征点基于特征描述子的视 觉相似度，Sims为所述待匹配视频/图像特征点基于特征描述子的空间关系编码相似度，w 为所述待匹配视频/图像特征点在整个视频图像匹配中的权重，A为特征描述子距离相对 于空间关系距离的重要程度。 本专利技术还提出一种适用于视频/图像局部特征的空间关系匹配系统，包括： 生成空间关系编码模块，用于获取所述视频/图像的所有视频/图像特征点与所 述视频/图像特征点的属性信息，根据所述视频/图像特征点与所述属性信息，获取所有所 述视频/图像特征点的尺度信息，通过所述尺度信息，确定每个所述视频/图像特征点的局 部邻域空间，获取所述局部邻域空间内所有所述视频/图像特征点的视觉关键词编码，对 所述视觉关键词编码进行量化处理，生成新视觉关键词编码，对所述新视觉关键词编码进 行排序，生成所述视频/图像特征点的空间关系编码； 空间关系匹配模块，用于比较待匹配视频/图像特征点与所述视频/图像特征点 的空间关系编码，构建关系矩阵，计算所述关系矩阵中所述待匹配视频/图像特征点与所 述视频/图像特征点空间关系编码相似度，融合所述待匹配视频/图像特征点与所述视频 /图像特征点的视觉相似度及空间关系编码相似度，以完成空间关系匹配。 所述的适用于视频/图像局部特征的空间关系匹配系统，所述生成空间关系编码 模块包括计算视频图像特征点之间的位置距离，公式为： 其中ro(i，j)为位置距离，i、j为视频/图像特征点，x( ? )，y( ?)分别为视频/ 图像特征点在视频/图像中水平和垂直方本文档来自技高网...
【技术保护点】
一种适用于视频/图像局部特征的空间关系匹配方法，其特征在于，包括：步骤1，获取所述视频/图像的所有视频/图像特征点与所述视频/图像特征点的属性信息，根据所述视频/图像特征点与所述属性信息，获取所有所述视频/图像特征点的尺度信息，通过所述尺度信息，确定每个所述视频/图像特征点的局部邻域空间，获取所述局部邻域空间内所有所述视频/图像特征点的视觉关键词编码，对所述视觉关键词编码进行量化处理，生成新视觉关键词编码，对所述新视觉关键词编码进行排序，生成所述视频/图像特征点的空间关系编码；步骤2，比较待匹配视频/图像特征点与所述视频/图像特征点的空间关系编码，构建关系矩阵，计算所述关系矩阵中所述待匹配视频/图像特征点与所述视频/图像特征点空间关系编码相似度，融合所述待匹配视频/图像特征点与所述视频/图像特征点的视觉相似度及空间关系编码相似度，以完成空间关系匹配。
【技术特征摘要】
【专利技术属性】
技术研发人员：张冬明，靳国庆，袁庆升，张勇东，包秀国，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。