一种社群图像检索方法及系统技术方案

本发明专利技术属于社群图像检索领域，提出一种社群图像检索方法，包括步骤一、图像局部特征提取，步骤二、图像全局上下文特征提取，步骤三、通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，步骤四、图像特征量化，步骤五、生成倒排序索引文件，步骤六、图像检索。提出一种社群图像检索系统，包括图像局部特征提取模块、图像全局特征提取模块、获取视觉字典模块、图像特征量化模块、排序索引文件模块、图像检索模块。采用本发明专利技术方法及系统提高了图像检索的准确率与召回率。

A method and system for community image retrieval

The invention belongs to the field of community image retrieval, a retrieval method was put forward including community image, extraction step, a local image feature extraction, image, step two global context features, step three, through the training of visual words, get the local characteristics of the visual dictionary and global context features of visual dictionary, step four, image feature quantization, step five to generate the inverted file, step six, image retrieval. A community image retrieval system is proposed, including image local feature extraction module, image global feature extraction module, visual dictionary module, image feature quantization module, sorting index file module and image retrieval module. The method and system of the invention have been adopted to improve the accuracy and recall of image retrieval.

【技术实现步骤摘要】
一种社群图像检索方法及系统
本专利技术涉及互联网社群图像检索
，尤其涉及一种社群图像检索方法及系统。
技术介绍
随着互联网技术的不断发展，尤其是web2.0的快速发展，各种类型的多媒体信息资源急剧增长，要从这个茫茫的信息海洋中快速、有效的找到自己所需要的资源，变得越来越困难。近几年来，社交媒体网站Facebook，Yahoo的社交图像分享网站Flicker等等，每天都会产生容量相当大的图像数据，如何有效的处理与利用这些海量的图像信息，成为当前计算机视觉领域的一个研究热点，而从海量图像数据信息当中，快速准确地检索到满足用户检索意图的图像信息，更是信息检索领域一项重要的研究课题。丰富的多媒体信息出现，极大的推动了大规模信息检索系统的发展。目前比较常用的图像检索系统大致分为两类：一、基于关键字的图像检索(Text-basedimageretrieval,TBIR)，比如天津大学硕士毕业论文，基于双关键字的图像检索模型及系统。二、基于内容的图像检索(Content-basedimageretrieval,CBIR)。其中基于关键字的图像检索仅仅利用网络用户标注的信息进行检索，由于大部分网络用户没有受过专门的图像信息标注训练，同时也受到其个人的文化背景、个人因素等影响，故图像存在标注信息与图像本身相关度不大等问题，并且标注的信息相关性、重要性等方面，不能够由现有的标注信息次序所反映。而基于内容的图像检索主要是利用图像的局部信息或者图像的全局信息进行描述，图像的全局信息描述的图像的局部特征分布，并不能反映图像的整体信息。
技术实现思路
本专利技术需要解决的技术问题是：针对上述技术缺陷，本专利技术提出了一种社群图像检索方法，包括如下步骤：步骤一、图像局部特征提取，步骤二、图像全局上下文特征提取，步骤三、通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，步骤四、图像特征量化，步骤五、生成倒排序索引文件，步骤六、图像检索。优选的是，所述步骤一中采用SIFT特征提取方法提取图像局部特征。上述任一实施方式中优选的是，所述步骤二中图像全局上下文特征提取包括：(1)图像边缘检测；(2)全局上下文区域选取；(3)全局上下文形状特征描述。上述任一实施方式中优选的是，所述步骤(1)中图像边缘检测是采用canny边缘检测算法检测图像的边缘信息。上述任一实施方式中优选的是，所述步骤(2)中全局上下文区域选取具体方法如下：以步骤(1)中检测到的特征点X＝(x,y)T为基准，则降采样后的坐标点为以圆心，画一个半径为r＝k*σ的圆，以所述圆作为特征点X＝(x,y)T的上下文区域，其中σ为特征点的尺度信息,k控制半径的大小，同时以特征点的方向为基准，将k*σ的圆划分成60个区域，角度方向划分成12等份，则每个角的大小为半径方向分成5个区间，以特征点为圆心，半径以进行增长。上述任一实施方式中优选的是，所述步骤(3)中全局上下文形状特征描述是在步骤(2)划分的每个区域中，统计每个区域边缘点的个数。上述任一实施方式中优选的是，所述步骤四中图像特征量化中局部特征量化过程为：s.t.Wli∈Wl其中，Localj是图像的第j个局部特征。上述任一实施方式中优选的是，所述步骤四中图像特征量化中全局特征量化过程为：s.t.Wgi∈Wg其中，Globalj是图像的第j个全局特征。上述任一实施方式中优选的是，所述步骤五中生成倒排序索引文件过程中描述视觉单词重要程度如下：其中N表示图像的数量，||LWordListi||0表示局部特征索引列表，LWordListi包含实体的数量，||GWordListi||0表示全局特征索引列表，GWordListi包含实体的数量。上述任一实施方式中优选的是，所述步骤六中图像检索是计算查询图像与图像库中图像之间的相似度。上述任一实施方式中优选的是，所述查询图像与图像库中图像之间的相似度为：score＝λ*scoreGlobalji+(1-λ)*scoreLocalji,λ∈(0,1]其中，λ表示全局特征的权重，scoreLocal为局部特征相似度，scoreGlobal全局上下文特征相似度。。本专利技术又提出了一种社群图像检索系统，包括图像局部特征提取模块，其特征在于：还包括图像全局特征提取模块、获取视觉字典模块、图像特征量化模块、排序索引文件模块、图像检索模块；所述图像局部特征提取模块用于提取图像的局部特征，所述图像全局特征提取模块用于提取图像全局上下文特征，所述获取视觉字典模块通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，所述图像特征量化模块用于找到与每一个局部特征、全局上下文特征最相近的视觉单词，所述排序索引文件模块用于描述图像信息，所述图像检索模块用于计算查询图像与图像库中图像之间的相似度。上述任一实施方式中优选的是，所述图像局部特征提取模块采用SIFT特征提取方法提取图像局部特征。上述任一实施方式中优选的是，所述图像全局特征提取模块通过图像边缘检测、全局上下文区域选取、全局上下文形状特征描述获取图像全局上下文特征。上述任一实施方式中优选的是，所述图像检索模块中查询图像与图像库中图像之间的相似度为：score＝λ*scoreGlobalji+(1-λ)*scoreLocalji,λ∈(0,1]其中，λ表示全局特征的权重，scoreLocal为局部特征相似度，scoreGlobal全局上下文特征相似度。与现有的图像检索方法及相比，本专利技术具有以下明显优势：(1)相对于传统的图像检索方法，基于视觉内容的图像检索，从图像本身包含的语义信息出发，更能精确的描述图像；(2)本专利技术融合了多种特征，不仅考虑了图像的局部信息，而且考虑了图像的全局上下文形状信息。图像的全局特征正好可以弥补局部特征不能反映图像的整体信息这个缺陷，所以本专利技术提高了图像检索的准确率与召回率。(3)利用多个视觉词袋对图像特征进行描述，以及倒排序索引文件方法，并不影响图像的检索速率。附图说明图1是按照本专利技术社群图像检索方法在实施例中示出的流程图。图2是按照本专利技术社群图像检索方法中提取的图像局部特征点示意图。图3是按照本专利技术社群图像检索方法中图像全局上下文信息示意图。图4是按照本专利技术社群图像检索方法中倒排序索引文件结构图。具体实施方式下面结合附图对本专利技术作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本专利技术进行进一步的说明，不能理解为对本专利技术保护范围的限制，该领域的技术人员可以根据上述
技术实现思路
对本专利技术作出一些非本质的改进和调整。本专利技术所述方法的流程图如图1所示，包括以下步骤：步骤1，图像局部特征提取。利用现有的SIFT(ScaleInvariantFeatureTransform)特征提取方法，通过构建尺度空间，检测极值点，获得尺度不变性，特征点过滤并进行精确定位得到极值点的精确坐标与尺度，为特征点分配主方向，生成128维的特征描述子，得到图像的局部特征。假设图像库中的N图像可表示为对于每一幅图像Ii，利用SIFT提取算法得到图像的局部信息di表示第i幅图像特征的数目，特征向量Localj包括特征点的坐标、尺度、角度、特征描述子信息，一共132维信息，如图2所示。步骤2，图像全局上下文特征提取。步骤2.1，图像边缘检测利用ca本文档来自技高网...

【技术保护点】
一种社群图像检索方法，包括步骤一、图像局部特征提取，其特征在于：还包括以下步骤：步骤二、图像全局上下文特征提取，步骤三、通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，步骤四、图像特征量化，步骤五、生成倒排序索引文件，步骤六、图像检索。

【技术特征摘要】
1.一种社群图像检索方法，包括步骤一、图像局部特征提取，其特征在于：还包括以下步骤：步骤二、图像全局上下文特征提取，步骤三、通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，步骤四、图像特征量化，步骤五、生成倒排序索引文件，步骤六、图像检索。2.根据权利要求1所述的社群图像检索方法，其特征在于：所述步骤一中采用SIFT特征提取方法提取图像局部特征。3.根据权利要求1所述的社群图像检索方法，其特征在于：所述步骤二中图像全局上下文特征提取包括：(1)图像边缘检测；(2)全局上下文区域选取；(3)全局上下文形状特征描述。4.根据权利要求3所述的社群图像检索方法，其特征在于：所述步骤(1)中图像边缘检测是采用canny边缘检测算法检测图像的边缘信息。5.根据权利要求3所述的社群图像检索方法，其特征在于：所述步骤(2)中全局上下文区域选取包括：以步骤(1)中检测到的特征点X＝(x,y)T为基准，则降采样后的坐标点为以圆心，画一个半径为r＝k*σ的圆，以所述圆作为特征点X＝(x,y)T的上下文区域，其中σ为特征点的尺度信息,k控制半径的大小，同时以特征点的方向为基准，将k*σ的圆划分成60个区域，角度方向划分成12等份，则每个角的大小为半径方向分成5个区间，以特征点为圆心，半径以进行增长。6.根据权利要求3所述的社群图像检...

【专利技术属性】
技术研发人员：刘宏哲，袁家政，吴焰樟，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京,11