一种基于Map‑Reduce框架的图像检索方法技术

本发明专利技术涉及一种基于Map‑Reduce框架的图像检索方法，包括：提取出各个图像的SIFT特征，然后对这些特征进行聚类；将聚类结果作为Bag of Words模型的视觉词袋，对所有图像的SIFT特征点进行量化处理，从而用一个固定维数的特征向量表示每一幅图像；利用TF‑IDF加权技术处理这些特征向量，生成带权值的BoF特征向量；依据3)生成的计算这些图像与待检索图像特征向量之间的相似度，返回相似度最高的一些图像，作为检索得到的图像返回。本发明专利技术可以提高检索的处理速度和准确性。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体涉及一种图像检索方法。
技术介绍
图像作为一种广泛使用的基本的多媒体信息，不论是在科学技术还是日常生活等各个方面都涉及到图像数据。与此同时人们感到要在海量的图像中寻找到自己所需要的图像变得越来越困难，理论源于实践，于是人们开始对图像检索进行研究，目前图像检索已经成为了当今计算机研究领域的一个研究热点。图像检索就是根据对图像内容的描述，在图像数据库中查找具有描述特征或者包含与描述特征最相似的特征的图像。图像内容主要包括视觉内容和信息内容。视觉特征比如形状、颜色、纹理等属于图像的物理表示；信息内容即图像的语义，如主题、场景、尺寸、年代等。传统的基于单节点架构的图像检索系统已经无法应对大数据时代海量图像的存储和计算需求，此时，Google主要采用GFS(Google File System)分布式文件系统来存储海量数据，并用Map-Reduce模型进行分布式计算，用BigTable替代了传统的关系数据库，它是一种基于键值对型的非关系数据库。
技术实现思路
本专利技术的目的是提供一种可以应对大数据时代海量图像的存储和计算需求的图像检索方法。本专利技术的技术方案如下：。一种基于Map-Reduce框架的图像检索方法，该方法使用专门用于大数据存储和处理的Hadoop技术来存储大量的图像数据并利用Map-Reduce框架，进行离线地分布式计算，包括下列步骤：1)提取出各个图像的SIFT特征，然后对这些特征进行K-Means聚类；2)将聚类结果作为Bag ofWords模型的视觉词袋，对所有图像的SIFT特征点进行量化处理，从而用一个固定维数的特征向量表示每一幅图像；3)利用TF-IDF加权技术处理这些特征向量，生成带权值的BoF特征向量；4)依据3)生成的计算这些图像与待检索图像特征向量之间的相似度，返回相似度最高的一些图像，作为检索得到的图像返回。与现有技术相比，本专利技术的有益效果是：1.本专利技术设计了一种计算基于Map-Reduce的图片特征提取和判断相似度的算法，能够利用Map-Reduce框架，实现对图片特征的分布式计算，提高检索的处理速度和准确性。2.本专利技术可以根据计算出来的相似度，方便的调整检索显示出来的图像数量。3.本专利技术的计算方法简单，非常方便进行并行化处理。附图说明图1为本专利技术所采用的系统实现流程示意图。图2为本专利技术的Map-Reduce总体框图。图3为SIFT特征提取流程图。具体实施方式本专利技术适用于网站平台的图片检索功能业务。传统的基于单节点架构的图像检索系统已经无法应对大数据时代海量图像的存储和计算需求。本专利技术提出的方法的基本思想是：使用专门用于大数据存储和处理的Hadoop技术来存储大量的图像数据并利用Map-Reduce框架，进行离线地分布式计算，提取出图像的SIFT(Scale Invariant Feature Transform)特征，然后对这些特征进行K-Means聚类，将聚类结果作为Bag ofWords模型的视觉词袋，对所有图像的SIFT特征点进行量化处理，从而用一个固定维数的特征向量表示每一幅图像，此外再用TF-IDF(Term Frequency–Inverse Document Frequency)加权技术处理这些特征向量，生成BoF(Bag ofFeatures)特征向量，最终计算这些图像与检索图像特征向量之间的相似度，返回相似度最高的一些图像。方法流程图如图1、2所示。以下对本专利技术的各个部分作介绍。如图1所示。1输入图片数据库准备我们用到的数据是专门研究CBIR的corel图像检索库，该图库已经分好类别，同一类别相似图像的名称索引在一定范围内变化，根据与检索图像最相似的9张图像中包含该检索图像所属类别中的图像的数目来统计查准。2SIFT特征提取SIFT，即尺度不变特征变换，它是由David G.Love在1999年提出的一种图像局部特征的描述算子，并且通过实验证实它对图像的尺度缩放、旋转变换、平移保持不变，对图像的放射变换和亮度变化也具有很好的稳健性。算法流程图如图3所示。通过该算法生成图像库中每幅图的特征点及描述符。3Bag of FeaturesBag-of-Words模型源于文本分类技术，在信息检索中，它假定对于一个文本，忽略其词序和语法、句法。将其仅仅看作是一个词集合，或者说是词的一个组合，文本中每个词的出现都是独立的，不依赖于其他词是否出现，或者说这篇文章的作者在任意一个位置选择词汇都不受前面句子的影响而独立选择的。Bag-of-Features模型仿照文本检索领域的Bag-of-Words方法，把每幅图像描述为一个关键点(Key Points)特征(本算法使用SIFT特征向量)的无序集合。使用K-Means聚类算法将局部特征进行聚类，每个聚类中心被看作是词典中的一个视觉词汇(Visual Word)，相当于文本检索中的词，视觉词汇由聚类中心对应特征形成的码字(code word)来表示(可看当为一种特征量化过程)。所有视觉词汇形成一个视觉词典(Visual Vocabulary)，对应一个码书(code book)，即码字的集合，词典中所含词的个数反映了词典的大小。图像中的每个特征都将被映射到视觉词典的某个词上，这种映射可以通过计算特征间的距离去实现，然后统计每个视觉词的出现与否或次数，图像可描述为一个维数相同的直方图向量，即Bag-of-Features。判断图像的每个特征点与聚类中心，即视觉词汇的距离，若最近，则放入该聚类中心，最后将生成一列频数表，即初步的无权值的BoF特征向量。4引入TF-IDF权值TF的主要思想是:如果某个关键词在一篇文章中出现的频率高，说明该词语能够表征文章的内容，该关键词在其它文章中很少出现，则认为此词语具有很好的类别区分度，对分类有很大的贡献。IDF的主要思想是:如果文件数据库中包含词语A的文件越少，则IDF越大，则说明词语A具有很好的类别区分能力。词频(Term Frequency，TF)指的是一个给定的词语在该文件中出现的次数。如：TF＝0.030(3/100)表示在包括100个词语的文档中,词语'A'出现了3次。逆文档频率(Inverse Document Frequency，IDF)是描述了某一个特定词语的普遍重要性，如果某词语在许多文档中都出现过，表明它对文档的区分力不强，则赋予较小的权重；反之亦然。最终的TF-IDF权值为词频与逆文档频率的乘积。依据3计算出的无权值的BoF特征向量，与聚类中心生成的TF-IDF权值，生成对应的带权值的BoF特征向量。5相似度计算依据4生成的BoF特征向量，根据余弦相似性，通过夹角的大小，来判断向量的相似程度。夹角越小，就代表越相似，来判断查询图片和数据库图片之间的相似度，排序出相似度最大的图片，并显示出来，实现图片的检索。本文档来自技高网...

【技术保护点】
一种基于Map‑Reduce框架的图像检索方法，该方法使用专门用于大数据存储和处理的Hadoop技术来存储大量的图像数据并利用Map‑Reduce框架，进行离线地分布式计算。包括下列步骤：1)提取出各个图像的SIFT特征，然后对这些特征进行K‑Means聚类；2)将聚类结果作为Bag of Words模型的视觉词袋，对所有图像的SIFT特征点进行量化处理，从而用一个固定维数的特征向量表示每一幅图像；3)利用TF‑IDF加权技术处理这些特征向量，生成带权值的BoF特征向量；4)依据3)生成的计算这些图像与待检索图像特征向量之间的相似度，返回相似度最高的一些图像，作为检索得到的图像返回。

【技术特征摘要】
1.一种基于Map-Reduce框架的图像检索方法，该方法使用专门用于大数据存储和处理的Hadoop技术来存储大量的图像数据并利用Map-Reduce框架，进行离线地分布式计算。包括下列步骤：1)提取出各个图像的SIFT特征，然后对这些特征进行K-Means聚类；2)将聚类结果作为Bag of ...

【专利技术属性】
技术研发人员：侯春萍，丁灿，王宝亮，常鹏，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12