一种智能移动终端的街景检索与识别方法技术

本发明专利技术涉及一种智能移动终端的街景检索与识别方法，其实现步骤为：(1)对不同位置区域分别建立街景图像数据库和热点信息数据库；(2)对数据库图像建立词汇树索引结构；(3)通过移动设备上传GPS位置信息，获取当前位置周围的热点区域；(4)上传街景图像，服务器端程序进行根据上传的GPS位置信息和图像信息进行检索，返回所需内容；(5)在移动设备上进行显示。本发明专利技术可以在地图上直观地显示热点区域，并获取丰富的标注信息，提高用户体验。

【技术实现步骤摘要】
—种智能移动终端的街景检索与识别方法
本专利技术涉及图像检索
，特别是涉及。
技术介绍
移动终端技术和移动互联网技术的发展融合促进了基于位置的服务应用，用户能够获得便捷的服务和丰富的信息，进而对移动终端开发了大量的基于位置的服务应用。 一般的基于位置的移动终端应用通过即3获取需求的位置信息，在地图上只显示用户当前所在的大概位置，用户不能在地图上直观地了解、观察并获取周围区域的景点、建筑等信息，包括位置信息、说明介绍信息等。在这种情况下，用户只能通过手动搜索地图查找所在位置周围的感兴趣区域，而且获取的信息也很有限。
技术实现思路
本专利技术所要解决的技术问题是针对上述现有技术提供一种能根据智能移动终端拍摄的街景图像就能获取当前位置的说明介绍的智能移动终端的街景检索与识别方法。 本专利技术解决上述技术问题所采用的技术方案为:一种应用于智能移动终端的城市街景检索与识别方法，其特征在于:包括如下步骤: 步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端； 步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端: 步骤2-1、提取街景图像数据库内的街景图像的特征向量，并保存为特征文件； 步骤2-2、读入街景图像数据库内所有街景图像的特征文件，对特征向量进行分层1^1116册8聚类，设置分支因子X和树的高度I的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树； 步骤2-3、利用词频-逆文档频率法给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，并生成加权的词汇树； 步骤3、智能移动终端向服务器端上传即3位置信息，智能移动终端获取当前位置周围的热点区域信息:智能移动终端向服务器端上传⑶3位置信息，服务器端对该⑶3位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域热点信息数据库中的热点位置之间的距离。将距离智能移动终端当前位置最近的前~个热点位置的信息返回智能移动终端进行显示； 步骤4、智能移动终端向服务器端上传即3位置信息和拍摄的街景图像:打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将⑶3位置信息和拍摄的街景图像上传至服务器端； 步骤5、服务器端根据步骤4中智能移动终端上传的即3位置信息和拍摄的街景图像返回所需内容: 步骤5-1、服务器端根据智能移动终端上传的即3位置信息，读取相应位置区域的词汇树文件； 步骤5-2、提取智能移动终端上传的街景图像的特征向量，并保存为现场特征文件； 步骤5-3、将现场特征文件内的每一个特征向量量化到词汇树的视觉词汇，根据视觉词汇的倒排列表，计算街景图像数据库中相应区域内的街景图像与智能移动终端上传的街景图像之间的相似度； 步骤5-4、将步骤5-3中获得相似度最高的街景图像的对应的街景图像数据库中对应的内容返回给客户端； 步骤5-5、智能移动终端显示步骤5-4返回的内容。 作为改进，所述步骤1中街景图像数据库的内容包括有:不同季节、一天中不同时间段和不同光照条件下拍摄的街景图像，以及对每幅街景图像的位置标注信息和说明介绍标注信息；热点信息数据库的内容包括有:该区域下的热点地址的⑶3位置信息、街景图像的缩略图以及说明介绍标注信息。 与现有技术相比，本专利技术的优点在于:本专利技术综合考虑即3位置信息，建立不同区域的街景图像数据库和热点信息数据库，通过智能移动终端无线定位获得⑶3位置信息，获取智能移动终端周围的热点区域的位置信息、缩略图和标注信息，上传拍摄街景图像，月艮务器读取相应区域的词汇树文件，通过对不同的数据库利用词汇树算法进行图像检索，计算上传街景图像和数据库图像的相似度，可以获取较为丰富的信息，其优点主要表现在以下几个方面: (1)、能够在智能移动终端上直观地显示用户当前所在位置周围的热点区域的相关信息； (2)、对不同区域的热点信息建立不同的数据库，缩小搜索范围； (3)、针对不同的区域建立街景图像数据库，通过智能移动终端无线定位获得的位置信息确定位置区域，服务器端读取相应区域的词汇树文件，能够加快检索速度，提高匹配的准确度； (4)、词汇树检索算法通过分层&-11168118聚类构建树型索引结构,减少计算量,能够适用于大数据库，并通过倒排索引文件，加快检索的速度； (5)、通过图像检索的结果获取相似度最高的图像信息，返回给智能移动设备较为丰富的彳目息，提闻用户体验。 【附图说明】 图1是本专利技术实施例的系统架构框图。 图2是本专利技术实施例的系统模块框图。 图3是本专利技术实施例中热点区域计算过程框图。 图4是本专利技术实施例中词汇树建立框图。 图5是本专利技术实施例中的街景图像检索框图。 【具体实施方式】 以下结合附图实施例对本专利技术作进一步详细描述。 本专利技术提供的一种应用于智能移动终端的城市街景检索与识别方法，通信内容是智能移动终端与服务器端之间进行，参见图1和图2所示，具体包括如下步骤: 步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端；这里街景图像数据库的内容包括有:不同季节、一天中不同时间段和不同光照条件下拍摄的街景图像，以及对每幅街景图像的位置标注信息和说明介绍标注信息；热点信息数据库的内容包括有:该区域下的热点地址的⑶3位置信息、街景图像的缩略图以及说明介绍标注信息； 步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端: 步骤2-1、提取街景图像数据库内的街景图像的特征向量，并保存为特征文件； 步骤2-2、读入街景图像数据库内所有街景图像的特征文件，对特征向量进行分层1^1116册8聚类，设置分支因子X和树的高度I的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树，参见图4所示； 步骤2-3、利用词频-逆文档频率法(界-瓜?)给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，和生成加权的词汇树；词汇表包含了所有的视觉词汇，并以一定的次序排列；每个词汇对应一个倒排列表，根据10-10？计算每个图像的词频向量的每个主词的加权词频，若词频数值大于0，将加权词频和图像标识符组成二元组添加到主词对应的倒排列表，生成加权的词汇树；倒排列表只保存有效的词频信息，如果某个词汇在一个图像没有出现，那么该图像和词频不会添加到该词汇对应的倒排列表； 步骤3、智能移动终端向服务器端上传即3位置信息，智能移动终端获取当前位置周围的热点区域信息:智能移动终端向服务器端上传⑶3位置信息，服务器端对该⑶3位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域街热点信息数据库中的热点位置之间的距离，将距离智能移动终端当前位置最小的前~个热点位置的信息返回智能移动终端进行显示，参见图3所示； 步骤4、智能移动终端向服务器端上传即3位置信息和拍摄的街景图像:打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将⑶3位置信息和拍摄的街景图像上传至服务器端； 步骤5、服务器端进行根据步骤4中智能移动终端上传的⑶3位置信息和本文档来自技高网...

【技术保护点】
一种智能移动终端的街景检索与识别方法，其特征在于：包括如下步骤：步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端；步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端：步骤2‑1、提取街景图像数据库内的街景图像的SIFT特征向量，并保存为特征文件；步骤2‑2、读入街景图像数据库内所有街景图像的特征文件，对SIFT特征向量进行分层k‑means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树；步骤2‑3、利用词频‑逆文档频率法给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，和生成加权的词汇树；步骤3、智能移动终端向服务器端上传GPS位置信息，智能移动终端获取当前位置周围的热点区域信息：智能移动终端向服务器端上传GPS位置信息，服务器端对该GPS位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域街热点信息数据库中的热点位置之间的距离，将距离智能移动终端当前位置最小的前N个热点位置的信息返回智能移动终端进行显示；步骤4、智能移动终端向服务器端上传GPS位置信息和拍摄的街景图像：打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将GPS位置信息和拍摄的街景图像上传至服务器端；步骤5、服务器端进行根据步骤4中智能移动终端上传的GPS位置信息和拍摄的街景图像返回所需内容：步骤5‑1、服务器端根据智能移动终端上传的GPS位置信息，读取相应位置区域的词汇树文件；步骤5‑2、提取智能移动终端上传的街景图像的SIFT特征向量，并保存为现场特征文件；步骤5‑3、将现场特征文件中的每一个SIFT特征向量量化到词汇树的视觉词汇，根据视觉词汇的倒排列表，计算街景图像数据库中相应区域内的街景图像与智能移动终端上传的街景图像之间的相似度；步骤5‑4、将步骤5‑3中获得相似度最高的街景图像的对应的街景图像数据库中对应的内容返回给客户端；步骤5‑5、智能移动终端显示步骤5‑4返回的内容。...

【技术特征摘要】
1.一种智能移动终端的街景检索与识别方法，其特征在于:包括如下步骤: 步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端； 步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端: 步骤2-1、提取街景图像数据库内的街景图像的SIFT特征向量，并保存为特征文件； 步骤2-2、读入街景图像数据库内所有街景图像的特征文件，对SIFT特征向量进行分层k-means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树； 步骤2-3、利用词频-逆文档频率法给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，和生成加权的词汇树； 步骤3、智能移动终端向服务器端上传GPS位置信息，智能移动终端获取当前位置周围的热点区域信息:智能移动终端向服务器端上传GPS位置信息，服务器端对该GPS位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域街热点信息数据库中的热点位置之间的距离，将距离智能移动终端当前位置最小的前N个热点位置的信息返回智能移动终端进行显示； 步骤4、智能移动终端向服务器端上传GPS...

【专利技术属性】
技术研发人员：李静，卢朝阳，黄韵，倪康康，徐斌，刘晓璐，郝绪祥，董芬芬，
申请(专利权)人：西安电子科技大学宁波信息技术研究院，
类型：发明
国别省市：浙江;33