一种以图快速检索景点的方法及导游系统技术方案

本发明专利技术公开了一种以图快速检索景点的方法及导游系统，其通过在离线系统中对大规模带有地理标签的图像数据库进行处理，从图像数据集中提取出主题相册，并通过对主题相册内容的进一步去噪，筛选，并添加文字信息最终生成离线景点数据集。并通过生成快速索引结构以提高景点检索的速度。在线系统中，通过构建查询图与景点数据之间的映射关系以及引入查询图相对于景点的相似度得分算法，并通过最终的打分排序获得检索结果。本发明专利技术构建了一个可以通过图像信息快速检索景点的方法，同时通过移动终端对景点信息的多角度展示(景点文字信息，景点相册，景点在地图上的位置标注，以及通过语音合成播报导游词等)为游客提供了完善的自助导游服务。

Method for rapidly searching scenic spots and tour guide system

The invention discloses a fast retrieval method and to the attractions of the tour guide system, which are processed by the image database with geographic label on a large scale in the offline system, extract the theme album from the image data, and based on the theme of the content of the album further denoising, screening, and add text information generated offline data spots set. And through the generation of fast index structure, to improve the speed of scenic spot search. In the online system, through constructing the mapping relation between the query map and the scenic spot data, and introducing the similarity score of the query map relative to the scenic spot, the retrieval result is obtained through the final scoring sort. The invention constructs a method for fast retrieval by spot image information, at the same time through the mobile terminal multi angle to the scenic spot information display (attractions text information, attractions album, the spots on the map marked the location, and the speech broadcast guide words etc.) provides a perfect self-help guide services to tourists.

【技术实现步骤摘要】
一种以图快速检索景点的方法及导游系统
本专利技术属于图像检索
，涉及图像检索景点的方法，尤其是一种以图快速检索景点的方法，以及基于该方法的自助导游系统。
技术介绍
随着生活水平的提高，旅游成为了人们在闲暇时间放松自己的不二选择。在2015年，我国共接待游客超过40亿人次。手机的快速发展使得游客在旅游过程中可以拍摄大量的图片并上传到图片分享网站与社交网络。知名的图片分享网站如Flickr，上传的图片总数达50亿张。社交网络中的图片上传量更为惊人，光Facebook一家就达到了600亿。在我国，微博，微信，以及各种旅游应用都是游客上传旅游图片与分享旅游经历的主要途径。但是，虽然我们已经拥有如此数量巨大的带标签以及GPS位置信息的图像数据库，目前的大部分旅游应用仅仅是对这些图像进行了存储，而没有有效的挖掘其中蕴含的大量信息。因此，对于如此大规模的图像多媒体数据，如何有效地挖掘这些丰富的多媒体数据信息，并利用这些信息以帮助游客在旅游过程中获取更加便捷的旅游体验是很有必要的。在景点检索方面，目前主流的旅游应用仍然采用传统的利用文字标签进行检索的方式。使用文本进行景点检索时，会有一些不可避免的缺陷存在。文本检索是一种利用关键词检索的形式，这就要求用户对于检索的目标要有一定的基本知识，若用户对于要检索的目标一无所知，则用户无法选取合适的关键词来检索信息。文本检索的另一个缺陷就是关键词的重复使用率很高。对于很多单词，也许很多景点都会使用到，利用这种关键词进行检索往往会得到大量的检索结果，用户不得不从这些结果中手工挑选自己想要检索的目标，这种方式往往会费时费力，用户体验较差。同时由于图像附带的标签与描述是由用户添加上去的，人类思想的差异性难免使得这些标签带有很大的主观因素，为我们提取景点的客观属性引入噪声。另外，很多景点为了让搜索引擎更多的搜索到自己，会为自身添加很多不相关的关键词，使得用户获得的检索准确率降低。而使用图像信息来进行检索可以有效的避免这些问题。所以，利用图像进行景点检索是非常有必要的，另一方面，网络上的大规模图像多媒体资源，也为自动的通过图像内容进行景点检索提供了有利的条件。随着科技的进步，人们智能手机和部分数码相机拍照时带有时间和GPS记录功能，因此，我们可以通过网络多媒体手段获取大量的带有地理位置标签的景点图像的。这就对使用图像进行景点检索提供了有利条件。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺点，提供一种以图快速检索景点的方法及导游系统。本专利技术的目的是通过以下技术方案来实现的：这种以图快速检索景点的方法，包括以下步骤：1)建立景点图像数据集2)图像库预处理计算数据集图像的平均亮度，分别去除亮度最高的1-3％的图片以及亮度最低的1-3％的图片；去除不包含明确目标的图像；3)图像视觉特征提取对步骤2)处理后的景点图像数据集中每张图片采用SIFT特征描述子进行描述；所述SIFT特征是基于物体上的局部外观的兴趣点，与影像的大小和旋转无关；4)生成主题相册对步骤3)处理后的景点图像数据集进行POI的提取：通过图像库中的图像所带有的GPS信息，先按照地理位置对图像进行一次粗聚类，将粗聚类结果作为生成景点信息的第一步结果；同时在粗聚类结果中去除GPS信息错误的图像，得到计算粗聚类结果图像；使用计算粗聚类结果图像的视觉相似度，找出在此类中出现频率最高的若干个视觉词汇，若此类中某张图片不包含这若干个视觉词汇或者仅包含一个，则将此图片从此类中去除；若此类中去除了超过v％的图片，则计算被去除的图片的视觉相似度，根据视觉相似度生成新的类，最后将所有被剔除并且没有分入新类的图片与所有景点再次进行相似度比对，小于阈值的则归入此类，最终仍未归类的图片剔除出数据集，不再参与景点信息的生成；处理后得到主题相册；5)添加文本信息，确定地理位置信息将步骤4)得到的主题相册进行地理位置的确定：采用先对主题相册的图片位置进行K-means聚类，得到景点可能的潜在位置，得到潜在位置后，先假设包含图片最多的位置为景点位置，若此位置位于其他位置所围成的多边形的内部时，则认定此位置即为景点的位置；若此位置在多边形外侧，但此位置所包含的的图片数远多于其他位置时，也认定此位置为景点位置；若各个位置的图片数量均衡，则取这些位置的中心作为景点位置；位置信息确定后，各个主题相册即升级成为POI，通过对这些POI添加标题，文字描述，历史信息的文本描述，最终生成检索用的景点信息，至此建立了用于检索的景点信息数据库；6)相似度贡献检索结构的建立采用分级K-means聚类的方法来对景点信息数据库的特征进行量化，生成视觉词汇，根据视觉词汇与景点的对应关系建立相似度贡献快速索引结构；7)检索对用户提供的查询图提取视觉特征，并采用分级量化将视觉特征量化至相应的视觉词汇，根据相似度贡献快速索引结构获得最终的检索结果。进一步的，以上步骤5)中，采用m层，每层分k类的树形结构进行分级K-means聚类。所述m为5，k为10。本专利技术还提出一种基于以上以图快速检索景点的方法的导游系统，包括客户端和服务端：所述客户端协助用户拍摄景点照片，并对图片进行预处理，压缩，提取图像特征操作；对提取出的视觉特征进行筛选，压缩操作，后将经过预处理的图像特征信息发送至服务端；所述服务端为一个常驻的检索程序，检索程序启动时将所有景点信息以及景点与图像集中图像的映射关系预先加载至缓存中，后挂起等待用户输入；当用户输入进入后即激活程序，进行检索算法，完成后将检索结果返回客户端。进一步，上述客户端安装在具有相机、显示屏以及网络传输功能的移动设备上，用于用户在游览景点时拍摄具体的景点图像并进行预处理，将所需信息上传至服务器用于检索。进一步，上述服务器端采用多线程架构，服务器端的检索流程如下：1)获取用户输入用户输入有两种情况，当用户网络条件较好时，客户端上传压缩后的图像文件，服务器端程序提取图片的SIFT特征；当用户网络条件较差时，客户端会先行提取图像的SIFT特征并进行传输；当服务器端检索程序获取到SIFT特征后进行存储，为下一步操作做准备；2)量化图片并计算相似度采用之前生成的相似度贡献快速索引结构计算查询图与数据中图片相似度，由于离线系统已经进行了分级聚类量化操作，并记录了每一层各个节点的信息，因此对图片进行快速量化；同时，相似度贡献索引在图片量化的同时进行图片的相似度计算工作，将相似度计算的时间复杂度从O(n2)降低至O(n)；3)对景点进行打分并排序当获取到查询图对数据集中所有图片的相似度后，通过图片与景点的映射关系获取查询图拍摄的是哪个景点的可能性得分，打分公式如下：其中ssi为第i个景点相对于查询图的得分，pi为TopN结果中属于第i个景点的图片数，q为视觉词汇数，ak为第j张图片中量化至第k个视觉词汇的特征个数，skj为第k个视觉词汇对第j张图片的相似度贡献。与现有技术相比，本专利技术优点在于：1)相比较于传统旅游应用的以文字标签检索景点的方式，引入了一种新型的以图像检索景点方法。2)提出了一种单张图像与景点之间的相似度映射关系，可以快速的从大规模景点数据集中检索出景点3)构建了一个从文本，图像，语音，地图等全方位向游客展现景点信息的移动端自助导游系统，为游客提供了更加方本文档来自技高网...

【技术保护点】
一种以图快速检索景点的方法，其特征在于，包括以下步骤：1)建立景点图像数据集；2)图像库预处理：计算数据集图像的平均亮度，分别去除亮度最高的1‑3％的图片以及亮度最低的1‑3％的图片；去除不包含明确目标的图像；3)图像视觉特征提取对步骤2)处理后的景点图像数据集中每张图片采用SIFT特征描述子进行描述；所述SIFT特征是基于物体上的局部外观的兴趣点，与影像的大小和旋转无关；4)生成主题相册对步骤3)处理后的景点图像数据集进行POI的提取：通过图像库中的图像所带有的GPS信息，先按照地理位置对图像进行一次粗聚类，将粗聚类结果作为生成景点信息的第一步结果；同时在粗聚类结果中去除GPS信息错误的图像，得到计算粗聚类结果图像；使用计算粗聚类结果图像的视觉相似度，找出在此类中出现频率最高的若干个视觉词汇，若此类中某张图片不包含这若干个视觉词汇或者仅包含一个，则将此图片从此类中去除；若此类中去除了超过v％的图片，则计算被去除的图片的视觉相似度，根据视觉相似度生成新的类，最后将所有被剔除并且没有分入新类的图片与所有景点再次进行相似度比对，小于阈值的则归入此类，最终仍未归类的图片剔除出数据集，不再参与景点信息的生成；处理后得到主题相册；5)添加文本信息，确定地理位置信息将步骤4)得到的主题相册进行地理位置的确定：采用先对主题相册的图片位置进行K‑means聚类，得到景点可能的潜在位置，得到潜在位置后，先假设包含图片最多的位置为景点位置，若此位置位于其他位置所围成的多边形的内部时，则认定此位置即为景点的位置；若此位置在多边形外侧，但此位置所包含的的图片数远多于其他位置时，也认定此位置为景点位置；若各个位置的图片数量均衡，则取这些位置的中心作为景点位置；位置信息确定后，各个主题相册即升级成为POI，通过对这些POI添加标题，文字描述，历史信息的文本描述，最终生成检索用的景点信息，至此建立了用于检索的景点信息数据库；6)相似度贡献检索结构的建立采用分级K‑means聚类的方法来对景点信息数据库的特征进行量化，生成视觉词汇，根据视觉词汇与景点的对应关系建立相似度贡献快速索引结构；7)检索对用户提供的查询图提取视觉特征，并采用分级量化将视觉特征量化至相应的视觉词汇，根据相似度贡献快速索引结构获得最终的检索结果。...

【技术特征摘要】
1.一种以图快速检索景点的方法，其特征在于，包括以下步骤：1)建立景点图像数据集；2)图像库预处理：计算数据集图像的平均亮度，分别去除亮度最高的1-3％的图片以及亮度最低的1-3％的图片；去除不包含明确目标的图像；3)图像视觉特征提取对步骤2)处理后的景点图像数据集中每张图片采用SIFT特征描述子进行描述；所述SIFT特征是基于物体上的局部外观的兴趣点，与影像的大小和旋转无关；4)生成主题相册对步骤3)处理后的景点图像数据集进行POI的提取：通过图像库中的图像所带有的GPS信息，先按照地理位置对图像进行一次粗聚类，将粗聚类结果作为生成景点信息的第一步结果；同时在粗聚类结果中去除GPS信息错误的图像，得到计算粗聚类结果图像；使用计算粗聚类结果图像的视觉相似度，找出在此类中出现频率最高的若干个视觉词汇，若此类中某张图片不包含这若干个视觉词汇或者仅包含一个，则将此图片从此类中去除；若此类中去除了超过v％的图片，则计算被去除的图片的视觉相似度，根据视觉相似度生成新的类，最后将所有被剔除并且没有分入新类的图片与所有景点再次进行相似度比对，小于阈值的则归入此类，最终仍未归类的图片剔除出数据集，不再参与景点信息的生成；处理后得到主题相册；5)添加文本信息，确定地理位置信息将步骤4)得到的主题相册进行地理位置的确定：采用先对主题相册的图片位置进行K-means聚类，得到景点可能的潜在位置，得到潜在位置后，先假设包含图片最多的位置为景点位置，若此位置位于其他位置所围成的多边形的内部时，则认定此位置即为景点的位置；若此位置在多边形外侧，但此位置所包含的的图片数远多于其他位置时，也认定此位置为景点位置；若各个位置的图片数量均衡，则取这些位置的中心作为景点位置；位置信息确定后，各个主题相册即升级成为POI，通过对这些POI添加标题，文字描述，历史信息的文本描述，最终生成检索用的景点信息，至此建立了用于检索的景点信息数据库；6)相似度贡献检索结构的建立采用分级K-means聚类的方法来对景点信息数据库的特征进行量化，生成视觉词汇，根据视觉词汇与景点的对应关系建立相似度贡献快速索引结构；7)检索对用户提供的查询图提取视觉特征，并采用分级量化将视觉特征量化至相应的视觉词汇，根据相似度贡献快速索引结构获得最终的检索结果。2.根据权...

【专利技术属性】
技术研发人员：钱学明，周澎，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61