一种基于视觉关键词的遥感影像语义检索方法技术

本发明专利技术涉及一种基于视觉关键词的遥感影像语义检索方法，包括以下步骤：先设定描述影像库中影像内容的视觉关键词，从影像库中选取训练影像，提取每一幅训练影像的显著视觉特征，包括显著点、主色调和纹理，然后通过聚类算法的聚类中心得到关键模式，采用高斯混合模型建立视觉关键词层次模型，再提取影像库中所有影像的显著视觉特征，设定权重参数，构建描述该影像语义的视觉关键词特征向量，最后按照相似度准则计算待检索影像与所有影像的相似度，并按照相似度高低顺序输出检索结果。本发明专利技术通过视觉关键词建立低层显著视觉特征与高层语义信息之间的关联，能有效提高影像检索的查全率和查准率，同时本发明专利技术提供的技术方案具有良好的扩展性。

A semantic retrieval method for remote sensing images based on visual key words

The invention relates to a method of remote sensing image retrieval based on semantic visual words, which comprises the following steps: to set the visual keywords to describe image content in the image database, the selection of training images from the image database, extracting significant visual features of each piece of training images, including significant points, main color and texture, and then get the key mode through the clustering center clustering algorithm, a hierarchical model of visual words by Gauss mixture model, significant visual features extracted all images in the database, setting the weight parameter, construct a feature vector to describe the image visual words semantic similarity, finally to retrieve images and all images are calculated according to the similarity criterion, and the retrieval results according to the similarity level the order of the output. The invention can establish the association between low-level visual features and high-level semantic information marked by visual words, can effectively improve the image retrieval recall and precision, and technical scheme provided by the invention has good scalability.

【技术实现步骤摘要】

本专利技术涉及图像处理
，更具体地说，涉及一种基于视觉关键词的遥感影像语 义检索方法。
技术介绍
遥感影像数据应用正面临着“数据又多又少”的矛盾。一方面，随着航空航天及各类传 感器技术、计算机网络技术、数据库技术等的飞速发展，可获取的各种遥感影像数据产品， 特别是高空间分辨率遥感影像数据每天都在以惊人的速度增长；另一方面，在如此浩瀚的 遥感影像数据仓库中，人们却普遍感觉到要想快速查找到感兴趣的目标并非易事。这是由 于遥感影像数据本身具有空间性、多样性、复杂性和海量性等特点，使得目前缺乏对海量遥 感影像数据的有效检索方法，已经阻碍到遥感影像数据的应用。遥感影像的高效检索是解 决海量遥感数据和人们对遥感数据应用日益增长的需求之间的矛盾的关键，是目前遥感应 用领域亟待解决的难题，也是学科研究的前沿。在遥感影像检索研究所涉及的各项关键技术中，目前的研究重点主要集中在遥感 影像的可视化特征(包括光谱特征、纹理特征、形状特征及组合特征)提取及其相似性匹配 算法上，其中对纹理特征的研究和应用最为广泛和深入，目标形状特征的描述和提取相对 光谱特征、纹理特征而言是一个非常复杂的问题，至今还没有“形状”的确切数学定义，目前 基于内容的影像检索中，目标的形状通常采用边缘和区域特征来描述，但是对于目标的边 缘和区域特征描述算子及其形状相似性匹配的研究仍不尽完善；基于目标形状特征描述和 提取的困难，尽管人们越来越认识到其在遥感影像检索中的重要意义，但是研究成果却十 分有限。在基于组合特征的遥感影像检索方面，主要有基于色调和纹理组合特征的检索。数 据预处理(自动分块组织或预处理)和可视化特征相结合的算法也是以纹理特征为主。由于低层可视化特征不能直观地反映影像的语义信息，在没有专家库或者领域知 识库的辅助下，通常都会产生“所求非所得”的检索结果。要解决这一问题，提高检索效率 和检索准确率，在检索方法上必须突破对可视化特征的依赖。遥感影像高层语义特征包含 了人们对影像内容的理解，基于语义的检索方法不仅顾及颜色、纹理、形状等视觉特征，而 且注重对影像内容的语义描述，因此语义检索比基于视觉特征的内容检索更加充分、准确， 智能性更高。然而，目前基于语义的遥感影像检索仍停留在探索阶段。
技术实现思路
本专利技术的目的在于针对现有技术的缺点和不足，提供一种基于视觉关键词的遥感 影像语义检索方法，通过符合人类视觉感知特性的影像分析方法，将复杂的遥感影像特征 抽象为具有语义信息的视觉关键词，通过视觉关键词建立底层特征、中层对象及高层语义 信息之间的关联，提供的方法能适用于各种不同类型遥感影像检索领域。本专利技术所采用的技术方案是一种基于视觉关键词的遥感影像检索语义方法，包括 以下步骤步骤一，设置能够描述影像库中影像类型的视觉关键词，并从影像库中分别选出能反映各视觉关键词的若干幅影像，作为训练影像；步骤二，提取所有训练影像的各类显著视觉特征；步骤三，对所有训练影像，将得到的各类显著视觉特征分别采用聚类算法进行聚类，得 到与视觉关键词个数相等的聚类中心，将每个聚类中心映射为一个关键模式；采用高斯混 合模型拟合任一显著视觉特征属于每类视觉关键词的概率密度函数，高斯混合模型参数估 计来自训练影像，拟合方法采用期望最大化估计方法，从而建立起视觉关键词层次模型； 步骤四，采用与步骤二一致的方式分别提取影像库中所有影像的各类显著视觉特征； 步骤五，针对影像库中的每一幅影像，由步骤三所得概率密度函数计算显著视觉特征 属于每类视觉关键词的概率，若属于某类视觉关键词的概率最大，则认为显著视觉特征属 于该类视觉关键词，从而实现显著视觉特征到视觉关键词的映射；步骤六，针对影像库中的每一幅影像，根据预设的设定权重参数，统计每类视觉关键词 在该影像中出现的频率，进而构建描述该影像语义的视觉关键词特征向量；步骤七，采用预设的相似性度量准则，通过视觉关键词特征向量计算待检索影像与影 像库中所有影像的相似性，将检索结果按照相似性从高到低排序并输出。而且，步骤二和步骤四中，提取的显著视觉特征包括显著点、对象驱动的主色调和 纹理。而且，提取显著视觉特征的实现方式如下，(1)利用SIFT图像局部特征描述算子提取所有训练影像的显著点，从而获取影像的 显著点特征，每个显著点用一个1 维特征向量来表示；(2)对所有训练影像进行基于QuickShift算法的过分割，对过分割结果进行区域 合并，然后对一致性对象区域采用HSV模型，根据其色调通道的量化结果提取出各区域的 主色调，从而获取影像的主色调特征，每一个对象区域的主色调特征用一个特征向量来表 示；(3)对所有训练影像进行基于QuickShift算法的过分割，对过分割结果进行区域合 并，然后对一致性对象区域采用小波变换，获取各尺度高频分量的均值和方差作为纹理描 述子，从而获取影像的纹理特征，每一个对象区域的纹理特征用一个特征向量来表示。而且，步骤六中，设置权重参数时，显著点特征赋以均值权重，主色调特征和纹理 特征以自身对象区域的面积为权重。而且，步骤三中，所采用的聚类算法为K均值或IS0DATA算法。而且，步骤七中，预设的相似性度量准则为KL散度的一阶近似距离。本专利技术提供的技术方案的有益效果为，通过视觉关键词的层次模型建立低层显著 视觉特征与高层语义信息之间的关联，缩小了低层显著视觉特征与高层语义之间的“语义 鸿沟”，为从海量遥感影像库中快速定位和查找感兴趣目标提供一个新的解决途径，能有效 提高影像检索的查全率和查准率。同时本专利技术提供的技术方案具有良好的扩展性，所采用 的显著视觉特征包括但不限于本专利技术中所使用的显著点、主色调和纹理，只要是符合人类 视觉特性的特征，都能顺利地纳入本专利技术提供的技术方案中。附图说明图1为本专利技术实施例的流程图。图2为本专利技术实施例的效果示意图。 具体实施例方式本专利技术提出的基于视觉关键词的遥感影像语义检索方法先设置反映影像库内容 的视觉关键词，选择训练影像，提取显著视觉特征，然后建立视觉关键词层次模型，实现低 层视觉特征与高层语义之间的关联，对遥感影像进行语义建模和描述，最后采用相似度准 则对影像库中的影像进行检索。其中主要包括训练影像显著视觉特征提取、建立视觉关键 词层次模型、遥感影像语义建模和基于相似度准则的影像检索四个过程。为详细说明具体实施方式，参见图1，实施例流程如下 步骤SO1，设定用于描述影像库中影像内容的视觉关键词。实施例所采用的数据来自于2009-12-27采集的郑州城区WorldView影像，影像空 间分辨率为0. 5米，大小为8740*11644，将影像按照Tiles分块方式分割为320*320大小的 子块，构成1036幅子影像的检索影像库。由于遥感影像覆盖面积大，地物种类复杂，根据地 物在影像上所呈现出的特征，可将地表的覆盖类型分为以下八类农田、裸露地、道路、密集 居住区、稀疏居住区、广场、立交桥、绿地。因此，实施例设定了八类视觉关键词农田、裸露 地、道路、密集居住区、稀疏居住区、广场、立交桥、绿地。步骤S02，根据设定的视觉关键词，从影像库中找出能反映这些关键词的地物内容单一的影像，用做训练影像。实施例分别选择与农田、裸露地、道路、密集居住区、稀疏居住区、广场、立交桥、绿 地相应类型纯净的本文档来自技高网...

【技术保护点】
一种基于视觉关键词的遥感影像语义检索方法，其特征在于包括以下步骤：步骤一，设置能够描述影像库中影像类型的视觉关键词，并从影像库中分别选出能反映各视觉关键词的若干幅影像，作为训练影像；步骤二，提取所有训练影像的各类显著视觉特征；步骤三，对所有训练影像，将得到的各类显著视觉特征分别采用聚类算法进行聚类，得到与视觉关键词个数相等的聚类中心，将每个聚类中心映射为一个关键模式；采用高斯混合模型拟合任一显著视觉特征属于每类视觉关键词的概率密度函数，高斯混合模型参数估计来自训练影像，拟合方法采用期望最大化估计方法，从而建立起视觉关键词层次模型；步骤四，采用与步骤二一致的方式分别提取影像库中所有影像的各类显著视觉特征；步骤五，针对影像库中的每一幅影像，由步骤三所得概率密度函数计算显著视觉特征属于每类视觉关键词的概率，若属于某类视觉关键词的概率最大，则认为显著视觉特征属于该类视觉关键词，从而实现显著视觉特征到视觉关键词的映射；步骤六，针对影像库中的每一幅影像，根据预设的设定权重参数，统计每类视觉关键词在该影像中出现的频率，进而构建描述该影像语义的视觉关键词特征向量；步骤七，采用预设的相似性度量准则，通过视觉关键词特征向量计算待检索影像与影像库中所有影像的相似性，将检索结果按照相似性从高到低排序并输出。...

【技术特征摘要】

【专利技术属性】
技术研发人员：邵振峰，朱先强，刘军，
申请(专利权)人：武汉大学，
类型：发明
国别省市：83