一种基于深度显著性的遥感影像快速检索方法技术

一种基于深度显著性的遥感影像快速检索方法属于计算机视觉领域，具体涉及深度学习、显著性目标检测和图像检索等技术。本发明专利技术以遥感影像为研究对象，利用深度学习技术，研究了一种遥感影像的快速检索方法。首先采用全卷积神经网络构建多任务显著性目标检测模型，该模型同时进行显著性检测任务和语义分割任务，在网络预训练过程中学习遥感影像的深度显著性特征。然后改进深度网络结构，加入哈希层微调网络，学习得到遥感影像的二进制哈希码。最后综合利用显著性特征和哈希码进行相似性度量。本发明专利技术对于实现遥感影像准确、高效检索切实可行并具有重要应用价值。

A method of rapid retrieval of remote sensing images based on depth saliency

A method for rapid retrieval of remote sensing images based on depth saliency belongs to the field of computer vision, and relates to deep learning, saliency target detection, image retrieval and the like. The present invention takes remote sensing image as the research object and uses deep learning technology to study a rapid retrieval method of remote sensing image. Firstly, the multi task significant target detection model construct the convolutional neural network, the model of saliency detection task and semantic segmentation tasks at the same time, the depth of the salient features of remote sensing image in network learning in the process of pre training. Then we improve the depth network structure and add hash layer to fine tune the network to learn the binary hash code of remote sensing image. Finally, similarity measures are made by using saliency and hash codes. The invention is feasible and practical in realizing accurate and efficient retrieval of remote sensing images.

【技术实现步骤摘要】
一种基于深度显著性的遥感影像快速检索方法
本专利技术以遥感影像为研究对象，利用人工智能领域的最新研究成果——深度学习技术，研究了一种遥感影像的快速检索方法。首先采用全卷积神经网络构建多任务显著性目标检测模型，计算遥感影像的深度显著性特征；然后改进深度网络结构，加入哈希层学习得到二进制哈希码；最后综合利用显著性特征和哈希码实现遥感影像准确、快速检索。本专利技术属于计算机视觉领域，具体涉及深度学习、显著性目标检测和图像检索等技术。
技术介绍
遥感影像数据作为地理信息系统(GeographicInformationSystem，GIS)、全球定位系统(GlobalPositioningSystem，GPS)、遥感测绘技术(remotesensingsystem，RS)三大空间信息技术中的基础数据，广泛应用于环境监测、资源调查、土地利用、城市规划、自然灾害分析和军事等各个领域。近年来，随着高分辨率遥感卫星、成像雷达以及无人机驾驶飞机(UnmannedAerialVehicle)技术的发展，遥感影像数据进一步呈现海量、复杂和高分辨率的特点，实现遥感影像高效、准确检索对于促进遥感影像信息的准确提取和数据共享具有重要的研究意义和应用价值。图像检索技术由早期的基于文本的图像检索(Text-BasedImageRetrieval，TBIR)逐渐发展为通过提取图像特征实现基于内容的图像检索(Content-BasedImageRetrieval，CBIR)。基于显著性目标的图像检索方法，能够快速地从复杂场景中选择少数几个显著的区域进行优先处理，从而有效降低数据处理复杂度，提高检索效率。相比普通图像检索，遥感影像包含的信息复杂多变，目标小且与背景区分不明显，如果仍采用传统的显著性检测方法将难以实现对遥感影像显著性特征的准确描述与分析。近年来，随着人工智能领域的最新研究成果——深度学习技术的提出，例如：以全卷积神经网络(FullyConvolutionalNeuralNetwork，FCNN)为代表的深度神经网络，凭借其独特的类似于人眼局部感受的卷积核以及类似于生物神经的层次级联结构，在图像深度显著性特征学习方面表现出优良的鲁棒性。其权值共享的特性也使得网络参数大大减少，同时降低了对训练数据过拟合的风险，比其他种类的深度网络更易于训练，可以提高显著性特征的表征准确度。考虑到遥感影像数量日益增加，图像语义描述能力有限等问题，本专利技术以公开的大规模航拍图像数据集(AID)、武汉大学遥感影像数据集(WHU-RS)及谷歌地球遥感影像为数据来源，提出一种基于深度显著性的遥感影像快速检索方法。首先，构建基于全卷积神经网络(FullyConvolutionalNeuralNetwork，FCNN)的多任务显著性目标检测模型，在预训练数据集上学习遥感影像不同层次的语义信息作为深度显著性特征并转换为一维列向量。进一步微调神经网络模型，引入哈希层并增加训练样本，将该模型学习到的遥感影像高维显著性特征以二进制哈希码(BinaryHashCodes)的形式映射到低维空间，分别存储显著性特征向量和哈希码构建特征数据库。通过训练好的模型提取待查询的遥感图像显著性特征向量和哈希码，对比特征数据库，计算哈希码汉明距离(HammingDistance)和显著性特征向量欧氏距离(EuclideanDistance)度量相似度，实现遥感影像快速检索。
技术实现思路
本专利技术与已有的遥感影像检索方法不同，利用深度学习技术，提出一种基于深度显著性的遥感影像快速检索方法。首先，采用全卷积神经网络(FCNN)构建多任务深度显著性目标检测模型，将普通卷积神经网络(CNN)图像级别的分类进一步延伸到像素级别的分类。在大规模航拍图像数据集(AID)上预训练网络，显著性检测任务和语义分割任务共享卷积层，综合学习遥感影像的三层语义信息，有效去除特征冗余，准确提取深度显著性特征。其次，在该模型中加入哈希层，扩充武汉大学遥感影像数据集(WHU-RS)微调神经网络，利用深度神经网络通过随机梯度下降算法(StochasticGradientDescent，SGD)实现增量学习的优势，逐点学习二进制哈希码，实现高维显著性特征降维，既可节省存储空间又可提升检索效率。同时，相比传统需要成对输入训练样本的哈希方法，本专利技术所采用的方法在大规模数据集上更易扩展。将神经网络预训练和微调过程学习的显著性特征转化为一维列向量，和二进制哈希码一同构建特征数据库。最后，在图像检索阶段采用由粗到细的检索策略，综合利用二进制哈希码和显著性特征度量汉明距离和欧式距离，实现遥感影像快速、准确检索。本方法主要过程如附图1所示，可分为以下三个步骤：基于深度显著性的目标检测模型构建、神经网络预训练并加入哈希层微调和多层次深度检索。(1)基于深度显著性的目标检测模型构建为了有效提取图像的显著区，本专利技术将构建一种基于全卷积神经网络的多任务显著性目标检测模型。该模型同时进行两个任务：显著性检测和语义分割。显著性检测用于对遥感影像的深度特征学习，计算深度显著性，语义分割用于提取图像内部对象语义信息，消除显著图背景混淆，补充显著性目标缺失部分。(2)神经网络预训练并加入哈希层微调本专利技术选取大规模航拍图像数据集(AID)作为标准数据集预训练网络。为了使显著性目标检测模型学习的显著性特征对中国遥感影像的检索有更好的鲁棒性，在武汉大学遥感影像数据集(WHU-RS)的基础上，在谷歌地球上下载了6050幅不同光照、拍摄角度、分辨率及尺寸的中国遥感影像，将WHU-RS数据集扩充至7000幅图像用于微调神经网络。(3)多层次深度检索本专利技术提出了一种由粗糙到精细的检索方案。粗糙检索利用哈希层学习的二进制哈希码，通过汉明距离度量相似性。精细检索将第13、15层卷积层生成的二维遥感影像特征图映射为一维列向量，作为显著性特征向量，通过欧氏距离度量相似性。使用基于排名的评价标准，统计检索结果的查准率(Precision)。1.一种基于深度显著性的遥感影像快速检索方法，其特征在于包括以下步骤：步骤1：基于深度显著性的目标检测模型构建输入一幅RGB图像，经过15个卷积层进行一系列卷积操作，然后进行显著性检测任务和超像素目标语义分割任务共享卷积层；前13个卷积层经过卷积神经网络VGGNet初化，卷积核大小为3×3，每个卷积层后采用修正线性单元ReLU作为激活函数；第2、4、5、13卷积层后进行最大值池化操作；第14、15卷积层的卷积核大小分别为7×7和1×1，第14、15卷积层后连接Dropout层；通过上采样构建反卷积层，通过双线性插值初始化其参数，在训练学习上采样函数中迭代更新；在显著性目标检测任务中通过sigmoid阈值函数将输出图像标准化至[0,1]，学习显著性特征；在语义分割任务中用反卷积层对最后一个卷积层的特征图进行上采样,并且将上采样的结果进行剪裁，使输出图像与输入图像大小相同；步骤2：神经网络预训练并加入哈希层微调步骤2.1：多任务显著性目标检测模型预训练FCNN预训练通过显著性检测任务和分割任务一同展开；χ表示N1幅宽高分别为W和Q的训练图像的集合，Xi为其中第i幅图像，Yijk表示第i幅宽高分别为j和k的图像相应的像素级真实分割图，其中i＝1…本文档来自技高网...

【技术保护点】
一种基于深度显著性的遥感影像快速检索方法，其特征在于包括以下步骤：步骤1：基于深度显著性的目标检测模型构建输入一幅RGB图像，经过15个卷积层进行一系列卷积操作，然后进行显著性检测任务和超像素目标语义分割任务共享卷积层；前13个卷积层经过卷积神经网络VGGNet初化，卷积核大小为3×3，每个卷积层后采用修正线性单元ReLU作为激活函数；第2、4、5、13卷积层后进行最大值池化操作；第14、15卷积层的卷积核大小分别为7×7和1×1，第14、15卷积层后连接Dropout层；通过上采样构建反卷积层，通过双线性插值初始化其参数，在训练学习上采样函数中迭代更新；在显著性目标检测任务中通过sigmoid阈值函数将输出图像标准化至[0,1]，学习显著性特征；在语义分割任务中用反卷积层对最后一个卷积层的特征图进行上采样,并且将上采样的结果进行剪裁，使输出图像与输入图像大小相同；步骤2：神经网络预训练并加入哈希层微调步骤2.1：多任务显著性目标检测模型预训练FCNN预训练通过显著性检测任务和分割任务一同展开；χ表示N

【技术特征摘要】
1.一种基于深度显著性的遥感影像快速检索方法，其特征在于包括以下步骤：步骤1：基于深度显著性的目标检测模型构建输入一幅RGB图像，经过15个卷积层进行一系列卷积操作，然后进行显著性检测任务和超像素目标语义分割任务共享卷积层；前13个卷积层经过卷积神经网络VGGNet初化，卷积核大小为3×3，每个卷积层后采用修正线性单元ReLU作为激活函数；第2、4、5、13卷积层后进行最大值池化操作；第14、15卷积层的卷积核大小分别为7×7和1×1，第14、15卷积层后连接Dropout层；通过上采样构建反卷积层，通过双线性插值初始化其参数，在训练学习上采样函数中迭代更新；在显著性目标检测任务中通过sigmoid阈值函数将输出图像标准化至[0,1]，学习显著性特征；在语义分割任务中用反卷积层对最后一个卷积层的特征图进行上采样,并且将上采样的结果进行剪裁，使输出图像与输入图像大小相同；步骤2：神经网络预训练并加入哈希层微调步骤2.1：多任务显著性目标检测模型预训练FCNN预训练通过显著性检测任务和分割任务一同展开；χ表示N1幅宽高分别为W和Q的训练图像的集合，Xi为其中第i幅图像，Yijk表示第i幅宽高分别为j和k的图像相应的像素级真实分割图，其中i＝1…N1，j＝1…W，k＝1…Q；Z表示N2幅训练图像的集合，Zn为其中第n幅图像，n＝1…N2，它有相应的存在显著性目标的真实二值图像Mn；θs为共享卷积层参数，θh为分割任务参数，θf为显著性任务参数；公式(1)、公式(2)分别为分割任务的交叉熵代价函数J1(χ；θs,θh)和显著性检测任务的平方欧式距离代价函数J2(Z；θs,θf)，FCNN通过最小化两个代价函数进行训练：公式(1)中，是指示函数，hcjk是第c类置信分割图的元素(j,k)，c＝1…C，h(Xi；θs,θh)是语义分割函数，共返回C个目标类的置信分割图，C为预训练数据集包含的图像类别公式(2)中，f(Zn；θs,θf)是显著图输出函数，F表示F-范数运算；接下来，用随机梯度下降SGD方法，在对所有训练样本进行正则化的基础上，最小化上述代价函数；由于用于预训练的数据集没有同时具有分割和显著性标注，因此分割任务和显著性检测任务交替进行；训练过程需要将所有原始图像大小归一化；学习速率为0.001±0.01；动量参数通常为[0.9,1.0]，权值衰减因子通常为0.0005±0.0002，；随机梯度下降学习进程共进行80000次以上迭代；详细的预训练过程如下：1)共享全卷积参数基于VGGNet初始化；2)通过正态分布随机初始化分割任务参数和显著性任务参数3)根据和利用SGD训练分割网络，更新这两个参数为和4)根据和利用SGD训练显著性网络，更新相关参数为和5)根据和利用SGD训练分割网络，获得和6)根据和利用SGD训练显著性网络，更新相关参数为和7)重复上述3-6步三次以获得预训练最终参数θs，θh，θf；步骤2.2：加入哈希层，针对目标域微调网络在预训练好的网络倒数第二层和最终的任务层中间，插入一个包含s个神经元的全连接层，即哈希层H，将高维特征映射到低维空间，生成二进制哈希码进行存储；哈希层H权重采用随机投影构造哈希值初始化，神经元激活函数采...

【专利技术属性】
技术研发人员：张菁，梁西，陈璐，卓力，耿文浩，李嘉锋，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11