一种基于多尺度特征融合的卫星遥感图文跨模态检索方法技术

本发明专利技术公开了一种基于多尺度特征融合的卫星遥感图文跨模态检索方法，涉及人工智能计算机视觉图像文本跨模态检索技术领域，该方法包括如下步骤：获取目标卫星遥感图像及对应文本；将目标卫星遥感图像及对应文本输入至训练好的模型中，输出目标卫星遥感图像和对应文本的总相似度；根据总相似度，对目标卫星遥感图像匹配相应的文本或图像；模型基于空洞空间金字塔池化单元、双向显著区域抑制法和双向门控循环单元网络训练而成。该方法使用空洞空间金字塔池化单元获取多尺度特征，并使用双向显著区域抑制来进行特征融合，以克服特征融合时带来的特征冗余，最终生成具有强大表征能力的卫星遥感图像特征，提高图文跨模态检索的性能。提高图文跨模态检索的性能。提高图文跨模态检索的性能。

【技术实现步骤摘要】
一种基于多尺度特征融合的卫星遥感图文跨模态检索方法


[0001]本专利技术涉及人工智能计算机视觉图像文本跨模态检索
，更具体的说是涉及一种基于多尺度特征融合的卫星遥感图文跨模态检索方法。

技术介绍

[0002]图文跨模态检索是指通过图像检索语义相近的文本，或使用文本来检索语义相近的图像，该任务使得用户可以通过基于文本搜索的方式来找到所需要的图像，此外还可以探求图像和文本的潜在联系，并实现图像和文本两种模态数据的相互补充。图文跨模态检索是目前计算机视觉领域中比较热门的研究方向，由于其具有一定的应用价值，相当一部分的研究者将精力投入到了图文跨模态检索的方法研究中，相关的研究成果不断涌现。尤其是近年来深度学习的快速发展，越来越多基于深度神经网络的图文跨模态检索模型被提出，且跨模态检索的性能和准确度都在不断提升。
[0003]自然场景下的图文跨模态检索方法大多是基于单一尺度的特征提取方法，在卫星遥感的场景下容易丢失目标特征信息，因此有必要使用多尺度的特征建模方式来处理卫星遥感图像，然而现有的基于多尺度特征学习的方法往往没有考虑到冗余特征带来的负面作用。
[0004]因此如何利用好多尺度特征，同时消除冗余特征的负面影响，是本领域技术人员亟需解决的问题。

技术实现思路

[0005]鉴于上述问题，本专利技术提供一种基于多尺度特征融合的卫星遥感图文跨模态检索方法，以至少解决上述
技术介绍
中提到的部分技术问题。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于多尺度特征融合的卫星遥感图文跨模态检索方法，包括如下步骤：
[0008]获取目标卫星遥感图像及对应文本；
[0009]将所述目标卫星遥感图像及对应文本输入至训练好的模型中，输出所述目标卫星遥感图像和对应文本的总相似度；
[0010]根据所述总相似度，对所述目标卫星遥感图像匹配相应的文本或图像；
[0011]所述模型基于空洞空间金字塔池化单元、双向显著区域抑制法和双向门控循环单元网络训练而成。
[0012]进一步地，所述模型通过如下步骤进行训练：
[0013]S1、获取大量卫星遥感图像，并使用骨干网络对卫星遥感图像进行特征提取，获得初始图像特征；
[0014]S2、将所述初始图像特征输入多个空洞空间金字塔池化单元进行多尺度特征提取，得到对应的多个多尺度卫星遥感图像特征；
[0015]S3、使用双向显著区域抑制法对所述多个多尺度卫星遥感图像特征进行特征融
合，获得最终卫星遥感图像特征；
[0016]S4、使用双向门控循环单元网络对所述最终卫星遥感图像特征的描述文本进行特征提取，获得最终文本特征；
[0017]S5、分析所述最终卫星遥感图像特征和所述最终文本特征之间的相似度，并根据所述相似度，采用三元组损失函数计算损失值；基于所述损失值训练模型。
[0018]进一步地，在所述步骤S1中，所述骨干网络由在ImageNet上预训练的ResNet18生成；所述骨干网络包括输入层、卷积层和多个残差块，且采用最后一个所述残差块的输出作为所述卫星遥感图像的初始图像特征。
[0019]进一步地，所述步骤S2具体包括：
[0020]对所述初始图像特征进行上采样操作，获得上采样特征；
[0021]将所述上采样特征输入多个具有不同扩张率空洞卷积核的空洞空间金字塔池化单元进行多尺度特征提取，获得对应的多个多尺度卫星遥感图像特征。
[0022]进一步地，空洞空间金字塔池化单元包括第一卷积层和第二卷积层；
[0023]所述第一卷积层和第二卷积层前均连接有批量归一化层和激活层；
[0024]所述第二卷积层采用空洞卷积核。
[0025]进一步地，所述步骤S3具体包括：
[0026]使用卷积块注意力模块分别获取所述多个多尺度卫星遥感图像特征的显著区域，获得对应的多个显著区域特征；
[0027]分别对所述多个显著区域特征进行二值化映射处理，获得对应的多个掩码矩阵；
[0028]基于所述多个掩码矩阵，分别对所述多个多尺度卫星遥感图像特征进行特征融合，获得对应的多个融合特征；
[0029]将所述多个多尺度卫星遥感图像特征和对应的所述多个融合特征在通道维度上进行拼接后，再通过多层的感知机网络，得到卫星遥感图像权重矩阵；
[0030]基于所述初始图像特征和所述卫星遥感图像权重矩阵，获得最终卫星遥感图像特征。
[0031]进一步地，所述步骤S4具体包括：
[0032]使用NLTK库对所述最终卫星遥感图像特征的描述文本进行分词和去停用词处理，并将所述描述文本中的每个词替换成其在语料库中的编号；基于所述编号，使用嵌入矩阵将所述描述文本中的每个词替换成词向量；
[0033]将所述词向量输入双向门控循环单元网络进行特征提取，将当前时间步的前向隐藏状态和后向隐藏状态的平均值作为当前时间步的语句的特征，作为第一文本特征；
[0034]将所述第一文本特征通过多层感知机网络映射到与所述最终卫星遥感图像特征相同的维度上，获得最终文本特征。
[0035]进一步地，所述损失值表示为：
[0036][0037]其中，L(V,S)表示损失值；ε表示边际值；cos(.，.)表示余弦相似度计算函数；[.]+
＝max(.，0)；V表示匹配的图像特征；S表示匹配的文本特征；表示不匹配的图像特征；表
示不匹配的文本特征。
[0038]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于多尺度特征融合的卫星遥感图文跨模态检索方法，使用空洞空间金字塔池化单元获取多尺度特征，并使用双向显著区域抑制来进行特征融合，以克服特征融合时带来的特征冗余，最终生成具有强大表征能力的卫星遥感图像特征，提高图文跨模态检索的性能。
附图说明
[0039]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0040]图1为本专利技术提供的基于多尺度特征融合的卫星遥感图文跨模态检索方法流程示意图。
[0041]图2为本专利技术提供的模型训练流程示意图。
[0042]图3为本专利技术提供的基于多尺度特征融合的卫星遥感图文跨模态检索方法的网络架构示意图。
[0043]图4为本专利技术提供的测试通过图像检索文本时的效果示意图。
[0044]图5为本专利技术提供的测试通过文本检索图像时的效果示意图。
具体实施方式
[0045]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征融合的卫星遥感图文跨模态检索方法，其特征在于，包括如下步骤：获取目标卫星遥感图像及对应文本；将所述目标卫星遥感图像及对应文本输入至训练好的模型中，输出所述目标卫星遥感图像和对应文本的总相似度；根据所述总相似度，对所述目标卫星遥感图像匹配相应的文本或图像；所述模型基于空洞空间金字塔池化单元、双向显著区域抑制法和双向门控循环单元网络训练而成。2.根据权利要求1所述的一种基于多尺度特征融合的卫星遥感图文跨模态检索方法，其特征在于，所述模型通过如下步骤进行训练：S1、获取大量卫星遥感图像，并使用骨干网络对卫星遥感图像进行特征提取，获得初始图像特征；S2、将所述初始图像特征输入多个空洞空间金字塔池化单元进行多尺度特征提取，得到对应的多个多尺度卫星遥感图像特征；S3、使用双向显著区域抑制法对所述多个多尺度卫星遥感图像特征进行特征融合，获得最终卫星遥感图像特征；S4、使用双向门控循环单元网络对所述最终卫星遥感图像特征的描述文本进行特征提取，获得最终文本特征；S5、分析所述最终卫星遥感图像特征和所述最终文本特征之间的相似度，并根据所述相似度，采用三元组损失函数计算损失值；基于所述损失值训练模型。3.根据权利要求2所述的一种基于多尺度特征融合的卫星遥感图文跨模态检索方法，其特征在于，在所述步骤S1中，所述骨干网络由在ImageNet上预训练的ResNet18生成；所述骨干网络包括输入层、卷积层和多个残差块，且采用最后一个所述残差块的输出作为所述卫星遥感图像的初始图像特征。4.根据权利要求2所述的一种基于多尺度特征融合的卫星遥感图文跨模态检索方法，其特征在于，所述步骤S2具体包括：对所述初始图像特征进行上采样操作，获得上采样特征；将所述上采样特征输入多个具有不同扩张率空洞卷积核的空洞空间金字塔池化单元进行多尺度特征提取，获得对应的多个多尺度卫星遥感图像特征。5.根据权利要求4所述的一种基于多尺度特征融合的卫星遥感图文跨...

【专利技术属性】
技术研发人员：刘伟杰，金福生，徐源，袁野，王国仁，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：