System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开实施例涉及数据处理,尤其涉及一种融合空间域和频率域的闭集域适应遥感图像分类检索方法。
技术介绍
1、随着遥感技术的持续进步,卫星和航空传感器的对地观测与数据捕获愈发高效,产生了规模空前的海量遥感数据。高分遥感影像的规模化获取为各领域应用,奠定了大数据基础,而海量的数据带来了极大的信息量,如何在少量标签甚至于无标签的情况下,快速、高效地分类与检索符合用户需求的图像,成为了制约遥感图像数据共享和有效利用的一大难题。
2、针对数据分布偏移问题,域适应(domain adaptation,简称da)学习被提出用于在源域(训练集)与目标域(测试集)数据分布不同但相似的前提下,将知识从有标注的源域迁移至无标注的目标域,提升模型在目标域的泛化能力。按照目标域是否存在标注信息,域适应可分为有监督域适应和无监督域适应。其中,无监督域适应(unsupervised domainadaptat ion,简称uda)是域适应学习中最具挑战同时也是最贴近实际场景的研究方向,即目标域不含任何标注信息。根据领域之间的标签(类别)空间的构成是否相同,域适应可被划分为标签空间一致的域适应与标签空间不一致的域适应。其中,标签空间一致的域适应又称闭集域适应(closed set domain adaptat ion),是指源域和目标域标签空间相同的域适应问题,也是现有的绝大部分域适应工作研究的重点。在目前的一些主流的闭集域适应方法主要分三个类型:①基于分布差异:通过模型得到深度特征,再基于分布差异的方法减小域间的分布差异来缩小泛化误差。②基于对抗学
3、目前域适应主要是以基于图像空间域特征进行,即通过深度神经网络拉近源域与目标域空间域信息。但即便如此,受限于遥感图像包含多种地物类型且背景信息复杂,现有方法在复杂多源场景下分类、检索精度仍有提升空间。
4、目前已有研究证明图像的频率域特征在不同数据集间不会出现显著的特征移位,且频率域特征包含纹理、结构等细节信息,已有研究将其应用于目标识别、变化检测等,结合频率特征可能在目标域中产生更准确的预测。因此如何解决跨域样本类别混淆,如何充分利用空间域、频率域信息,提高闭集域适应效果,是目前亟需解决的问题。
技术实现思路
1、有鉴于此,本公开实施例提供一种融合空间域和频率域的闭集域适应遥感图像分类检索方法,至少部分解决现有技术中存在分类检索精准度和适应性较差的问题。
2、本公开实施例提供了一种融合空间域和频率域的闭集域适应遥感图像分类检索方法,包括:
3、步骤1,建立融合遥感图像空间域和频率域的闭集域适应模型,其中,所述融合遥感图像空间域和频率域的闭集域适应模型包括数据增强模块、空间域特征提取模块、频率域特征提取模块、空频交叉注意力融合模块、前馈和分类器;
4、步骤2,建立模型训练策略;
5、步骤3,将样本数据集按预设比例划分为训练集、测试集和验证集,通过训练集和模型训练策略训练融合遥感图像空间域和频率域的闭集域适应模型,并通过测试集和验证集对其进行测试和验证,得到训练好的分类检索模型;
6、步骤4,将目标遥感图像输入训练好的分类检索模型,得到分类结果和检索结果。
7、根据本公开实施例的一种具体实现方式,所述数据增强模块用于将源域图像进行弱增强,得到源域弱增强视图,以及,将目标域进行弱增强和强增强,得到目标域弱增强图和目标域强增强视图;
8、所述空间域特征提取模块用于将源域弱增强图、目标域弱增强图、强增强图依次输入空间域编码器,得到空间域特征
9、所述频率域特征提取模块用于将源域弱增强图、目标域弱增强图、强增强图进行傅里叶变换,得到图像频率域,然后设置频率域滤波器,将通过变换得到的源域弱增强图、目标域弱增强图、目标域强增强图对应的频率域信息,依次输入频率域编码器,得到频率域特征
10、所述空频交叉注意力融合模块用于通过线性变换,将空间域特征和频率域特征生成查询、键和值,并使用空间域特征的查询值与频率域特征的键值进行交叉计算,使用多头注意力机制将查询、键和值分别进行线性变换,然后分成多个头,独立计算每个头的注意力,最后将所有头的输出连接起来,再通过一个线性变换生成最终输出,最终输出通过残差连接与空间域特征相加,并进行层归一化,最后通过一个前馈神经网络,得到融合后的高级特征;
11、所述分类器用于将高级特征通过线性变换,得到图像的不同类别的类别概率。
12、根据本公开实施例的一种具体实现方式,所述生成查询、键和值的表达式为
13、
14、其中,qsq、ksq和vsq分别为空间域特征的查询、键和值,qfre、kfre和vfre分别为频率域特征的查询、键和值,为线性变换的参数;
15、所述交叉计算的表达式为
16、
17、所述最终输出的表达式为multihead(q,k,v)=concat(head1,…,headh)wo
18、
19、其中,multihead(·)为多头注意力机制;
20、根据本公开实施例的一种具体实现方式,所述步骤2具体包括:
21、步骤2.1,对空间域拟采用最大均值差异方法度量空间域分布差异损失,对频率域采用高阶矩匹配方法度量频率域分布差异损失;
22、步骤2.2,采用交叉熵损失作为源域分类损失;
23、步骤2.3,采用伪标签一致性学习作为目标域弱增强图和强增强图分类损失;
24、步骤2.4,对分类器得到的类别概率分布采用最小类混淆学习,得到类混淆损失;
25、步骤2.5,根据空间域分布差异损失、频率域分布差异损失、源域分类损失、目标域弱增强图和强增强图分类损失,以及,类混淆损失,得到训练总损失。
26、根据本公开实施例的一种具体实现方式,所述空间域分布差异损失的表达式为
27、
28、其中,表示再生核希尔伯特空间,用于将有标注的样本特征和无标注的样本特征投影到再生核希尔伯特空间,定义了一组在中的连续函数;
29、所述频率域分布差异损失的表达式为
30、
31、其中,p为高阶矩匹配的阶数,与mdd相同,表示再生核希尔伯特空间,表示第i个源域、目标域样本的频率域希尔伯特空间特征表示,lp是隐藏层神经元的个数,ns为每个批次的样本数,即为和表示频率域特征高阶张量的随机采样值,公式为:
32、
33、其中,k(x,y)=exp(-γ∥x-y∥2)是rbf核函数,当p=1时,高阶矩匹配方法度量等价于最大均值差异度量;
34、所述源域分类损失的表达式为
35本文档来自技高网...
【技术保护点】
1.一种融合空间域和频率域的闭集域适应遥感图像分类检索方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述数据增强模块用于将源域图像进行弱增强,得到源域弱增强视图,以及,将目标域进行弱增强和强增强,得到目标域弱增强图和目标域强增强视图;
3.根据权利要求2所述的方法,其特征在于,所述生成查询、键和值的表达式为
4.根据权利要求3所述的方法,其特征在于,所述步骤2具体包括:
5.根据权利要求4所述的方法,其特征在于,所述空间域分布差异损失的表达式为
6.根据权利要求5所述的方法,其特征在于,所述步骤4具体包括:
7.根据权利要求6所述的方法,其特征在于,所述分类结果的表达式为
【技术特征摘要】
1.一种融合空间域和频率域的闭集域适应遥感图像分类检索方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述数据增强模块用于将源域图像进行弱增强,得到源域弱增强视图,以及,将目标域进行弱增强和强增强,得到目标域弱增强图和目标域强增强视图;
3.根据权利要求2所述的方法,其特征在于,所述生成查询...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。