【技术实现步骤摘要】
本专利技术涉及遥感图像处理，具体涉及基于双分支transformer的小样本高光谱图像分类方法。
技术介绍
1、高光谱图像(hyperspectral image，hsi)由高光谱传感器(如aviris等)获取，相比rgb图像，hsi包含了丰富的光谱和空间信息，在地物分类方面具备极大优势。目前，hsi已被应用于地球监测，农业管理和医学分析等领域。hsi提供了丰富的信息，但也给高光谱图像分类(hyperspectral image classification，hsic)带来了很多挑战，如高维的数据和样本不均衡等。
2、传统hsic方法主要集中于利用hsi的光谱特征，如支持向量机(svm)，随机森林(rf)和k最近邻算法(knn)，这些方法虽然计算效率高，但通常依赖于手工设计特征，性能有限。有监督的深度学习方法通常采用多层网络自动地从标记数据中学习高级特征，近年来在hsic上取得了显著进展，但它们往往需要依靠大量的标注样本(20％-30％以上)来训练才能取得先进性能，而获取大量的标注样本在目前来说仍旧是耗时耗力的，这对于hsic的实地应用来说是巨大的阻碍。
技术实现思路
1、为了克服以上现有技术存在的问题，本专利技术的目的在于提供基于双分支transformer的小样本高光谱图像分类方法，其一，将无监督掩码学习方法引入高光谱领域，以强化模型对数据中重要特征的学习。其二，将无监督掩码学习与对比学习相结合，一方面可以实现无监督的特征学习，另一方面可以加强特征的判别性。其三，是
2、为了实现上述目的，本专利技术，采用的技术方案是：
3、基于双分支transformer的小样本高光谱图像分类方法，包括以下步骤；
4、步骤1，获取航空器采集的高光谱图像数据x∈rh×w×c和对应标注y∈rh×w，其中，h、w、c分别为图像数据的高度，宽度和通道数，将无标记的高光谱图像数据分别输入到两个不同的掩码自编码模块：基于图卷积的掩码自编码模块(gma)和基于主成分分析的掩码自编码模块(pma)，之后进行无监督预训练；
5、步骤2，将步骤1中预训练后的gma和pma的编码部分作为特征提取器，纳入设计好的对比框架中继续进行预训练，以进一步加强特征的判别性；
6、步骤3，提取步骤2中预训练好的模型，将高光谱图像输入到预训练好的模型中，并获取特征；
7、步骤4，将步骤3中获取的特征输入到分类器支持向量机(svm)中，其中，每类地物使用5个标记样本作为下游微调数据，输入到svm中，并利用网格搜索法，通过4倍交叉验证(cv＝4)来确定最优超平面参数，其中，svm的kernel为rbf，经由svm，输出预测分类结果，实现地物的精确分类。
8、所述步骤1包括以下子步骤：
9、步骤1.1，gma模块：对高光谱图像数据x∈rh×w×c进行波段选择，挑选代表性谱带，减少无关谱带影响；之后，用代表性谱带构造场景视图一v1∈rh×w×c；裁剪视图并进行无监督预训练，从而学习重要的视图特征；
10、步骤1.2，pma模块：构造场景视图二，裁剪视图进行无监督预训练。
11、所述步骤1.1的具体实现方式如下，
12、步骤1.1.1，将高光谱图像转换为一个k最近邻图g＝(v,ε,a)，用来表征高光谱图像中频谱数据的结构信息；其中，节点vi为波段xi；选定参数k，计算出与每个节点vi距离最近的k个节点，以此来确定ε；a为图g的邻接矩阵，a∈rc×c被定义为：
13、
14、上式中，nk(x(i))表示x(i)的最近邻节点集合；
15、步骤1.1.2，通过图卷积计算谱带图g的图嵌入，并与自表示相结合，修改后的自表示模型被定义为：
16、
17、上式中，为频带图的图嵌入矩阵；是一个自环邻接矩阵，是节点的度矩阵；
18、步骤1.1.3，使用f范数来求解步骤1.1.2中的自表示矩阵c；步骤1.1.2的自表示模型公式被转化为：
19、c＝(wtw+λib)-1wtx
20、上式中，w为图嵌入矩阵；λ为比例因子；ib是单位矩阵；
21、步骤1.1.4，求解出步骤1.1.3中的c之后，进行标准化，利用l1范数计算每个波段对重构的贡献，将贡献度最大的前n个谱带作为选择的谱带子集；
22、步骤1.1.5，将步骤1.1.4中选择好的谱带子集进行通道拼接，形成场景视图一；以地物为中心裁剪得到的每个小块图像被作为一个地物实例的视图，随后经过数据增强输入到掩码自编码器中；
23、步骤1.1.6，在步骤1.1.5的掩码自编码器中，视图的大部分区域被掩盖，自编码器以可见部分作为输入，并执行像素级重建原始视图任务；损失函数被设置为均方误差(mse)，用以使重构结果能够接近原始输入；
24、步骤1.1.7，为减小运算量与内存开支，使用轻量级transformer块来构造步骤1.1.5中的掩码自编码器；经过无监督预训练之后，解码器被丢弃，编码部分可被作为良好的视图特征提取器，并应用于完整视图上；
25、所述步骤1.2的具体实现方式如下，
26、步骤1.2.1，对高光谱图像数据x∈rh×w×c应用主成分分析，提取前三个主要成分，形成场景视图二v2∈rh×w×c；
27、步骤1.2.2，以地物为中心，对步骤1.2.1中的视图进行裁剪，每个地物实例视图的大部分被掩盖，并作为掩码自编码器的输入；经过无监督预训练，编码部分可被作为良好的空间特征提取器，并应用于完整视图上；
28、所述步骤2包括以下子步骤：
29、步骤2.1，对比框架采用双分支结构，包含：投影头结构(由一个全连接(linear)层，一个批归一化(batchnorm)层和激活函数(relu)顺序连接构成)和对比损失函数；所述投影头结构用于对编码器提取的特征进行降维，以便更好地捕捉样本之间的差异。所述对比损失函数用于将来自同一样本的不同视图特征进行聚合，同时推开不同样本的视图特征，以此来指导无监督训练和模型更新。
30、步骤2.2，定义来自同一地物实例的两个视图为正样本，来自不同地物实例的两个视图作为负对，对比损失函数定义为：
31、
32、上式中，n为批处理的大小，zi和zj为模型提取的特征向量，sim(zi,zj)为两个特征向量zi和zj之间的余弦相似度；
33、步骤2.3，获取步骤2.1中投影头后的两组特征计算2.2步骤中的损失；
34、步骤2.4，反向传播损失值并更新网络参数。
35、本专利技术的有益效果：
36、(1)分别采用基于图卷积的波段选择方法以及主成分分析方法来进行视图构造，缓解了无关谱带本文档来自技高网...
【技术保护点】
1.基于双分支Transformer的小样本高光谱图像分类方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的基于双分支Transformer的小样本高光谱图像分类方法，其特征在于，所述步骤1包括以下子步骤：
3.根据权利要求2所述的基于双分支Transformer的小样本高光谱图像分类方法，其特征在于，所述步骤1.1的具体实现方式如下，
4.根据权利要求2所述的基于双分支Transformer的小样本高光谱图像分类方法，其特征在于，所述步骤1.2的具体实现方式如下，
5.根据权利要求2所述的基于双分支Transformer的小样本高光谱图像分类方法，其特征在于，所述步骤2包括以下子步骤：
【技术特征摘要】
1.基于双分支transformer的小样本高光谱图像分类方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的基于双分支transformer的小样本高光谱图像分类方法，其特征在于，所述步骤1包括以下子步骤：
3.根据权利要求2所述的基于双分支transformer的小样本高光谱图像分类方法，其...
【专利技术属性】
技术研发人员：朱命昊，王恒，孟月波，袁山山，单哲，马宗方，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。