一种联合多注意及Transformer的高光谱图像分类方法技术

本发明专利技术公开了一个联合多注意和Transformer Encoder结构的网络来充分提取HSI的空间光谱特征。多注意模块包括通道注意和空间注意，以进一步关注重要频带和区域的信息。此外，本发明专利技术还提出了一种多层密集自适应融合模块，以充分集成浅层、中层和深层信息。使得特征表示和学习后的混合信息包含了多层次的特征。另外，我们提出了一个在标签平滑交叉熵的基础上调整的Lpoly损失来动态地改变地物类别真实预测标签的概率。该网络在三个公共高光谱分类数据集上进行了测试，显示了良好的分类性能。结果表明，该方法对提取高光谱图像中的深层语义信息非常有效。的深层语义信息非常有效。的深层语义信息非常有效。

【技术实现步骤摘要】
一种联合多注意及Transformer的高光谱图像分类方法


[0001]本专利技术属于高光谱图像分类领域，具体涉及一种联合多注意及Transformer的高光谱图像分类方法。

技术介绍

[0002]成像技术和光谱技术是传统的光学技术的两个重要方向，成像技术能够获得物体的影像，得到其空间信息；光谱技术能够得到物体的光学信息，进而研究其物质属性。20世纪70年代以前，成像技术和光谱技术是相互独立的学科，随着遥感技术的发展，成像光谱技术迅速发展起来，它是一种快速、无损的检测技术，具有光谱分辨率高、多波段和图谱合一的特点，能在大尺度范围内识别地表并深入研究其地表物质的成分及结构。目前成像光谱技术已经成为遥感技术的发展趋势之一，并在军事侦察、海洋遥感、地质勘探、植被分析等领域得到越来越广泛的应用。
[0003]随着成像光谱技术越来越成熟，人们迫切需要利用这些丰富的空间光谱信息来满足各种需要。为了进一步区分出同一场景下相似类别之间的细微空间光谱差异，研究者们将深度学习的方法利用在高光谱图像分类任务中，取得了不错的效果。卷积神经网络作为代表性的深度学习方法，其主要包括：利用一维卷积和二维卷积分别提取光谱信息和空间信息，并将提取的信息融合后用于分类；利用三维卷积直接提取局部空间光谱信息进行分类。近年来，以Transformer架构为代表的深度学习方法受到越来越多的关注，使用这种具备自注意力机制的网络框架来实现高光谱分类也成为不错的选择。
[0004]虽然上述深度学习的方法给很大程度上满足了人们将高光谱图像用于地物分类的需要，但也仍然有两点不足：
[0005]1)传统三维卷积神经网络虽然比一维和二维卷积神经网络表现普遍更优异，但同时也带来了计算上的巨大开销；
[0006]2)高光谱图像分类任务通常可以被视作小样本分类任务，无论是传统卷积神经网络还是Transformer网络架构，都有可能在特征学习和提取的过程中带来过拟合的风险。

技术实现思路

[0007]本专利技术的目的是针对上述不足，提出一种联合多注意及Transformer的高光谱图像分类方法，通过使用多种注意力机制，将更多的注意力资源关注到更重要的区域，提高计算资源的同时保证网络训练的速度尽可能加快，同时利用Transformer Encoder组合结构提取高光谱图像中丰富的语义信息。对于Encoder组合框架，我们设计了一种多层密集自适应融合的连接方式来缓解可能会产生的过拟合问题。另外，我们基于标签平滑交叉熵损失函数设计了一种改进的损失，通过进一步调整预测标签之间概率来提升分类性能。
[0008]本专利技术解决该问题采用的技术方案为：一种联合多注意及Transformer的高光谱图像分类网络。本专利技术首先设计了一种结合通道注意、二维卷积层以及空间注意的多注意力模块。该模块先利用通道注意对通道进行选择，不同的通道的权重大小可能不一样，对于
分类精度影响较大的通道，其权重更大；反之越小。而空间注意力进一步将注意力资源关注在二维空间内的重要区域部分，并弱化对分类无关区域的关注。接着利用一个高斯加权特征表示器将特征转化为深度语义特征，同时生成语义token，以便于后续Transformer Encoder结构对其进行充分地特征学习和提取。关于Encoder结构部分，我们采用了一种多层密集自适应融合的连接方式，并且将Encoder的层数设置为3。最后将融合后得到的多层次特征经过线性表示层，利用softmax函数对其进行分类。关于损失函数，由于交叉熵损失对于高光谱图像中样本数较少的类别容易产生过拟合的现象，而标签平滑交叉熵相较于交叉熵还考虑了错误类别的概率。因此我们选择在标签平滑交叉熵的基础上添加了一项多项式，用以动态调整地物类别真实预测的概率从而进一步防止过拟合，使网络对于高光谱图像中这些样本数较少的类别具有更强的容错能力以及更好的鲁棒性。具体包括如下步骤：
[0009]步骤1，划分训练数据集和测试数据集；
[0010]步骤2，针对训练数据集中的原始高光谱数据，对其进行降维；
[0011]步骤3，对降维后的数据将其分成若干个数据立方体块并执行三维卷积层，获得三维特征图；
[0012]步骤4，执行包含通道注意、二维卷积层和空间注意的多注意力模块，获得二维特征图；
[0013]步骤5，将每个二维特征映射展平成一个一维特征向量；
[0014]步骤6，通过高斯加权特征表示器模块生成语义标记；
[0015]步骤7，将一个全零向量作为可学习分类标记与步骤6中生成的语义标记连接起来形成融合后的语义标记，并在融合后的语义标记上嵌入位置信息；
[0016]步骤8，执行多层密集自适应融合模块对嵌入位置信息的融合后的语义标记进行特征提取；
[0017]步骤9，将第一个分类标记输入到最后一个线性层；
[0018]步骤10，使用softmax函数来识别标签；
[0019]步骤11，设计损失函数训练由步骤3
‑
步骤10构成的整体网络，然后针对测试数据集进行测试。
[0020]进一步的，步骤2中对于使用主成分分析对高光谱图像执行降维操作，将降维后的频带数设置为40。
[0021]进一步的，步骤3中，将每个提取的立方体块的大小设置为13
×
13
×
40，三维卷积层使用了16个大小为3
×3×
3的卷积核，以生成16个大小为11
×
11
×
38的特征图。
[0022]进一步的，步骤4中通道注意的处理过程如下；
[0023]对于输入特征，聚合平均池化层和最大池化层，然后将得到的两个不同的空间上下文描述符F
avg
和F
max
输入到同一共享的多层感知器MLP中，其中MLP的隐藏激活大小设置为R，然后逐元素求和得到最终的输出特征，该过程用数学公式表示为：
[0024][0025]其中Sig为sigmoid函数，W0∈R
C/r
×
C
，MLP权重W0和W1是共享的，ReLU激活函数后面是W0；
[0026]进一步的，步骤4中，在二维卷积层中使用了64个3
×
3大小的卷积核来获得64个9
×
9的特征图。
[0027]进一步的，对于空间注意力模块部分，首先将输入特征F通过平均池化和最大池化操作分别获取特征和将结果特征连接起来，最后使用卷积层生成空间注意特征图；
[0028][0029]其中Sig为sigmoid函数，f3×3表示卷积核大小为3
×
3的卷积运算。
[0030]进一步的，步骤6中生成语义标记的过程如下；
[0031]设置其输入的展平特征映射被定义为X∈R
hw
×
c
，其中h为高度，w是宽度，c是通道的数量，将输入的特征X与初始化高斯分布的权重W进行点积操作，然后，将其转置，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合多注意及Transformer的高光谱图像分类方法，其特征在于，包括如下步骤：步骤1，划分训练数据集和测试数据集；步骤2，针对训练数据集中的原始高光谱数据，对其进行降维；步骤3，对降维后的数据将其分成若干个数据立方体块并执行三维卷积层，获得三维特征图；步骤4，执行包含通道注意、二维卷积层和空间注意的多注意力模块，获得二维特征图；步骤5，将每个二维特征映射展平成一个一维特征向量；步骤6，通过高斯加权特征表示器模块生成语义标记；步骤7，将一个全零向量作为可学习分类标记与步骤6中生成的语义标记连接起来形成融合后的语义标记，连接起来形成融合后的语义标记，并在融合后的语义标记上嵌入位置信息；步骤8，执行多层密集自适应融合模块对嵌入位置信息的融合后的语义标记进行特征提取；步骤9，将第一个分类标记输入到最后一个线性层；步骤10，使用softmax函数来识别标签；步骤11，设计损失函数训练由步骤3
‑
步骤10构成的整体网络，然后针对测试数据集进行测试。2.如权利要求1所述的一种联合多注意及Transformer的高光谱图像分类方法，其特征在于：步骤2中对于使用主成分分析对高光谱图像执行降维操作，将降维后的频带数设置为40。3.如权利要求1所述的一种联合多注意及Transformer的高光谱图像分类网络，其特征在于：步骤3中，将每个提取的立方体块的大小设置为13
×
13
×
40，三维卷积层使用了16个大小为3
×3×
3的卷积核，以生成16个大小为11
×
11
×
38的特征图。4.如权利要求1所述的一种联合多注意及Transformer的高光谱图像分类方法，其特征在于：步骤4中通道注意的处理过程如下；对于输入特征，聚合平均池化层和最大池化层，然后将得到的两个不同的空间上下文描述符F
avg
和F
max
输入到同一共享的多层感知器MLP中，其中MLP的隐藏激活大小设置为R，然后逐元素求和得到最终的输出特征，该过程用数学公式表示为：后逐元素求和得到最终的输出特征，该过程用数学公式表示为：其中Sig为sigmoid函数，W0∈R
C/r
×
C
，MLP权重W0和W1是共享的，ReLU激活函数后面是W0。5.如权利要求1所述的一种联合多注意及Transformer的高光谱图像分类方法，其特征在于：步骤4中，在二维卷积层中使用了64个3
×
3大小的卷积核来获得64个9
×
9的特征图。6.如权利要求1所述的一种联合多注意及Transformer的高光谱图像分类方法，其特征在于：对于空间注意力模块部分，首先将输入特征F通过平均池化和最大池化操作分别获取特征和将结果特征连接起来，最后使用卷积层生成空间注意特征图；
其中Sig为sigmo...

【专利技术属性】
技术研发人员：陈亚雄，张波，师悦天，张志鹏，熊盛武，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：