一种基于深度Transformer的高光谱影像分类方法技术

本发明专利技术属于遥感影像技术领域，具体涉及一种基于深度Transformer的高光谱影像分类方法。该方法将待分类的高光谱影像分别输入至训练好的深度空‑谱Transformer模型中，便可实现对高光谱影像的分类。该深度空‑谱Transformer模型包括光谱维度注意力模型、空间维度注意力模型和分类器，且光谱维度注意力模型和空间维度注意力模型均包括相应的位置编码层和Transformer层，利用Transformer结构代替传统的卷积层，并分别在光谱和空间维度应用注意力机制来提取高光谱影像的空‑谱特征以更好地利用高光谱影像丰富的空间和光谱信息，同时使得分类模型更加灵活、高效，分类结果更加精准。

【技术实现步骤摘要】
一种基于深度Transformer的高光谱影像分类方法
本专利技术属于遥感影像
，具体涉及一种基于深度Transformer的高光谱影像分类方法。
技术介绍
高光谱影像具有光谱分辨率高、图谱合一的独特优点，已被广泛应用于目标追踪、环境保护、农业监测及气象预报等领域。高光谱影像分类就是对影像中的像素点进行分类，是对未标记的像素进行标号的过程，是一种重要的信息获取手段。如何更好地进行高光谱影像分类一直是遥感图像处理领域中的研究热点之一。目前深度学习方法已经被广泛地用于高光谱影像分类，现有的深度学习方法(例如一维卷积神经网络、二维卷积神经网络、三维卷积神经网络)大多数以卷积神经网络为基础，这些方法所使用的分类模型灵活性较差，分类精度有待进一步提升。
技术实现思路
本专利技术提供了一种基于深度Transformer的高光谱影像分类方法，用以解决现有技术中的深度学习方法造成分类精度低的问题。为解决上述技术问题，本专利技术所包括的技术方案以及技术方案对应的有益效果如下：本专利技术提供了一种基于深度Transformer的高光谱影像分类方法，包括如下步骤：1)获取待分类的高光谱影像；2)将待分类的高光谱影像分别输入至训练好的深度空-谱Transformer模型中，以对高光谱影像进行分类；其中，所述训练好的深度空-谱Transformer模型利用已标记的高光谱影像和对应的标记结果进行训练得到；且所述深度空-谱Transformer模型包括光谱维度注意力模型、空间维度注意力模型和分类器；所述光谱维度注意力模型包括顺次连接的光谱输入层、光谱卷积层、光谱深度学习层和光谱输出层；所述光谱输入层用于将待分类的高光谱影像沿着光谱维度划分为b个光谱图像块，b为波段数；所述光谱卷积层用于将所述光谱图像块转换成光谱特征向量；所述光谱深度学习层包括光谱位置编码层和顺次连接的至少两层光谱Transformer层，所述光谱位置编码层用于对所述光谱特征向量进行位置编码，并与所述光谱特征向量相加，相加的结果作为第一层光谱Transformer层的输入，其余的光谱Transformer层的输入均为前一层光谱Transformer层的输出；所述光谱输出层用于对最后一层光谱Transformer层的输出进行处理得到光谱维度输出特征；所述空间维度注意力模型包括顺次连接的空间输入层、空间卷积层、空间深度学习层和空间输出层；所述空间输入层用于将待分类的高光谱影像进行降维处理并沿着空间维度划分为k个空间图像块；所述空间卷积层用于将所述空间图像块转换成空间特征向量；所述空间深度学习层包括空间位置编码层和顺次连接的至少两层空间Transformer层，所述空间位置编码层用于对所述空间特征向量进行位置编码，并与所述空间特征向量相加，相加的结果作为第一层空间Transformer层的输入，其余的空间Transformer层的输入均为前一层空间Transformer层的输出；所述空间输出层用于对最后一层空间Transformer层的输出进行处理得到空间维度输出特征；所述分类器用于根据拼接在一起的所述光谱维度输出特征和所述空间维度输出特征进行高光谱影像分类。上述技术方案的有益效果为：本专利技术在进行高光谱影像分类时，所使用的深度空-谱Transformer模型包括光谱维度注意力模型和空间维度注意力模型，这两个模型均包括相应的位置编码层和Transformer层，利用Transformer结构代替传统的卷积层，并分别在光谱和空间维度应用注意力机制来提取高光谱影像的空-谱特征以更好地利用高光谱影像丰富的空间和光谱信息，同时使得分类模型更加灵活、高效，分类结果更加精准。进一步的，所述光谱Transformer层和空间Transformer层均为六层。进一步的，所述光谱Transformer层和空间Transformer层均包括自注意力层和前馈神经网络层；所述前馈神经网络层采用两层的多层感知机；所述自注意力层所采用的自注意力机制为：其中，Q、K、V分别为查询矩阵、键矩阵和值矩阵，dk是输入的维度。进一步的，所述光谱输出层和空间输出层均为多层感知机。进一步的，所述空间输入层用于采用主成分分析法将待分类的高光谱影像进行降维处理。进一步的，采用主成分分析法时，提取前3个主成分波段。进一步的，所述光谱位置编码层和所述空间位置编码层采用如下公式以相应分别对光谱特征向量和空间特征向量进行位置编码：其中，PE表示光谱位置编码层或者空间位置编码层的输出，pos表示特征向量在整个序列中的位置，dmodel表示特征向量的维度，i表示特征向量的位置。进一步的，所述光谱卷积层和所述空间卷积层均为二维卷积层。附图说明图1是本专利技术的深度空-谱Transformer模型的示意图；图2是本专利技术的Transformer的基本结构图；图3是本专利技术的多头注意力的示意图。具体实施方式本专利技术基于自注意力机制设计了一种更加有效的空-谱特征分类模型来改善高光谱影像分类的精度。其整体思路为：首先沿着光谱和空间两个维度构建特征序列，然后将这些特征序列分别输入到对应的六层Transformer中，再将经过六层Transformer的光谱和空间两个维度的特征进行拼接，并将拼接后的特征输入到分类层进行分类。下面首先对本专利技术方法中所使用Transformer进行介绍。本专利技术中所使用的Transformer基于自注意力机制替代了传统的卷积层，在自然语言处理领域取得了极大的成功。如图2所示，基本的Transformer结构包含一个自注意力层和一个前馈神经网络层。Transformer的输入和输出均为一个特征向量序列(在自然语言处理中为词向量序列)，为了更好地考虑输入的特征向量位置信息，在输入第1层Transformer前，先对特征向量序列进行位置编码，然后和特征向量相加输入到第1层Transformer中。Transformer的输出同样为特征向量序列，并作为下一层Transformer的输入。其中，位置编码为每个特征向量输出一个维度与特征向量相同的空间位置向量，从而用空间位置向量来描述特征向量的位置关系。本实施例中采用如下的形式对特征向量进行位置编码：上式中，pos表示特征向量在整个序列中的位置，dmodel表示特征向量的维度，i表示特征向量的位置。上式会在每个特征向量的偶数位置添加sin变量，奇数位置添加cos变量，以此来产生与原始特征向量维度相同的空间位置向量，然后与原始特征向量相加完成位置编码。而且，与卷积神经网络的训练参数卷积核不同，每层Transformer的训练参数包含三个矩阵WQ、WK、WV，这三个矩阵分别与输入的向量序列相乘得到查询矩阵、键矩阵和值矩阵。自注意力机制如下：上式中，Q、K、V分别为查询矩阵、键矩阵和值矩阵，dk是输入的本文档来自技高网...

【技术保护点】
1.一种基于深度Transformer的高光谱影像分类方法，其特征在于，包括如下步骤：/n1)获取待分类的高光谱影像；/n2)将待分类的高光谱影像分别输入至训练好的深度空-谱Transformer模型中，以对高光谱影像进行分类；/n其中，所述训练好的深度空-谱Transformer模型利用已标记的高光谱影像和对应的标记结果进行训练得到；且所述深度空-谱Transformer模型包括光谱维度注意力模型、空间维度注意力模型和分类器；/n所述光谱维度注意力模型包括顺次连接的光谱输入层、光谱卷积层、光谱深度学习层和光谱输出层；所述光谱输入层用于将待分类的高光谱影像沿着光谱维度划分为b个光谱图像块，b为波段数；所述光谱卷积层用于将所述光谱图像块转换成光谱特征向量；所述光谱深度学习层包括光谱位置编码层和顺次连接的至少两层光谱Transformer层，所述光谱位置编码层用于对所述光谱特征向量进行位置编码，并与所述光谱特征向量相加，相加的结果作为第一层光谱Transformer层的输入，其余的光谱Transformer层的输入均为前一层光谱Transformer层的输出；所述光谱输出层用于对最后一层光谱Transformer层的输出进行处理得到光谱维度输出特征；/n所述空间维度注意力模型包括顺次连接的空间输入层、空间卷积层、空间深度学习层和空间输出层；所述空间输入层用于将待分类的高光谱影像进行降维处理并沿着空间维度划分为k个空间图像块；所述空间卷积层用于将所述空间图像块转换成空间特征向量；所述空间深度学习层包括空间位置编码层和顺次连接的至少两层空间Transformer层，所述空间位置编码层用于对所述空间特征向量进行位置编码，并与所述空间特征向量相加，相加的结果作为第一层空间Transformer层的输入，其余的空间Transformer层的输入均为前一层空间Transformer层的输出；所述空间输出层用于对最后一层空间Transformer层的输出进行处理得到空间维度输出特征；/n所述分类器用于根据拼接在一起的所述光谱维度输出特征和所述空间维度输出特征进行高光谱影像分类。/n...

【技术特征摘要】
1.一种基于深度Transformer的高光谱影像分类方法，其特征在于，包括如下步骤：
1)获取待分类的高光谱影像；
2)将待分类的高光谱影像分别输入至训练好的深度空-谱Transformer模型中，以对高光谱影像进行分类；
其中，所述训练好的深度空-谱Transformer模型利用已标记的高光谱影像和对应的标记结果进行训练得到；且所述深度空-谱Transformer模型包括光谱维度注意力模型、空间维度注意力模型和分类器；
所述光谱维度注意力模型包括顺次连接的光谱输入层、光谱卷积层、光谱深度学习层和光谱输出层；所述光谱输入层用于将待分类的高光谱影像沿着光谱维度划分为b个光谱图像块，b为波段数；所述光谱卷积层用于将所述光谱图像块转换成光谱特征向量；所述光谱深度学习层包括光谱位置编码层和顺次连接的至少两层光谱Transformer层，所述光谱位置编码层用于对所述光谱特征向量进行位置编码，并与所述光谱特征向量相加，相加的结果作为第一层光谱Transformer层的输入，其余的光谱Transformer层的输入均为前一层光谱Transformer层的输出；所述光谱输出层用于对最后一层光谱Transformer层的输出进行处理得到光谱维度输出特征；
所述空间维度注意力模型包括顺次连接的空间输入层、空间卷积层、空间深度学习层和空间输出层；所述空间输入层用于将待分类的高光谱影像进行降维处理并沿着空间维度划分为k个空间图像块；所述空间卷积层用于将所述空间图像块转换成空间特征向量；所述空间深度学习层包括空间位置编码层和顺次连接的至少两层空间Transformer层，所述空间位置编码层用于对所述空间特征向量进行位置编码，并与所述空间特征向量相加，相加的结果作为第一层空间Transformer层的输入，其余的空间Transformer层的输入均为前一层空间Transformer层的输出；所述空间输出层用于对最后一层空间Transformer层的输出进行处理得到空间维度输出特征；
所述...

【专利技术属性】
技术研发人员：刘冰，余岸竹，张鹏强，薛志祥，左溪冰，高奎亮，孙一帆，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：河南;41