一种基于3DCutMix-Transformer的高光谱图像分类方法及系统技术方案

本发明专利技术公开了一种基于3D CutMix

【技术实现步骤摘要】
一种基于3D CutMix
‑
Transformer的高光谱图像分类方法及系统


[0001]本专利技术属于高光谱遥感图像分类
，具体涉及一种基于3DCutMix
‑
Transformer的高光谱图像分类方法及系统。

技术介绍

[0002]随着人工智能技术的发展，高光谱图像智能分类技术已经深深影响了现代生活的方方面面，其在精准农业、军事、海洋、灾害检测等领域的应用已经越来越广泛。传统遥感图像分析是利用图像空间信息，高光谱图像分析的核心是光谱分析。高光谱的遥感数据是一个光谱图像立方体，如图1所示，其最主要的特点将图像空间维与光谱维信息合为一体，与单波段相比，多出了一维光谱信息。在获取地表空间图像同时，会得到每个像元对应的地物光谱信息。因此，高光谱图像分类较传统的遥感图像分类有信息丰富程度高的优势，这对于智能图像分类来说意味着可以通过高光谱数据学习到更多的特征以提高分类精度。
[0003]目前，高光谱图像分类存在标记样本少、模型鲁棒性差的问题。以数据驱动的深度学习方法在少量样本下会导致高光谱图像分类的模型精确度和鲁棒性受数据集影响较大，即现有的方法如CNN(Convolutional Neural Network,卷积神经网络)在训练样本比较少的情况下效率低、鲁棒性差，并且在跨数据集(不同传感器得到)上的效果很差。而以上所提到的问题现今都未得到有效解决。

技术实现思路

[0004]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于3D CutMix
‑
Transformer的高光谱图像分类方法及系统，使用3D CutMix对高光谱图像数据进行增强来扩增数据集，同时使用一维Transformer模型进行高光谱图像的特征学习，从而提高分类精确度，解决现有高光谱图像分类技术标记样本少、模型鲁棒性差的问题。
[0005]本专利技术采用以下技术方案：
[0006]一种基于3D CutMix
‑
Transformer的高光谱图像分类方法，包括以下步骤：
[0007]S1、将高光谱数据划分为有标签有标签训练数据集Train和有标签验证数据集Test；
[0008]S2、搭建CNN卷积神经网络，将步骤S1划分的有标签训练数据集Train 输入CNN卷积神经网络，构建基于CNN的3D CutMix预训练模型；
[0009]S3、基于步骤S2的3D CutMix预训练模型构建高光谱图像分类区域级老师模型M
RL
和样本级老师模型M
SL
；
[0010]S4、通过集成步骤S3构建的高光谱图像分类区域级老师模型M
RL
和样本级老师模型M
SL
，以及步骤S1划分的有标签训练数据集Train共同训练学生模型 M
S
，再将步骤S1划分的有标签验证数据集Test输入训练好的学生模型M
S
中，实现基于Transformer老师学生模型的高光谱图像分类。
[0011]具体的，步骤S1中，有标签训练数据集Train占高光谱数据的80％，标签验证数据集Test占高光谱数据的20％。
[0012]具体的，步骤S2具体为：
[0013]S201、搭建CNN卷积神经网络；
[0014]S202、将步骤S1划分的有标签训练数据集Train输入CNN卷积神经网络，得到每个像素元的分类结果；
[0015]S203、将步骤S202得到的每个像素元的分类结果与其包含的波段数据进行贡献率分析，得出贡献率最高的波段，遵循从候选中选择不超过波段数的5％的原则；
[0016]S204、根据步骤S203得到的对每个像素元分类结果贡献率最高的若干个波段进行3D CutMix的设计，得到高光谱数据的3D Mask，最终得到预训练的 3D Mask预训练模型。
[0017]进一步的，步骤S201中，CNN卷积神经网络的输入层网络输入使用mat 格式标准数据，并且将格式(L
×
W)
×
H的原数据进行去中心化和标准化处理，输出结果为F
×
H作为第一个卷积层的输入，F＝L
×
W，L为高光谱数据长边的像素数，W为高光谱数据宽边的像素数，H为高光谱数据的波段数，F为高光谱数据总的像素数；对CNN输入层权重进行0～1约束，若输入权重大于0.5 则为1，否则为0；
[0018]卷积层采用4x4大小的卷积核/过滤器，且卷积核每次滑动一个像素，一个特征图谱使用同一个卷积核，激活函数采用Relu函数。
[0019]进一步的，步骤S202中，每个高光谱图像数据表示为，第j个像素元， j＝1，2，
…
，F，i＝1，2，
…
，H，对应的标签为L
(j)
，采用多分类交叉熵损失函数如下：
[0020][0021]其中，p＝[p0,...,p
C
‑1]为一个概率分布，每个元素p
i
表示样本属于第i类的概率；y＝[y0,...,y
C
‑1]为样本标签的one
‑
hot表示，当样本属于第类别i时y
i
＝1，否则y
i
＝0，C是样本标签数量。
[0022]具体的，步骤S3具体为：
[0023]S301、在高光谱数据中随机选取两个像素元X
(m)
和X
(n)
进行3D CutMix操作得到X_Cut
(m)
和X_Cut
(n)
；
[0024]S302、将步骤S301重复N次得到原始高光谱数据通过3D CutMix操作得到的增强数据j＝1，2，
…
，F，i＝1，2，...，H；
[0025]S303、将步骤S302得到的增强数据输入区域级老师模型M
RL
，经过一维Transformer得到伪标签L1
(j)
；
[0026]S304、将原高光谱数据输入样本级老师模型M
SL
，经过一维Transformer 得到伪标签L2
(j)
；
[0027]S305、分别将步骤S303的伪标签L1
(j)
与步骤S304的伪L2
(j)
与真实标签进行自监督损失，同时计算伪标签L1
(j)
与伪标签L2
(j)
之间的交叉伪监督损失，区域级老师模型M
RL
的目标函数L
RL
和样本级老师模型M
SL
的目标函数L
SL
。
[0028]进一步的，步骤S305中，区域级老师模型M
RL
的目标函数L
RL
和样本级老师模型M
SL
...

【技术保护点】

【技术特征摘要】
1.一种基于3D CutMix
‑
Transformer的高光谱图像分类方法，其特征在于，包括以下步骤：S1、将高光谱数据划分为有标签有标签训练数据集Train和有标签验证数据集Test；S2、搭建CNN卷积神经网络，将步骤S1划分的有标签训练数据集Train输入CNN卷积神经网络，构建基于CNN的3D CutMix预训练模型；S3、基于步骤S2的3D CutMix预训练模型构建高光谱图像分类区域级老师模型M
RL
和样本级老师模型M
SL
；S4、通过集成步骤S3构建的高光谱图像分类区域级老师模型M
RL
和样本级老师模型M
SL
，以及步骤S1划分的有标签训练数据集Train共同训练学生模型M
S
，再将步骤S1划分的有标签验证数据集Test输入训练好的学生模型M
S
中，实现基于Transformer老师学生模型的高光谱图像分类。2.根据权利要求1所述的基于3D CutMix
‑
Transformer的高光谱图像分类方法，其特征在于，步骤S1中，有标签训练数据集Train占高光谱数据的80％，标签验证数据集Test占高光谱数据的20％。3.根据权利要求1所述的基于3D CutMix
‑
Transformer的高光谱图像分类方法，其特征在于，步骤S2具体为：S201、搭建CNN卷积神经网络；S202、将步骤S1划分的有标签训练数据集Train输入CNN卷积神经网络，得到每个像素元的分类结果；S203、将步骤S202得到的每个像素元的分类结果与其包含的波段数据进行贡献率分析，得出贡献率最高的波段，遵循从候选中选择不超过波段数的5％的原则；S204、根据步骤S203得到的对每个像素元分类结果贡献率最高的若干个波段进行3D CutMix的设计，得到高光谱数据的3D Mask，最终得到预训练的3D Mask预训练模型。4.根据权利要求3所述的基于3D CutMix
‑
Transformer的高光谱图像分类方法，其特征在于，步骤S201中，CNN卷积神经网络的输入层网络输入使用mat格式标准数据，并且将格式(L
×
W)
×
H的原数据进行去中心化和标准化处理，输出结果为F
×
H作为第一个卷积层的输入，F＝L
×
W，L为高光谱数据长边的像素数，W为高光谱数据宽边的像素数，H为高光谱数据的波段数，F为高光谱数据总的像素数；对CNN输入层权重进行0～1约束，若X
i(j)
输入权重大于0.5则为1，否则为0；卷积层采用4x4大小的卷积核/过滤器，且卷积核每次滑动一个像素，一个特征图谱使用同一个卷积核，激活函数采用Relu函数。5.根据权利要求3所述的基于3D CutMix
‑
Transformer的高光谱图像分类方法，其特征在于，步骤S202中，每个高光谱图像数据表示为X
i(j)
，第j个像素元，j＝1，2，
…
，F，i＝1，2，
…
，H，对应的标签为L
(j)
，采用多分类交叉熵损失函数如下：其中，p＝[p0,...,p
C
‑1]为一个概率分布，每个元素p
i
表示样本属于第i类的概率；y＝[y0,...,y
C
‑1]为样本标签的one
‑
hot表示，当样本属于第类别i时y
i
＝1，否则y
i
＝0，C是样本标签数量。
6.根据权利要求1所述的基于3D CutMix
‑
Transformer的高光谱图像分类方法，其特征在于，步骤S3具体为：S301、在高光谱数据中随机选取两个像素元X
(m)
和X
(n)
进行3D CutMix操作得到X_Cut
(m)
和X_Cut
(n)
；S302、将步骤S301重复N次得到原始高光谱数据通过3D CutMix操作得到的增强数据S303、将步骤S302得到的增强数据输入区域级老师模型M
RL

【专利技术属性】
技术研发人员：冯志玺，高雅晨，杨淑媛，陈帅，胡浩，彭同庆，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：