【技术实现步骤摘要】
本专利技术涉及高光谱图像分类，尤其涉及一种基于多特征融合的高光谱图像分类方法。
技术介绍
1、高光谱图像分类具有重要的实际意义和应用价值。高光谱图像，也称为高光谱遥感图像，是一种具有大量波段信息的遥感数据，其中包含详细的光谱信息。这些数据不仅在地表物种识别、环境监测、城市规划、农林业监测、矿产勘查和生态系统研究等领域具有广泛的应用，在海洋科学、海洋资源监测等方面具有重大意义。准确的高光谱图像分类能够帮助分析和解决各种实际问题，改善资源管理和环境保护。传统的遥感图像分类方法常受到受限区域和模糊边界的影响，这使得高光谱图像的精确分类成为一项充满挑战的任务。
2、目前的高光谱图像分类方法主要包括基于光谱特征的方法、基于空间特征的方法和深度学习方法。基于光谱特征的方法主要利用高光谱图像的光谱信息，以最小距离、支持向量机(svm)和光谱角映射等分类器进行分类。基于空间特征的方法主要针对地物对象形态特征，利用形态滤波、纹理特征等方法集成光谱信息。深度学习方法则借助卷积神经网络(cnn)、循环神经网络(rnn)和生成对抗网络(gan)等深度神经网络模型，自动学习高级特征，从而有效提高分类准确性。然而，深度学习方法并不是绝对优越的，这些方法在不同场景和应用中的表现都有优劣之分。
3、尽管深度神经网络在高光谱图像分类中具有良好的性能，但单一网络结构在特征提取方面仍然存在一定的局限性。对于高光谱图像，其具有空间特征、时间特征、光谱特征等等。不同的网络结构可能会关注不同层次的特征，例如在卷积神经网络(cnn)中，2d-cnn能
技术实现思路
1、为了解决上述技术问题，本专利技术提出一种基于多特征融合的高光谱图像分类方法。在所述方法中，能够提高高光谱图像分类的准确率。
2、为了达到上述目的，本专利技术的技术方案如下：
3、一种基于多特征融合的高光谱图像分类方法，包括如下步骤：
4、获取高光谱图像并进行预处理，获得数据集；
5、构建初始分类模型，所述初始分类模型包括三个并行的优化后的resnet网络、优化后的3d-cnn网络、优化后的lstm网络，用于分别提取特征矩阵h1、特征矩阵h2和特征矩阵h3；融合模块，用于将特征矩阵h1、特征矩阵h2、特征矩阵h3进行特征融合，得到融合后特征矩阵h0；分类器，用于将融合后特征矩阵h0作为输入，获得分类结果；
6、将数据集输入至初始分类模型中进行训练，同时计算损失函数以adam优化器更新模型参数，当损失函数不断下降直至收敛时，得到分类模型；
7、将待识别高光谱图像输入至分类模型，获得待识别高光谱图像的分类结果。
8、优选地，所述预处理包括：
9、采用pca技术对高光谱图像进行降维处理；
10、对降维处理后的数据使用窗口创建批数据，获得数据集并按预设比例将数据集划分为训练集和测试集；
11、保存预处理好的数据集，并针对优化后的resnet网络、优化后的3d-cnn网络和优化后的lstm网络的输入要求，将数据转换为对应格式与形状。
12、优选地，还包括如下步骤：
13、对数据集中的少数类标签样本进行过采样获得合成样本，为合成样本生成对应的合成标签集，所述数据集包括多个样本以及样本对应的分类标签集；
14、随机选择一种数据增强方式对所述数据集进行数据增强，所述数据增强方式包括垂直翻转、水平翻转或旋转。
15、优选地，所述优化后的resnet网络包括依次连接的2d卷积层、最大池化层、第一残差块、第二残差块、transformer层、第三残差块、第四残差块、transformer层、全局平均池化层，其中，所述第一残差块、第二残差块、第三残差块、第四残差块均包括依次连接的两个2d卷积层、全局平均池化层、两个fc层；所述transformer层由多头注意力机制、两个dropout层、一个全连接层以及残差连接组成。
16、优选地，所述优化后的3d-cnn包括依次连接的3d卷积层、最大池化层、3d卷积层、最大池化层、fc层、注意力层、flatten层。
17、优选地，所述优化后的lstm包括lstm层、fc层以及在lstm层和fc层之间加入的双向加性注意力层。
18、优选地，所述双向加性注意力层的处理过程，包括如下步骤：
19、将所述lstm层的输出作为注意力机制的输入，经过multiply层进行自注意力，通过dense层进行全连接操作，得到注意力权重向量并使用flatten层压缩为一维向量；
20、使用softmax层对压缩后的注意力权重向量进行归一化后送入reshape层，得到结果张量；
21、将结果张量与lstm层的输出做以元素为单位的乘法，并使用lambda层沿时间序列长度方向的加权结果进行求和，得到最终的加权和输出结果。
22、优选地，所述优化后的resnet网络、优化后的3d-cnn网络、优化后的lstm网络的损失函数均使用分类交叉熵。
23、优选地，所述分类器为单层fc层、支持向量机、随机森林、决策树。
24、优选地，训练过程中采用准确率作为模型的评价指标。
25、基于上述技术方案，本专利技术的有益效果是：
26、1)本专利技术在数据预处理部分，先使用弱势类别复制法以及数据增强处理数据，解决因存在弱势类别以及数据量不足的而影响分类性能的问题；使用pca降低数据维度去除特征冗余信息同时缩短计算时间，将数据转换为若干图像块，以便训练神经网络模型；
27、2)本专利技术使用三种层数较少的神经网络提取高光谱图像的不同特征，并且在神经网络中均添加了不同的注意力机制以及transformer层，以保证神经网络的性能以及优化特征表示，再将三种神经网络提取的特征进行融合，输入到新的分类器fc中，得到混淆矩阵与分类报告以及分类后的图像，能够有效提高高光谱图像分类的准确率。
本文档来自技高网...【技术保护点】
1.一种基于多特征融合的高光谱图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述预处理包括：
3.根据权利要求2所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，还包括如下步骤：
4.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述优化后的ResNet网络包括依次连接的2D卷积层、最大池化层、第一残差块、第二残差块、Transformer层、第三残差块、第四残差块、Transformer层、全局平均池化层，其中，所述第一残差块、第二残差块、第三残差块、第四残差块均包括依次连接的两个2D卷积层、全局平均池化层、两个FC层；所述Transformer层由多头注意力机制、两个Dropout层、一个全连接层以及残差连接组成。
5.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述优化后的3D-CNN包括依次连接的3D卷积层、最大池化层、3D卷积层、最大池化层、FC层、注意力层、Flatten层。
7.根据权利要求6所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述双向加性注意力层的处理过程，包括如下步骤：
8.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述优化后的ResNet网络、优化后的3D-CNN网络、优化后的LSTM网络的损失函数均使用分类交叉熵。
9.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述分类器为单层FC层、支持向量机、随机森林、决策树。
10.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，训练过程中采用准确率作为模型的评价指标。
...【技术特征摘要】
1.一种基于多特征融合的高光谱图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述预处理包括：
3.根据权利要求2所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，还包括如下步骤：
4.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述优化后的resnet网络包括依次连接的2d卷积层、最大池化层、第一残差块、第二残差块、transformer层、第三残差块、第四残差块、transformer层、全局平均池化层，其中，所述第一残差块、第二残差块、第三残差块、第四残差块均包括依次连接的两个2d卷积层、全局平均池化层、两个fc层；所述transformer层由多头注意力机制、两个dropout层、一个全连接层以及残差连接组成。
5.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述优化后的3d-cnn包括...
【专利技术属性】
技术研发人员：沈义俊，全嘉鑫，李萌，杜燕连，刘虎，周健一，张炜峰，冉倩，李文庆，张瑞永，刘悦凡，袁广，
申请(专利权)人：海南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。