一种基于二维卷积和LSTM的高光谱图像分类方法及系统技术方案

本发明专利技术请求保护一种基于二维卷积和LSTM的高光谱图像分类方法及系统，包括步骤：对高光谱图像进行数据预处理，使用具有四层结构的二维卷积网络进行空间特征提取，在每个卷积层之后使用最大池化层，得到空间特征；使用基于二维卷积网络和LSTM混合用于光谱特征提取，用于获取光谱波段之间的上下文信息，得到光谱特征；使用特征融合方法将空间特征和光谱特征进行有效结合，通过Flatten层得到综合特征信息；使用了Relu和Dropout避免冗余；最后，将所得特征输入到Softmax分类器层中，得到最终预测结果。该模型能够有效缓解梯度消失现象，提取更多的特征信息用于分类，能够提高分类性能。能够提高分类性能。能够提高分类性能。

【技术实现步骤摘要】
一种基于二维卷积和LSTM的高光谱图像分类方法及系统


[0001]本专利技术属于遥感图像分类的领域。具体涉及卷积神经网络和LSTM网络结构，通过这两种模型结合使用提取高光谱图像的空间特征和光谱特征，引入特征融合方法得到最终特征信息，并通过分类器得到最终预测结果。该方法模型主要用于对高光谱图像分类。

技术介绍

[0002]近年来，高光谱图像分类技术受到了普遍关注，在很多不同的领域中发挥作用。目前该技术已广泛用于国防、农业、地质、环境、海洋勘探和其它领域，因此提升高光谱遥感图像的分类精度具有十分重要的意义。
[0003]深度学习模型在高光谱遥感图像特征提取中占据重要的地位，卷积神经网络是深度学习代表算法之一。典型的卷积神经网络包含有卷积层、池化层和全连接层，具有两大优势：权值共享、局部感知。它是一类包含卷积计算且具有深度结构的前馈神经网络结构，具有较好的特征提取能力和泛化性能，在高光谱图像领域应用广泛。
[0004]但是目前一些方法和模型存在一些问题值得去研究。
[0005](1)混淆现象。高光谱图像的光谱分辨率越来越高，但是高光谱遥感图像空间分辨率一般较低，缺乏空间结构特征，容易导致获取的高光谱图像中的像素点往往不止一种地物。如图2所示给出了Indian Pines数据光谱曲线图。图2中曲线波动显示出不同的像素点的光谱值变化。由于在自然环境中，往往会存在各种杂草相互夹杂生长与植物之间共生的现象，因此会出现混合像元。一个像元可能会含有不同的地物光谱值，进而导致误分类现象的存在，进而影响分类精度。<br/>[0006](2)特征丢失和梯度消失现象。通常卷积神经网络中忽略了模型训练和测试过程中一些重要特征信息丢失的现象，导致模型的分类性能受到影响。例如在卷积和池化过程中很可能会出现高光谱遥感图像中最具代表性和具有重要性的特征信息的缺失。
[0007]卷积神经网络在提取高光谱图像的光谱特征上往往会存在梯度消失现象，不能更好的关注光谱特征相邻波段之间的上下文信息。由于高光谱具有较强的波段相关性且波段较多，该现象会对分类性能有一定的影响。
[0008]因此，针对以上问题，本专利技术提出了一种基于二维卷积和LSTM的高光谱图像分类方法，进一步提高高光谱图像的分类精度。图3对LSTM结构进行了简单描绘。
[0009]经过检索，申请公开号CN106845381A，一种基于双通道卷积神经网络(Dual Channel Convolutional Neural Network，DC
‑
CNN)的空谱联合的高光谱图像分类方法，针对高光谱图像数据为三维结构的特点，采用一维卷积网络(1D
‑
CNN)通道和二维卷积网络(2D
‑
CNN)通道相结合的方式，提取空谱特征完成高光谱图像的空谱联合分类。针对高光谱图像人工标记数据较少的问题，采用适合高光谱图像的数据扩充方法，增加训练样本的规模，提高卷积网络的训练效率，减少过拟合问题。
[0010]技术方面：CN106845381A专利使用的技术是：使用八层结构的一维卷积提取光谱特征，使用八层结构的二维卷积提取空间特征，之后将光谱和空间特征联合，并通过调优后
得到分类模型。该模型可能会存在卷积和池化过程中部分特征信息丢失问题，且网络层数相对较多；同时基于一维卷积提取高光谱图像的光谱特征往往会存在忽略波段上下文信息。本专利技术采用将二维卷积和LSTM结合提取空间特征和光谱特征。在空间特征提取分支，使用具有四层结构的二维卷积网络进行空间特征提取，该四层结构为：两个二维卷积层，卷积核尺寸分别为3
×
3、5
×
5，两个最大池化层，尺寸为2
×
2，得到空间特征，减少混淆现象的影响；在光谱提取分支中，使用二维卷积和LSTM结合的网络结构改善了传统卷积网络提取光谱信息中的梯度消失现象，且避免了传统LSTM网络逐波段输入模型层次较深的问题。它能够更多的考虑到高光谱图像的高维度性，保留相邻光谱波段之间的上下文信息。
[0011]CN111914922A，一种基于局部卷积和空洞卷积的高光谱图像分类方法，首先对原始高光谱遥感影像进行PCA预处理进行降维；接着，通过局部卷积和空洞卷积的融合运算，提取丰富的空间光谱信息；然后，将通过局部卷积通道和空洞卷积通道汇合后的数据，进行标准卷积、平均池、退出和批量规范化；最后，将不同的卷积层收集到残差融合网络中，最后输入到Softmax层进行分类。本专利技术不仅提取细节的高光谱局部信息，而且通过扩展感知场来提取丰富的高光谱空间信息。
[0012]技术方面：CN111914922A专利使用的技术是采用局部卷积和空洞卷积提取高光谱图像的空间光谱信息，之后将不同卷积层通过残差融合网络输入到softmax层进行分类，是一种基于不同方式的卷积进行空间光谱特征提取的方法模型。该方法模型基于局部信息和全局空间信息的提取进行分类，局部卷积相比于标准卷积参数较多，且模型调优过程需要大量的训练标记数据来微调训练参量。本专利技术基于二维卷积和LSTM结构分别提取空间特征和光谱特征，之后使用特征融合方法得到联合空谱特征，提高了高光谱图像的特征利用率，避免了由于高光谱图像训练标记样本有限对分类性能造成的局限性。

技术实现思路

[0013]本专利技术旨在解决以上现有技术的问题。提出了一种基于二维卷积和LSTM的高光谱图像分类方法及系统。本专利技术的技术方案如下：
[0014]一种基于二维卷积和LSTM的高光谱图像分类方法，其包括以下步骤：
[0015]对高光谱图像进行数据预处理，使用具有四层结构的二维卷积网络进行空间特征提取，该四层结构为：两个二维卷积层，卷积核尺寸分别为3
×
3、5
×
5，两个最大池化层，尺寸为2
×
2，并且在每个卷积层之后使用最大池化层，得到空间特征；
[0016]使用基于二维卷积网络和LSTM混合用于光谱特征提取，用于获取光谱波段之间的上下文信息，得到光谱特征；
[0017]使用特征融合方法将空间特征和光谱特征进行有效结合，通过Flatten层得到综合特征信息；使用了Relu和Dropout避免冗余；最后，将所得特征输入到Softmax分类器层中，得到最终预测结果。
[0018]进一步的，所述对高光谱图像进行数据预处理，具体包括：
[0019]假设高光谱图像的光谱维度为P即波段数目，图像的高度和宽度分别是H和K，则每幅图像包含有H
×
K个像素；高光谱图像则可以表示为尺寸大小H
×
K
×
P的三维数据立方体；首先对高光谱遥感图像数据进行主成分分析，并将其切分成三维数据块的形式；将得到的数据进行划分，分为训练样本集和测试样本集。
[0020]进一步的，所述二维卷积网络利用高光谱图像中的局部空间一致性，从而共享权重，在二维卷积神经网络中，第i层第j个特征图中位置为(x,y)的神经元的连接值计算公式如下所示：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维卷积和LSTM的高光谱图像分类方法，其特征在于，包括以下步骤：对高光谱图像进行数据预处理，之后使用具有四层结构的二维卷积网络进行空间特征提取，该四层结构为：两个二维卷积层，卷积核尺寸分别为3
×
3、5
×
5，两个最大池化层，尺寸为2
×
2，并且在每个卷积层之后使用最大池化层，得到空间特征；使用基于二维卷积网络和LSTM混合用于光谱特征提取，用于获取光谱波段之间的上下文信息，得到光谱特征；使用特征融合方法将空间特征和光谱特征进行有效结合，通过Flatten层得到综合特征信息；使用了Relu和Dropout避免冗余；最后，将所得特征输入到Softmax分类器层中，得到最终预测结果。2.根据权利要求1所述的一种基于二维卷积和LSTM的高光谱图像分类方法，其特征在于，所述对高光谱图像进行数据预处理，具体包括：假设高光谱图像的光谱维度为P即波段数目，图像的高度和宽度分别是H和K，则每幅图像包含有H
×
K个像素；高光谱图像则可以表示为尺寸大小H
×
K
×
P的三维数据立方体；首先对高光谱遥感图像数据进行主成分分析，并将其切分成三维数据块的形式；将得到的数据进行划分，分为训练样本集和测试样本集。3.根据权利要求2所述的一种基于二维卷积和LSTM的高光谱图像分类方法，其特征在于，所述二维卷积网络提取特征能够有效利用高光谱图像中的局部空间一致性，从而共享权重，减少参数，在二维卷积神经网络中，第i层第j个特征图中位置为(x,y)的神经元的连接值计算公式如下所示：式中，Q(
·
)是Relu激活函数，S
i
和T
i
是卷积核空间维度尺寸的高和宽，m是当前第j个特征图到第i
‑
1层的特征图的连接索引，表示与第m个特征图中的位置为(s,t)的连接值，是i
‑
1层第m个特征图在位置为(x+s,y+t)的值。4.根据权利要求3所述的一种基于二维卷积和LSTM的高光谱图像分类方法，其特征在于，所述使用基于二维卷积网络和LSTM混合用于空间特征和光谱特征提取，具体包括：在空间特征提取分支，使用具有四层结构的二维卷积网络进行空间特征提取，该四层结构为：两个二维卷积层，卷积核尺寸分别为3
×
3、5
×
5，两个最大池化层，尺寸为2
×
2，并且在每个卷积层之后使用最大池化层，得到空间特征；在光谱特征提取分支，首先使用具有两层二维卷积网络的结构进行特征提取，在该结构中使用的二维卷积核分别为3
×
3、5
×
5，相对应的滤波器的数量是128、64；之后采用Ti...

【专利技术属性】
技术研发人员：陶于祥，刘翠连，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：