基于全局推理的轻量化混合卷积模型的高光谱分类方法技术

本发明专利技术公开基于全局推理的轻量化混合卷积模型的高光谱分类方法，属于信息处理技术领域，主要用于小样本数据的高光谱图像分类。所述基于全局推理的轻量化混合卷积模型包括一层二维卷积、一层三维卷积和一个全局推理模块；加入全局推理模块，通过对不同区域间的上下文关系推理有效提取高光谱图像的全局特征和深层特征信息，以代替深层三维卷积的特征提取，大大降低了模型的复杂度和计算成本。公开数据集中的测试结果表明，本发明专利技术的分类性能优于当前最好的分类方法，仅需少量训练样本，就可有效提取高光谱图像的空

【技术实现步骤摘要】
基于全局推理的轻量化混合卷积模型的高光谱分类方法


[0001]本专利技术公开基于全局推理的轻量化混合卷积模型的高光谱分类方法，属于信息处理


技术介绍

[0002]高光谱图像（HSI）因具有众多的光谱波段给地物信息的提取带来了极大的帮助，但大量的光谱数据也造成了地物信息的冗余，同时因光谱分辨率的提高使得各波段间的相关性加强，这给高光谱图像的分类带来了不小的挑战。尤其是当训练样本较少时，会给HSI的分类带来更大的困难。
[0003]目前，HSI分类的方法主要有两类：基于光谱信息的传统方法和基于深度学习的方法。传统方法主要是利用不同地物的光谱特征信息进行分类，其中支持向量机、k近邻、随机森林等最具有代表性。为了获取更好的分类性能，主成分分析（PCA），独立成分分析（ICA）和线性判别分析（LDA）等方法被应用以有效的进行数据降维或特征提取。尽管传统的HSI分类方法取得了良好的分类性能，但由于它们处理时很大程度上依赖的是手工制作的特征或提取的浅层特征，特征表达能力有限，无法更好地适应复杂的HSI分类任务。
[0004]近年来，深度学习因其强大的特征表达能力已被成功应用在众多的计算机视觉任务中，如图像分类，图像分割，目标检测等。巨大的应用潜力使得深度学习方法在HSI分类领域也取得了显著的效果，其中基于卷积神经网络（CNN）的HSI分类方法最为流行。W.Hu等人首次采用深度CNN直接在光谱域中对高光谱图像进行分类，获得了良好的分类效果。KonstantinosMakantasis等人使用2D
‑
CNN对高光谱像元的邻域进行空间特征提取，同时采用PCA方法有效降维，降低了模型的计算成本。但该模型仅能提取空间特征信息，无法获得光谱信道间的关系信息。YushiChen等人将3D
‑
CNN方法用于HSI任务，通过3D
‑
CNN同时提取光谱
‑
空间的联合特征，有效提升了分类精度。在此基础上，M.He等人提出了多尺度的深度3D
‑
CNN模型，该模型可以端到端地从HSI数据中共同学习多尺度空间特征和光谱特征，进一步提升了HSI的分类性能。
[0005]然而，利用3D
‑
CNN模型进行HSI分类，将需要深度的卷积层才能有效提取空
‑
谱联合特征，从而导致模型复杂度和训练样本数量的大大增加。基于此，有研究人员已经开始将2D
‑
CNN与3D
‑
CNN结合用于HSI分类。2020年，SwalpaKumarRoy等人提出一种基于HybridSN模型的HSI分类方法，该方法将3D
‑
CNN和2D
‑
CNN组合，充分提取空间特征信息和光谱特征信息，相比于单独使用3D
‑
CNN进行HSI分类，在计算成本和分类性能方面均取得了较大的提升。2021年，SaeedGhaderizadeh等人提出了一种3D
‑
2DCNN模型。该模型通过引入三维深度可分卷积块和快速卷积块，使模型的鲁棒性和效率更高。但值得注意的是，为使模型具有更强的空间特征提取能力，模型中往往会包含多个甚至深度的3D卷积层，在文献中，都采用了多至三层的3D卷积进行特征的提取。这种通过多层3D卷积的堆叠提取深层特征的方法，一方面会使得模型的复杂度和计算成本增加，另一方面也需要大量的样本进行训练，而对于HSI来说，大量样本的标注也是一个不小的挑战。

技术实现思路

[0006]本专利技术的目的在于提供基于全局推理的轻量化混合卷积模型的高光谱分类方法，以解决现有技术中，高光谱分类方法包括多个三维卷积层而造成模型复杂、计算成本高、样本需求大的问题。
[0007]基于全局推理的轻量化混合卷积模型的高光谱分类方法，包括：S1.设原始高光谱数据表示为I∈RM
×
N
×
D，I是原始高光谱分类输入，M和N是空间维的宽和高，D是光谱波段数；S2.采用主成分分析对高光谱分类光谱信息降维，经过主成分分析处理后的高光谱数据表示为X∈RM
×
N
×
B，其空间维数保持不变，光谱波段数由D变为B；S3.对高光谱分类的邻域块提取进行预处理，对高光谱分类的每一个像元，都以像元为中心点提取一个色斑，色斑的标签即为中心像元的标签，表示为Z∈RS
×
S
×
B，色斑的宽和高为S，光谱波段数为B；S4.将高光谱分类数据送入基于全局推理的轻量化混合卷积模型中进行处理。
[0008]优选地，所述基于全局推理的轻量化混合卷积模型包括二维卷积神经网络、三维卷积神经网络和全局推理模块。
[0009]优选地，所述三维卷积神经网络采用8个3
×3×
7的卷积核，空间维度为3
×
3，光谱维度为7。
[0010]优选地，所述二维卷积神经网络采用16个3
×
3的卷积核，空间维度为3
×
3。
[0011]优选地，所述全局推理模块是二维的，其构建方法为，将输入数据的坐标空间上不相交区域聚合的特征投影到一个潜在的交互空间中，用一个单独的特征即一个节点来表示，应用图卷积的方式来建模和推理每对节点之间的上下文关系，再对其进行反向投影，将具有关系信息的特征变换回原始坐标空间，获得相关的全局特征信息。
[0012]优选地，步骤S4包括：S4.1.采用三维卷积神经网络对预处理后的高光谱分类数据进行空间特征和光谱特征的联合提取；S4.2.采用二维卷积神经网络对S4.1处理后的高光谱分类数据进行空间特征和光谱特征的联合提取；S4.3.采用全局推理模块对S4.2处理后的高光谱分类数据进行全局特征提取。
[0013]与现有技术相比，本专利技术仅使用一层3D
‑
CNN和一层2D
‑
CNN的轻量级混合卷积网络模型，降低网络模型复杂度的同时，能够有效提取HSI的空
‑
谱联合特征；在设计的混合卷积网络模型中加入了轻量化全局推理模块，通过对不同区域间的上下文关系进行推理来有效提取HSI的全局特征，HSI的分类性能得到显著提升；提出的模型不仅降低了现有混合网络模型的复杂度，而且在仅需很少的样本训练时，就能获得非常好的分类性能。
附图说明
[0014]图1是本专利技术的基于全局推理的轻量化混合卷积模型的结构图；图2是全局推理模块的原理框架图。
具体实施方式
[0015]下面结合具体实施方式对本专利技术作进一步详细说明：实施例首先介绍基于全局推理的轻量化混合卷积模型模型的总体结构，然后介绍3D
‑
CNN和2D
‑
CNN混合卷积模型的结构和参数设计，最后给出轻量化全局推理模块的核心思想。
[0016]深度卷积神经网络模型：单一的深度二维卷积或三维卷积网络作为高光谱分类的特征提取模型，会导致缺失光谱信道关系或模型复杂度高。现有的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于全局推理的轻量化混合卷积模型的高光谱分类方法，其特征在于，包括：S1.设原始高光谱数据表示为I∈R
M
×
N
×
D
，I是原始高光谱分类输入，M和N是空间维的宽和高，D是光谱波段数；S2.采用主成分分析对高光谱分类光谱信息降维，经过主成分分析处理后的高光谱数据表示为X∈R
M
×
N
×
B
，其空间维数保持不变，光谱波段数由D变为B；S3.对高光谱分类的邻域块提取进行预处理，对高光谱分类的每一个像元，都以像元为中心点提取一个色斑，色斑的标签即为中心像元的标签，表示为Z∈R
S
×
S
×
B
，色斑的宽和高为S，光谱波段数为B；S4.将高光谱分类数据送入基于全局推理的轻量化混合卷积模型中进行处理。2.根据权利要求1所述基于全局推理的轻量化混合卷积模型的高光谱分类方法，其特征在于，所述基于全局推理的轻量化混合卷积模型包括二维卷积神经网络、三维卷积神经网络和全局推理模块。3.根据权利要求2所述基于全局推理的轻量化混合卷积模型的高光谱分类方法，其特征...

【专利技术属性】
技术研发人员：王武礼，马晓虎，冷林椿，王歌，李冲，姜雨蒙，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：