联合稠密连接网络和样本分布的高光谱开放集分类方法技术

本发明专利技术属于图像处理技术领域，公开了一种联合稠密连接网络和样本分布的高光谱开放集分类方法；包括数据预处理，对高光谱数据进行人工标注、双边滤波保边降噪、主成分分析降维和最大最小归一化处理；然后使用1D/2D稠密连接网络提取高光谱预处理数据的光谱和空间特征，使用SoftMax分类器得到输入数据相对于各已知类的概率值，取最大概率值所对应的类为其预测类别；使用箱线图方法捕获训练数据的异常分类概率值，得到各已知类的异常值判断阈值，然后对输入数据的预测类别所对应的概率值进行判断：若概率值大于该预测类别的异常值判断阈值，则输入数据属于预测类别，否则属于未知类。本发明专利技术结合深度学习和箱线图方法，能在已知类分类的同时拒绝未知类。

【技术实现步骤摘要】
联合稠密连接网络和样本分布的高光谱开放集分类方法
本专利技术属于图像处理
，更进一步涉及高光谱图像开放集分类
中的联合稠密连接网络和样本分布的高光谱开放集分类方法。本专利技术不仅能对训练过程中出现的已知类进行分类，还能对训练过程中没有出现的未知类加以拒绝。
技术介绍
高光谱分类技术是高光谱成像技术中一项重要内容，其具体任务是是利用相邻像素的空间相关性和光谱信息的特征，对图像中的每个像素点所对应的物质的属性进行归类。这项技术在民用和军用领域有着巨大实用价值，如农作物病虫害检测、地质勘探、环境检测和战场伪装目标侦察等方面。该技术也是高光谱感知领域的研究热点之一，到目前为止已经诞生了很多分类方法。近几年随着以深度学习为代表的人工智能方法的崛起，以卷积神经网络及其衍生模型(如残差网络、循环网络和胶囊网络等)为基本框架的深度网络受到高光谱图像分类领域各位专家学者的重视，逐步成为高光谱图像分类的重要技术手段。基于深度学习的高光谱图像分类和识别方法大部分属于有监督的分类和识别。其思想是通过有标签的高光谱图像数据对深度神经网络进行训练，然后使用训练好的深度神经网络对高光谱图像进行分类和识别。尽管深度学习的应用极大地提高了高光谱图像智能感知的能力，然而值得注意的是这些基于深度学习的高光谱分类方法均基于一个理想的假设——闭合集假设。所谓闭合集假设，是指测试数据和训练数据均来自于相同的类别空间，并具有相同的概率分布，即测试类别包含于训练类别。然而由于实际环境的复杂性和动态性，研究人员无法搜集到所有类别物质的标签信息。公认地，在训练过程中出现的类，称之为已知类；在训练过程中未出现的类，称之为未知类。使用训练好的深度神经网络对高光谱图像分类的过程中必然会遇到未知类，所以在实际场景中闭合集假设并不存在。那么基于闭合集假设训练得到的高性能分类模型就无法应用于包含未知类的真实环境中。与闭合集假设相对应，真实环境带来的挑战我们称之为开放集分类问题，与其相关的分类任务称之为开放集分类。开放集分类不仅要求实现对已知类进行高精度分类，还要求实现对未知类的拒绝。目前面向深度学习的高光谱开放集智能分类方法研究较少。对比文件1(Deep-learning-basedactivehyperspectralimagingclassificationmethodilluminatedbythesupercontinuumlaser)和对比文件2(中国专利技术专利，申请号：CN201911074775.2)提出的基于稠密神经网络的高光谱分类方法，这两种方法只能实现对已知类的分类，而对未知类则只能将其划分为已知类中的某一类或某几类，无法加以拒绝。对比文件3(中国专利技术专利，申请号：CN201910200211.2)提出的一种基于概率模型和深度学习的高光谱未知类别目标检测方法，其在深度神经网络的SoftMax层之前引入一个概率模型计算层OpenMax。OpenMax的理论基础是极值理论，其使用Weibull分布来对已知类各类中异常点的分布情况进行拟合，得到各个已知类的Weibull模型。然后利用各已知类的Weibull模型来衡量输入数据属于已知类以及未知类的可能性。然而该方法需要未知类的样本来进行调参，且其中Weibull拟合的过程对训练样本中异常点的选择较为敏感。因而在实际使用过程中，该方法的鲁棒性和泛化性较差，未知目标检测的性能的波动性较大。综上所述，高光谱开放集分类的挑战亟待解决；其次，当下已有的高光谱开放集分类方法存在模型复杂、调参困难、精度不高的问题，有待通过进一步的研究，实现改进或提出新的开放集分类方法。
技术实现思路
针对传统的高光谱分类方法无法处理开放集分类任务，以及已有的高光谱开放集分类方法性能较差的现状，本专利技术结合深度学习技术，设计了一种联合稠密连接网络和样本分布的高光谱开放集分类方法。本专利技术所述联合稠密连接网络和样本分布的高光谱开放集分类方法，具体包括下述步骤：步骤S1：对输入的高光谱图像进行预处理；预处理分为五个步骤，依次为高光谱数据标注、最小最大值归一化、双边滤波器滤波、主成分分析降维、最小最大值归一化；(1a)高光谱数据标注：基于先验信息，赋予各个已知类标签信息，并对高光谱数据中属于各个已知类的像素进行标注；(1b)进行最小最大值归一化，归一化公式为：式中xijd和分别代表归一化处理前后的高光谱影像数据；(i,j)代表高光谱影像像素的空间位置坐标；d代表高光谱影像的第d个波段；xmax和xmin分别代表三维高光谱影像数据中的最小值和最大值；a和b均为常数，使得归一化后的数值在(0,1)范围内，且不包括0和1；(1c)双边滤波器滤波输入高光谱图像，对其所有波段处的图像使用双边滤波器进行滤波；通过改变双边滤波器滤波窗口的直径调节双边滤波器对高光谱图像的滤波效果，进一步提高高光谱的分类精度；(1d)主成分分析降维对滤波后的高光谱图像数据进行主成分分析降维，降维后的波段数为L；(1e)重复最小最大值归一化；步骤S2：数据分割：具体分为三步进行操作，如下所示：(2a)对高光谱影像空间域的边沿进行扩充，扩充的宽度为使其维度由(H,W,L)扩展成为边沿扩展层的数值均为0；(2b)以待分类像素为中心，以m×m×L邻域范围内的数据块Hm×m×L作为中心像素的样本数据，逐个像素地遍历高光谱数据，生成大量维度为m×m×L的数据块；(2c)对中心像素属于已知类的数据块，以中心像素所属标签为该数据块的标签；其中，(H,W,L)分别代表高光谱影像空间域的长、宽值和光谱域的光谱通道数；m代表数据块在空间域的长宽值；步骤S3：生成训练数据集和测试数据集；从步骤S2提取出来的带有标签的数据块中随机抽取20％的数据块作为分类模型的训练数据集，其余的数据块作为测试数据集；测试数据集包括剩余80％的带有标签的数据块和所有没有标签的数据块；步骤S4：构建1D/2D稠密连接网络模型，其中网络整体结构如下：网络由1D光谱特征提取分支和2D空间特征提取分支并联组成，数据块Λ(Λ∈Hm×m×L)同时输入这两条分支；在1D光谱特征提取分支：数据块Λ首先通过一个宽度为24的1D卷积层；然后通过一个宽度为12、层数为3的1D稠密连接模块；接着通过一个宽度为60的1D自适应卷积层；然后通过全局平均池化得到形状为(1,60)的光谱特征矢量vSpectral；1D自适应卷积层根据稠密连接模块输出结果调整1D卷积层中卷积核的尺寸，从而将数据从三维降到二维；在2D空间特征提取分支：数据块Λ首先通过一个宽度为24的1D自适应卷积层；然后通过一个宽度为12、层数为3的2D稠密连接模块；接着通过全局平均池化操作得到形状为(1,60)的空间特征矢量vSpatial；1D自适应卷积层根据数据块Λ的长度L调整1D卷积层中卷积核的尺寸，从而将数据从三维降到二维；得到光谱特征矢量vSpectral和空间特征矢量vSpatial后，使用n本文档来自技高网...

【技术保护点】
1.联合稠密连接网络和样本分布的高光谱开放集分类方法，其特征在于，具体包括下述步骤：/n步骤S1：对输入的高光谱图像进行预处理；/n预处理分为五个步骤，依次为高光谱数据标注、最小最大值归一化、双边滤波器滤波、主成分分析降维、最小最大值归一化；/n(1a)高光谱数据标注：基于先验信息，赋予各个已知类标签信息，并对高光谱数据中属于各个已知类的像素进行标注；/n(1b)进行最小最大值归一化，归一化公式为：/n

【技术特征摘要】
1.联合稠密连接网络和样本分布的高光谱开放集分类方法，其特征在于，具体包括下述步骤：
步骤S1：对输入的高光谱图像进行预处理；
预处理分为五个步骤，依次为高光谱数据标注、最小最大值归一化、双边滤波器滤波、主成分分析降维、最小最大值归一化；
(1a)高光谱数据标注：基于先验信息，赋予各个已知类标签信息，并对高光谱数据中属于各个已知类的像素进行标注；
(1b)进行最小最大值归一化，归一化公式为：



式中xijd和分别代表归一化处理前后的高光谱影像数据；(i,j)代表高光谱影像像素的空间位置坐标；d代表高光谱影像的第d个波段；xmax和xmin分别代表三维高光谱影像数据中的最小值和最大值；a和b均为常数，使得归一化后的数值在(0,1)范围内，且不包括0和1；
(1c)双边滤波器滤波
输入高光谱图像，对其所有波段处的图像使用双边滤波器进行滤波；通过改变双边滤波器滤波窗口的直径调节双边滤波器对高光谱图像的滤波效果，进一步提高高光谱的分类精度；
(1d)主成分分析降维
对滤波后的高光谱图像数据进行主成分分析降维，降维后的波段数为L；
(1e)重复最小最大值归一化；
步骤S2：数据分割：具体分为三步进行操作，如下所示：
(2a)对高光谱影像空间域的边沿进行扩充，扩充的宽度为使其维度由(H,W,L)扩展成为边沿扩展层的数值均为0；
(2b)以待分类像素为中心，以m×m×L邻域范围内的数据块Hm×m×L作为中心像素的样本数据，逐个像素地遍历高光谱数据，生成大量维度为m×m×L的数据块；
(2c)对中心像素属于已知类的数据块，以中心像素所属标签为该数据块的标签；
其中，(H,W,L)分别代表高光谱影像空间域的长、宽值和光谱域的光谱通道数；m代表数据块在空间域的长宽值；
步骤S3：生成训练数据集和测试数据集；
从步骤S2提取出来的带有标签的数据块中随机抽取20％的数据块作为分类模型的训练数据集，其余的数据块作为测试数据集；测试数据集包括剩余80％的带有标签的数据块和所有没有标签的数据块；
步骤S4：构建1D/2D稠密连接网络模型，其中网络整体结构如下：
网络由1D光谱特征提取分支和2D空间特征提取分支并联组成，数据块Λ(Λ∈Hm×m×L)同时输入这两条分支；
在1D光谱特征提取分支：数据块Λ首先通过一个宽度为24的1D卷积层；然后通过一个宽度为12、层数为3的1D稠密连接模块；接着通过一个宽度为60的1D自适应卷积层；然后通过全局平均池化得到形状为(1,60)的光谱特征矢量vSpectral；1D自适应卷积层根据稠密连接模块输出结果调整1D卷积层中卷积核的尺寸，从而将数据从三维降到二维；
在2D空间特征提取分支：数据块Λ首先通过一个宽度为24的1D自适...

【专利技术属性】
技术研发人员：江天，刘煜，侯静，彭元喜，周侗，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43