结合光谱解混先验和可学习退化约束的高光谱图像融合方法技术

本发明专利技术公开了一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法，该方法包括：对高光谱图像应用解混模型，建立高分辨丰度与低分辨丰度间的退化关系；结合高光谱图像解混过程，优化低分辨率丰度以及高分辨率丰度；构建空间退化网络以及光谱退化网络学习图像间退化关系，空间退化网络能够同时适应丰度以及高光谱图像的输入；构建残差块优化中间图像，学习更加精细的特征；网络损失函数为L1范数。本发明专利技术方法应用于全色图像与高光谱图像融合或多光谱图像与高光谱图像融合有优异性能。合或多光谱图像与高光谱图像融合有优异性能。合或多光谱图像与高光谱图像融合有优异性能。

【技术实现步骤摘要】
结合光谱解混先验和可学习退化约束的高光谱图像融合方法


[0001]本专利技术涉及高光谱图像融合技术，特别是一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法。

技术介绍

[0002]低分辨率高光谱图像(LRHS)具有数十个甚至数千个光谱波段，可以捕获物体的详细光谱信息，具有较大的光谱范围和丰富的光谱信息。高分辨率多光谱图像(HRMS)具有的光谱信息少于高光谱图像，但具有较高的空间分辨率，可以为高光谱图像提供空间信息，生成高分辨率高光谱(HRHS)图像，具有良好的空间和光谱分辨率。
[0003]深度学习网络利用多层神经网络的结构，对原始信号进行多次线性、非线性变换，从而提取出丰富的信号特征，并将其应用到实际问题的分类和识别中。深度学习利用更多的隐层权值和训练数据，使训练出的模型接近于更好的分类和预测模型。在图像融合方面，与传统的图像融合方法相比，基于深度学习的算法不需要恢复HRHS很多的先验知识，可以通过匹配的训练数据来训练一组模拟网络的输入(LRHS和HRHS图像)和输出(HRHS图像)。
[0004]基于深度学习的高光谱图像处理技术展示了其优异的性能，如[Dong C，Loy C C,He K，et al.Image super
‑
resolution using deep convolutional networks[J].IEEE transactions on pattern analysis and machine intelligence,2015，38(2):295
‑
307.]，该卷积神经网络能够直接学习低和高分辨率图像间的关系。该网络利用较少的层数取得了较好的效果，但直接学习映射关系而没有利用图像间的相关性。目前，许多学者提出了通过卷积运算来建模图像图像间波段关系的模型，如[Palsson F,Sveinsson J R,Ulfarsson M O.“Multispectral and Hyperspectral Image Fusion Using a 3
‑
D Convolutional Neural Network.IEEE Geoscience and Remote Sensing[J],2017,14(5):639
‑
643.]。最近，有学者提出了一种考虑了低分辨率图像观测模型，以及HRHS图像在光谱维的低秩先验的高光谱与多光谱图像融合模型[Xie Q,et al.“Multispectral and Hyperspectral Image Fusion by MS/HS Fusion Net[J],IEEE,2020:1585
‑
1594.]。该方法利用较少的先验知识提出融合模型，并利用近端梯度法设计了迭代算法来求解。
[0005]这些深度学习在学习模型图像融合过程中描述输入和输出对象之间的复杂映射关系的能力受限，因此，本专利技术提出了一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法。本方法建立高分辨丰度与低分辨丰度间的退化关系，优化高分辨率丰度的同时能够优化低分辨率丰度，利用简单的先验构造了容易学习的映射关系，改善了传统深度学习方法由低分辨往高分辨映射的困难性从而需要极大数据量的缺点。同时，利用图像间的退化关系建立退化网络，构造的空间退化网络能够适应不同深度图像的输入，在训练的过程中较好的优化了网络参数。此外，构建残差块优化生成的中间图像，加快了网络训练速度。本专利技术方法利用较少的网络层数，使网络能够在一个闭环中进行训练，在Cave、Harvard数据集上的仿真实验表明，该模型产生融合图像质量较高，应用于全色图像与高光谱图像融合或多光谱图像与高光谱图像融合有优异性能。

技术实现思路

[0006]本专利技术公开了一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法。
[0007]实现本专利技术目的的技术解决方案为：第一方面，本专利技术提供一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法，包括以下步骤
[0008]第一步，对高光谱图像应用解混模型，建立高分辨丰度与低分辨丰度间的退化关系；
[0009]第二步，结合高光谱图像解混过程，得到初始高分辨丰度，经过空间退化生成低分辨丰度，优化低分辨丰度以及高分辨丰度；
[0010]第三步，构建残差块优化中间图像，学习更加精细的特征，加快网络训练速度；
[0011]第四步，构建空间退化网络以及光谱退化网络学习图像间退化关系，空间退化网络能够同时适应丰度以及高光谱图像的输入，构建的退化网络使整体网络能够在一个闭环中训练；
[0012]第五步，网络损失函数为L1范数，建立的损失包含空间损失，光谱损失以及正则化项。
[0013]第二方面，本专利技术提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述方法的步骤。
[0014]第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
[0015]第四方面，本专利技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。
[0016]与现有技术相比，本专利技术的显著特点在于：(1)运用高光谱解混模型建立高分辨丰度与低分辨丰度间的退化关系，有利于优化空间退化网络以及低分辨丰度；(2)优化丰度并利用丰度并重构图像的过程中，通过训练共同的端元值，以较少的层数优化网络参数，有利于恢复良好的图像特征；(3)利用图像间的退化关系建立退化网络，减少了由于传统下采样过程可能导致的光谱畸变，同时使得整体网络能够在一个闭环中被训练；(4)引入残差学习，能够减小网络运行参数，加快了网络训练速度。本专利技术方法能够被有效应用于全色图像与高光谱图像融合或多光谱图像与高光谱图像融合，下面结合附图对本专利技术作进一步详细描述。
附图说明
[0017]图1为本专利技术方法的结构图。
[0018]图2为本专利技术方法的网络结构图。
[0019]图3、图4为本专利技术在Cave数据集上的测试结果(波段＝31)。
[0020]图5、图6为本专利技术在Harvard数据集上的测试结果(波段＝21)。
具体实施方式
[0021]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不
用于限定本申请。
[0022]结合图1、图2，下面详细说明本专利技术的实施过程，步骤如下：
[0023]第一步，对高光谱图像应用解混模型，得到待优化的初始高分辨丰度，并建立高分辨丰度与低分辨丰度间的退化关系。假设为原始参考图像，H、W、C分别为其高度、宽度和通道数；图像为多光谱图像，H、W、c分别为其高度、宽度和通道数，c＜C；图像为低空间分辨率的高光谱图像，h、w、C分别为其高度、宽度和通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合光谱解混先验和可学习退化约束的高光谱图像融合方法，其特征在于，包括以下步骤：第一步，对高光谱图像应用解混模型，建立高分辨丰度与低分辨丰度间的退化关系；第二步，结合高光谱图像解混过程，得到初始高分辨丰度，经过空间退化生成低分辨丰度，优化低分辨丰度以及高分辨丰度；第三步，构建残差块优化中间图像，学习更加精细的特征，加快网络训练速度；第四步，构建空间退化网络以及光谱退化网络学习图像间退化关系，空间退化网络能够同时适应丰度以及高光谱图像的输入，构建的退化网络使整体网络能够在一个闭环中训练；第五步，网络损失函数为L1范数，建立的损失包含空间损失，光谱损失以及正则化项。2.根据权利要求1所述的结合光谱解混先验和可学习退化约束的高光谱图像融合方法，其特征在于，第一步，对高光谱图像应用解混模型，得到待优化的初始高分辨丰度，并建立高分辨丰度与低分辨丰度间的退化关系；假设为原始参考图像，H、W、C分别为其高度、宽度和通道数；图像为多光谱图像，H、W、c分别为其高度、宽度和通道数，c＜C；图像为低空间分辨率的高光谱图像，h、w、C分别为其高度、宽度和通道数，h＜H，w＜W；对图像Z和图像X应用解混模型，则有：Z≈W
h
H
m
X≈W
h
H
h
其中为光谱特征矩阵，对应图像X的端元值；为空间特征矩阵，对应图像Z的丰度值；为空间特征矩阵，对应图像X的丰度值；假设空间退化矩阵为丰度H
m
在空间维退化为丰度H
h
，则有：H
h
≈H
m
S。3.根据权利要求1所述的结合光谱解混先验和可学习退化约束的高光谱图像融合方法，其特征在于，第二步，结合高光谱图像解混过程，得到初始高分辨丰度，经过空间退化生成低分辨丰度，优化低分辨丰度以及高分辨丰度；端元可利用解混算法求解，再利用代价函数求解丰度；丰度H
h
可由以下模型求得：其中，F3()表示VCA算法；设i次迭代时该网络第k个卷积块的输出为Con
k
()，输出的中间高分辨丰度为输出的中间低分辨丰度为输出的中间融合图像为输出的中间高光谱图像为则有：则有：则有：则有：其中，
↑
表示插值操作，运算符表示卷积运算，表示第k个卷积块第p层的卷积核参数，W
i
为卷积核参数，[
…
]为拼接操作，表示经过第k个卷积块优化的丰度，G()表示激
活函数，F1()表示空间退化网络，n为卷积块数，L为卷积块包含的卷积层数。4.根据权利要求1所述的结合光谱解混先验和可学习退化约束的高光谱图像融合方法，第三步，构建残差块优化中间图像，学习更加精细的特征，加快网络训练速度；设i次迭...

【专利技术属性】
技术研发人员：肖亮，郑可欣，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：