【技术实现步骤摘要】
本专利技术涉及光谱超分辨技术，具体涉及一种光谱物理退化和深度先验联合学习的光谱超分辨方法。
技术介绍
1、高光谱图像能够捕获广泛的电磁波谱，保留丰富的光谱信息，但是高光谱图像的实际应用通常受到各方面的约束，高光谱图像在光谱分辨率升高的同时，空间分辨率会不可避免的下降。另外,通过各种传感器采集高光谱图像，需要较长的曝光时间和复杂的设备配置，限制了高光谱图像在实际应用中的可行性。
2、早期光谱超分辨技术主要使用稀疏编码或浅层学习模型。在使用稀疏编码时，需要选择合适的字典和稀疏表示方法。不同的字典和稀疏表示方法可能会产生不同的结果。另外，稀疏编码算法通常需要大量计算，这会导致计算复杂度较高，需要更长的计算时间。浅层学习模型可能会面临过拟合的问题，尤其是在数据量不足或者特征维度较高的情况下。并且高光谱数据通常具有高维度和复杂的结构特征，而浅层学习模型表达能力有限，无法捕获光谱数据中的复杂关系
3、随着计算机硬件性能的提升，深度神经网络在图像视觉领域的诸多问题上占据主导地位。深度神经网络凭借其高度抽象的表示方式、复杂建模和良好的数据适应性等特点在处理各类图像问题上表现优异，对图像目标的特征提取也更全面有效，这恰好可以解决稀疏编码方法和浅层学习模型提取特征和表达能力弱的问题。因此，越来越多基于深度学习方法的光谱超分辨方法被提出，成为近年来相关领域关注的重点。如li等人[j.li,s.du,r.song,c.wu,y.li,and q.du,“hasic-net:hybrid attentional convoluti
4、随着vision transformer在图像领域的应用拓展，一些研究者尝试使用transformer进行光谱超分辨来弥补深度神经网络在提取全局特征方面的劣势。然而使用空间维度的多头自注意力构建光谱超分辨网络会导致计算复杂度的上升，需要更多的训练时间。相比之下，光谱维度的多头自注意力就不需要大量时间进行训练。如cai等人[y.cai,j.lin,z.lin,h.wang,y.zhang,h.pfister,r.timofte,and l.v an gool,“mst++:multi-stage spectral-wise transformer for efficient spectral reconstruction,”inproceedings of the ieee/cvf conference on computer vision and patternrecognition,2022,pp.745–755.]提出了一种transformer网络框架，使用光谱维度的多头自注意力进行图像全局特征的提取，完成彩色图像的光谱超分辨。另外，引入图神经网络不仅能降低时间复杂度，其在提取非局部特征上也具有非常大的优势。然而，如何融合两种不同类型的数据是一个不容忽视的难点。基于深度学习的方法通过学习来适应输入数据，并调整自身权重和偏置等参数，在一定程度上缺乏可解释性。通过阅读大量的资料可以发现，先前的光谱超分辨算法通常利用深度学习网络的隐式学习能力直接将光谱响应函数(spectral response function，srf)的求解过程隐藏，或者直接将srf作为先验知识，并不对其进行额外的优化，没有充分利用srf，这导致高光谱图像的优化过程并不清晰。
技术实现思路
1、本专利技术的目的在于提供一种光谱物理退化和深度先验联合学习的光谱超分辨方法。
2、实现本专利技术目的的技术方案为：一种光谱物理退化和深度先验联合学习的光谱超分辨方法，包括：
3、第一步，建立深度先验正则和光谱退化物理模型联合学习的彩色图像光谱超分辨的变分模型，即根据高光谱图像的退化模型，设计数据保真项和正则项，在变分模型框架下建立深度先验正则化的彩色图像光谱超分辨的目标函数；
4、第二步，采用辅助变量和变量分离算法对变分模型进行优化，得到彩色图像到高光谱图像的图像超分辨变分模型，即采用辅助变量和变量分离并进行交替优化的方法，优化第一步的变分模型，得到迭代求解的过程；
5、第三步，对变分模型优化的迭代过程进行网络展开，执行优化的网络迭代过程，即设计彩色图像超分辨网络，执行变分模型优化的迭代过程，其中数据先验和高光谱的光谱退化过程均能够在网络中得到表示；
6、第四步，为潜在空间的高光谱图像和光谱响应函数设计邻近算子，即设计邻近算子，求解高光谱图像和光谱响应函数的近似解；
7、第五步，以高光谱图像的重建误差的l2范数和物理退化模型的一致性损失、观测损失作为联合损失函数，训练网络。
8、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现上述的方法的步骤。
9、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。
10、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
11、本专利技术方法结构简单，与现有技术相比，其显著特点在于：(1)基于深度先验的变分正则，设计彩色图像的光谱超分辨模型，并对其进行网络化展开，融合网络具有可解释性；(2)高光谱图像的退化模型和深度先验在超分辨网络中表示，通过网络训练从数据中学习，数据先验可以得到充分的利用，并且可以对图像的退化过程进行显式求解；(3)设计独特的邻近算子，充分利用了图像先验的局部和非局部特征，提高了重建图像的精度；(4)使用显式求解的退化矩阵对损失函数进行改进，提高了训练的效率。
12、下面结合附图对本专利技术作进一步详细描述。
本文档来自技高网...【技术保护点】
1.一种光谱物理退化和深度先验联合学习的光谱超分辨方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的光谱物理退化和深度先验联合学习的光谱超分辨方法，其特征在于，第一步，建立深度先验正则和光谱退化物理模型联合学习的彩色图像光谱超分辨的变分模型，即根据高光谱图像的退化模型，设计数据保真项和正则项，在变分模型框架下建立深度先验正则化的彩色图像光谱超分辨的目标函数；假设高光谱图像为其中C、H、W分别是其光谱波段数，高和宽；彩色图像为其中c、H、W分别是其光谱波段数，高和宽；光谱响应函数已知彩色图像Y和光谱响应函数R，高光谱图像X从如下变分模型中求得：
3.根据权利要求2所述的光谱物理退化和深度先验联合学习的光谱超分辨方法，其特征在于，第二步，采用辅助变量和变量分离算法对变分模型进行优化，得到彩色图像到高光谱图像的图像超分辨变分模型，即采用辅助变量和变量分离并进行交替优化的方法，优化第一步的变分模型，得到迭代求解的过程，具体为采用辅助变量和变量分离算法，引入辅助变量V,K，公式(1)转换为：
4.根据权利要求3所述的光谱物理退化和深度先验联合学习
5.根据权利要求4所述的光谱物理退化和深度先验联合学习的光谱超分辨方法，其特征在于，第四步，为潜在空间的高光谱图像和光谱响应函数设计邻近算子，即设计邻近算子，求解高光谱图像和光谱响应函数的近似解；公式(9)
6.根据权利要求5所述的光谱物理退化和深度先验联合学习的光谱超分辨方法，其特征在于，第五步，以高光谱图像的重建误差的L2范数和物理退化模型的一致性损失、观测损失作为联合损失函数，训练网络；一致性损失表示重建图像的退化图像与彩色图像的L2损失，观测损失表示基准图的退化图像与彩色图像的L2损失，物理退化过程使用优化的光谱响应函数完成：
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现权利要求1-6任一项所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。
9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。
...【技术特征摘要】
1.一种光谱物理退化和深度先验联合学习的光谱超分辨方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的光谱物理退化和深度先验联合学习的光谱超分辨方法，其特征在于，第一步，建立深度先验正则和光谱退化物理模型联合学习的彩色图像光谱超分辨的变分模型，即根据高光谱图像的退化模型，设计数据保真项和正则项，在变分模型框架下建立深度先验正则化的彩色图像光谱超分辨的目标函数；假设高光谱图像为其中c、h、w分别是其光谱波段数，高和宽；彩色图像为其中c、h、w分别是其光谱波段数，高和宽；光谱响应函数已知彩色图像y和光谱响应函数r，高光谱图像x从如下变分模型中求得：
3.根据权利要求2所述的光谱物理退化和深度先验联合学习的光谱超分辨方法，其特征在于，第二步，采用辅助变量和变量分离算法对变分模型进行优化，得到彩色图像到高光谱图像的图像超分辨变分模型，即采用辅助变量和变量分离并进行交替优化的方法，优化第一步的变分模型，得到迭代求解的过程，具体为采用辅助变量和变量分离算法，引入辅助变量v,k，公式(1)转换为：
4.根据权利要求3所述的光谱物理退化和深度先验联合学习的光谱超分辨方法，其特征在于，第三步，对变分模型优化的迭代过程进行网络展开，执行优化的网络迭代过程，即设计彩色图像超分辨网络，执行变分模型优化的迭代过程，其中数据先验和高光谱的光谱退化过程在网络中得到...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。