【技术实现步骤摘要】
本专利技术涉及遥感图像处理领域，特别涉及一种基于空间-光谱调制条件扩散模型的高光谱图像全色锐化方法。
技术介绍
1、卫星遥感旨在提供地球表面充足和准确的观察信息，然后由于卫星传感器的硬件约束，高光谱图像的空间分辨率受到其光谱分辨率的影响，导致微小的空间纹理和边界细节等信息的丢失。因为考虑到现有大多数实际的应用需要在高空间分辨率的高光谱图像的基础上进行，所以需要借助近年备受关注的高光谱图像全色锐化方法。将配对的单波段高空间分辨率的全色图像与原始观测到的低空间分辨率高光谱图像进行融合处理，最后得到理想的高空间分辨率的高光谱图像。
2、最初的高光谱图像全色锐化技术是基于传统的多光谱图像锐化方法拓展而来，其中主要包括三类，分别为基于组件替代、基于多分辨率分析和基于变分优化。然而这些方法都是采用固定的数据先验，其中基于组件替代和多分辨率分析的方法普遍存在光谱和空间的畸变现象，而基于变分优化的方法需要花费较长时间的迭代优化过程。随着深度学习的快速兴起，借助神经网络的强大的特征学习能力，基于深度学习的全色锐化方法在融合精度和效率方面都要优于传统方法，然而大多数基于卷积神经网络的锐化网络大多数使用的是逐像素的均方误差损失函数进行网络参数的优化的，这会导致最后得到的融合结果过于平均，以至于出现模糊效果以及造成不必要的细节缺少。
3、近年来，随着生成模型在图像生成领域的迅速发展，其中去噪扩散模型表现最为出色，其通过迭代学习对后验分布的预测过程，逐渐将一个高斯分布样本转移到目标生成样本中。在应用到全色锐化过程中，通过将全色图像
技术实现思路
1、为了克服现有技术中基于扩散模型的全色锐化技术的不足，本专利技术的目的在于提供一种基于空间-光谱调制条件扩散模型的高光谱图像全色锐化方法。
2、本专利技术包含了两个过程，即正向加噪过程和反向去噪过程。其中正向加噪过程，是以马尔可夫链过程对训练数据进行逐步加噪为一个随机正态分布的采样高斯噪声，该过程也是在为模型训练创建所对应的标签数据，以此作为训练噪声预测网络的优化目标。为了能够更有效地利用好全色和高光谱图像这两种不同状态的条件信息，我们在设计噪声预测网络中，使用了两个结构相似的编码器分别作为这两种条件信息的注入网络，在将这两个编码器各层级特征信息同时连接到相应尺度的解码器层级，在解码器中，本方法设计了一个光谱-空间调制模块，用于强调不同条件输入的重要信息并进行融合，以免出现不必要的信息混乱导致最后的生成效果不佳。在反向去噪过程中，将训练完成的噪声预测网络，按照设定好的时间步，进行迭代去噪生成目标输出。
3、本专利技术的目的通过以下技术方案实现：
4、一种基于空间-光谱调制条件扩散模型的高光谱图像全色锐化方法，包括：
5、获取数据库中配对的高光谱图像和全色图像，经过裁剪及数据增强处理后得到训练集、验证集和测试集；
6、对初始数据进行加噪操作构建预测网络所需数据；
7、构建空间-光谱调制噪声预测网络，所述空间-光谱调制噪声预测网络包括时间步编码器、两个条件编码器、中间层及解码器；
8、训练空间-光谱调制噪声预测网络，得到训练好的空间-光谱调制噪声预测网络；
9、使用训练好的空间-光谱调整噪声预测网络，进行高光谱图像全色锐化。
10、进一步，将数据库中的原始高光谱图像按照设定的比例进行模糊和下采样得到模拟的低分辨率高光谱图像，低分辨率高光谱图像经过双线性插值和全色图像相同尺寸，构成配对的大幅图像对，按照设定尺寸进行裁剪并通过翻转和旋转的数据增强手段生成指定数量的训练集、验证集以及测试集。
11、进一步，所述加噪计算公式具体为：
12、
13、其中，εt表示随机采样的高斯噪声，xt表示t时间步对应的噪声图像，αi为预设好的权重参数，其随时间步的增加而线性增加，x0表示参考的高分辨率高光谱图像与插值后的低分辨率高光谱图像之间的差值，所述参考是指低分辨率高光谱图像对应的高分辨率高光谱参照图。
14、进一步，所述加噪操作具体为：设置加噪的总时间步长t，在区间0-t中随机采样一个时间步t，按照加噪计算公式得到所述时间步t时刻对应的噪声图像xt。
15、进一步，
16、所述时间步编码器，输入t∈(0,t)的整数，经过时间步编码器得到一维向量，通过linear线性层嵌入到噪声预测网络的各个层级中；
17、所述两个条件编码器分别为全色条件注入编码器和高光谱图像注入编码器，全色条件注入编码器的输入为噪声图像及全色图像，高光谱图像注入编码器的输入为噪声图像及高光谱图像；
18、所述中间层，两个条件编码器的输出经过通道维进行拼接后输入中间层，然后进行特征融合后输入解码器；
19、所述解码器，包括四个解码层及一个输出层，解码层包括一个空间-光谱调制模块、两个卷积层和一个两倍上采样层，所述输出层用于调整输出通道及输出正确的数据格式。
20、进一步，所述空间-光谱调制模块包括一个光谱增强注意力层及一个局部空间高频增强注意力层。
21、进一步，所述中间层包括两层残差卷积层及一个全局自注意力层。
22、进一步，训练空间-光谱调制噪声预测网络中，每一次更新训练中，从训练集和验证集中选取一个批次的数据，对数据进行加噪操作得到噪声及噪声图像，将噪声图像、时间步编码器、全色图像及高光谱图像输入到噪声预测网络中，再将噪声与噪声预测网络的输出进行损失计算，并进行通过反向传播算法对网络参数进行迭代更新，直到损失值稳定收敛。
23、进一步，所述使用训练好的空间-光谱调整噪声预测网络，进行高光谱图像全色锐化，具体为：
24、将训练好的噪声预测网络，按照设定的总时间步长t，基于马尔科夫链的过程，从正态分布中采用一个随机噪声作为输入xt，然后在每一次迭代过程中，输入当前时间步t编码以及测试条件信息[pan,hs]，以及噪声图像xt，其中计算过程如下，到t＝0结束生成，得到最后的锐化结果；
25、
26、其中αt为权重参数，z为随机高斯噪声。
27、进一步，αi取值为(0.0001，0.02)。
28、与现有技术相比，本专利技术具有以下优点和有益效果：
29、本专利技术提出了一种基于空间-光谱调制条件扩散模型的高光谱全色锐化方法，该方法设计了一种空间-光谱调制噪声预测网络，其中使用两个结构相同的条件注入编码器分别接本文档来自技高网...
【技术保护点】
1.一种基于空间-光谱调制条件扩散模型的高光谱图像全色锐化方法，其特征在于，包括：
2.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，将数据库中的原始高光谱图像按照设定的比例进行模糊和下采样得到模拟的低分辨率高光谱图像，低分辨率高光谱图像经过双线性插值和全色图像相同尺寸，构成配对的大幅图像对，按照设定尺寸进行裁剪并通过翻转和旋转的数据增强手段生成指定数量的训练集、验证集以及测试集。
3.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，所述加噪计算公式具体为：
4.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，所述加噪操作具体为：设置加噪的总时间步长T，在区间0-T中随机采样一个时间步t，按照加噪计算公式得到所述时间步t时刻对应的噪声图像xt。
5.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，
6.根据权利要求5所述的高光谱图像全色锐化方法，其特征在于，所述空间-光谱调制模块包括一个光谱增强注意力层及一个局部空间高频增强注意力层。
7.根据权利要求1-6任一项所述的高光谱
8.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，训练空间-光谱调制噪声预测网络中，每一次更新训练中，从训练集和验证集中选取一个批次的数据，对数据进行加噪操作得到噪声及噪声图像，将噪声图像、时间步编码器、全色图像及高光谱图像输入到噪声预测网络中，再将噪声与噪声预测网络的输出进行损失计算，并进行通过反向传播算法对网络参数进行迭代更新，直到损失值稳定收敛。
9.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，所述使用训练好的空间-光谱调整噪声预测网络，进行高光谱图像全色锐化，具体为：
10.根据权利要求3所述的高光谱图像全色锐化方法，其特征在于，αi取值为(0.0001，0.02)。
...【技术特征摘要】
1.一种基于空间-光谱调制条件扩散模型的高光谱图像全色锐化方法，其特征在于，包括：
2.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，将数据库中的原始高光谱图像按照设定的比例进行模糊和下采样得到模拟的低分辨率高光谱图像，低分辨率高光谱图像经过双线性插值和全色图像相同尺寸，构成配对的大幅图像对，按照设定尺寸进行裁剪并通过翻转和旋转的数据增强手段生成指定数量的训练集、验证集以及测试集。
3.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，所述加噪计算公式具体为：
4.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，所述加噪操作具体为：设置加噪的总时间步长t，在区间0-t中随机采样一个时间步t，按照加噪计算公式得到所述时间步t时刻对应的噪声图像xt。
5.根据权利要求1所述的高光谱图像全色锐化方法，其特征在于，
6.根据权利要求5所述的高光谱图像全色锐化方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。