一种面向多域图像的光谱跨域迁移超分重建方法技术

本发明专利技术公开了一种面向多域图像的光谱跨域迁移超分重建方法，通过面向多域图像场景的基于跨域可迁移知识学习和目标域快速适应学习方式的图像光谱跨域迁移超分重建方法。实现从RGB图像到高光谱图像的光谱超分重建。并采用基于可迁移字典的模型结构设计，学习可以跨域迁移的特征；基于共享可学习掩码的源域预训练策略，促进模型学习用于重建的通用知识；基于模型不可知的元学习的微调方法，用以学习一个通用的、泛化能力强的模型，使得在测试数据上经过几步迭代就能适应测试的目标域的数据。本发明专利技术可以挖掘出跨域共享的知识，以提高泛化能力，进而提高了跨域光谱超分重建的效果。进而提高了跨域光谱超分重建的效果。进而提高了跨域光谱超分重建的效果。

【技术实现步骤摘要】
一种面向多域图像的光谱跨域迁移超分重建方法


[0001]本专利技术属于图像处理
，具体涉及一种光谱跨域迁移超分重建方法。

技术介绍

[0002]高光谱图像是指在可见光和红外线光谱范围内，对每个像素采集数十甚至上百个连续光谱带的图像。与传统的RGB图像相比，高光谱图像提供了更丰富的光谱信息，能够识别材料的光谱特征，从而对地表物质进行更为细致的分析。
[0003]高光谱图像可以应用于环境遥感、农业、林业、地质勘探、城市规划等领域。例如，在农业领域，利用高光谱图像可以对农作物进行快速识别、分类、监测和管理，提高农作物产量和质量。在环境监测中，高光谱图像可以用于识别和监测水体中的有害物质，以及监测植被覆盖度和土地利用变化情况。在城市规划领域，高光谱图像可以用于城市绿地覆盖度和建筑物高度的测量，优化城市规划与设施布局等。
[0004]综上所述，高光谱图像作为一种具有丰富光谱信息的图像，具有广泛的应用前景。
[0005]但是受限于高光谱相机的价格昂贵、成像速度慢、体积大等原因，高光谱图像并未如一般相机那样被广泛的应用。为了充分利用高光谱图像的优势，同时规避高光谱成像设备的问题，研究者提出了光谱超分的方法，旨在利用传统的RGB图像来估计和重建高光谱图像。
[0006]根据重建方式，现有的光谱超分方法大致可分为两类。一种是传统的方法，如(1)基于光谱分解的光谱超分辨率方法：这种方法利用波谱分解算法对光谱信号进行分解和重构，从而实现光谱的超分辨。例如，基于非负矩阵分解(NMF)算法的超分辨光谱成像技术“Coupled Nonnegative Matrix Factorization Unmixing for Hyperspectral and Multispectral Data Fusion”可以对光谱信号进行分解和重构，从而实现光谱的超分辨成像。(2)基于稀疏表示的光谱超分辨率方法：这种方法利用稀疏表示算法，如基于字典学习的算法，对光谱信号进行分解和重构，从而实现光谱的超分辨。例如，基于稀疏表示算法的超分辨光谱成像技术“Spectral Reflectance Recovery from a Single RGB Image”可以对光谱信号进行稀疏表示和重构，从而实现光谱的超分辨成像。(3)基于光谱库和模型的光谱超分辨率方法：这种方法利用光谱库和模型，对光谱信号进行模型训练和优化，从而实现光谱的超分辨。例如，基于偏最小二乘回归(PLSR)算法的超分辨光谱成像技术可以对光谱信号进行建模和预测，从而实现光谱的超分辨成像。这些基于传统的方法往往有着运算速度慢，重建效果差的问题。另外一种就是基于深度学习的方法，这种方法利用深度学习网络，如卷积神经网络(CNN)“Pixel
‑
aware Deep Function
‑
mixture Network for Spectral Super
‑
Resolution”、Transformer“MST++:Multi
‑
stage Spectral
‑
wise Transformer for Efficient Spectral Reconstruction”等，对光谱信号进行训练和学习，从而实现光谱的超分辨。虽然基于深度学习的方法在近些年取得了巨大的发展，并且在单个数据集上取得了优秀的性能，但是基于深度学习的方法在训练集之外的场景中测试时，性能会严重下降。

技术实现思路

[0007]为了克服现有技术的不足，本专利技术提供了一种面向多域图像的光谱跨域迁移超分重建方法，通过面向多域图像场景的基于跨域可迁移知识学习和目标域快速适应学习方式的图像光谱跨域迁移超分重建方法。实现从RGB图像到高光谱图像的光谱超分重建。并采用基于可迁移字典的模型结构设计，学习可以跨域迁移的特征；基于共享可学习掩码的源域预训练策略，促进模型学习用于重建的通用知识；基于模型不可知的元学习的微调方法，用以学习一个通用的、泛化能力强的模型，使得在测试数据上经过几步迭代就能适应测试的目标域的数据。本专利技术可以挖掘出跨域共享的知识，以提高泛化能力，进而提高了跨域光谱超分重建的效果。
[0008]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0009]步骤1：对于RGB图像其中，h和w分别表示图像的高度和宽度，其标注为hsi表示输入图像img对应的高光谱图像；
[0010]将图像输入到编码层，将输入图像的通道数从3映射到31，实现初步的光谱重建与对齐；
[0011]e＝embedding(img)
[0012]其中，embedding(
·
)表示嵌入层，它由卷积核尺寸为3，卷积步长为1的卷积层实例化，表示嵌入之后的隐藏层特征；
[0013]步骤2：对步骤1得到的隐藏层特征以cube的形式进行随机掩码，在图像上随机采样固定尺寸大小的cube，然后将该位置的特征置换为一个共享可学习掩码；
[0014]步骤3：对步骤1得到的隐藏特征e，使用基于光谱间注意力模块进行细化，表述为：
[0015]s＝SpectralTransformerBlock(e)
[0016]其中，SpectralTransformerBlock(
·
)表示光谱间Transformer模块，s表示通过光谱间Transformer模块获得的隐层特征；在光谱重建模型中堆叠了多个光谱间Transformer模块，前一个模块的输出为后一个模块的输入；其中SpectralTransformerBlock(
·
)由SpectralAttention和FFN以及LayerNorm组成：
[0017]SpectralTransformerBlock(x)＝t+(FFN(LayerNorm(t)))
[0018]其中t＝(x+SpectralAttention(LayerNorm(x)))，LayerNorm表示层归一化操作，FFN(x)＝(conv(gelu(conv(gelu(conv(x))))))，其中conv表示卷积层，gelu是非线性激活函数，x代表一个输入的张量；
[0019]attention(Q，K，V)＝softmax(σ
i
QK
T
)V
[0020]SpectralAttention(X)＝attention(XW
Q
，XW
K
，XW
V
)
[0021]其中σ
i
是可学习的缩放因子，W
Q
，W
K
，W
V
是可学习的投影矩阵，是输入的张量，是将输入图像的特征张量进行重新排列形状得到的；
[0022]步骤4：使用一个由多层全连接神经网络实例化的生成器网络生成可迁移字典，然后将隐层特征s按空间维度切分为一定大小的特征块，并使用交叉注意力机制交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向多域图像的光谱跨域迁移超分重建方法，其特征在于，包括如下步骤：步骤1：对于RGB图像其中，h和w分别表示图像的高度和宽度，其标注为hsi表示输入图像img对应的高光谱图像；将图像输入到编码层，将输入图像的通道数从3映射到31，实现初步的光谱重建与对齐；e＝embedding(img)其中，embedding(
·
)表示嵌入层，它由卷积核尺寸为3，卷积步长为1的卷积层实例化，e表示嵌入之后的隐藏层特征；步骤2：对步骤1得到的隐藏层特征e以cube的形式进行随机掩码，在图像上随机采样固定尺寸大小的cube，然后将该位置的特征置换为一个共享可学习掩码；步骤3：对步骤1得到的隐藏特征e，使用基于光谱间注意力模块进行细化，表述为：s＝SpectralTransformerBlock(e)其中，SpectralTransformerBlock(
·
)表示光谱间Transformer模块，s表示通过光谱间Transformer模块获得的隐层特征；在光谱重建模型中堆叠了多个光谱间Transformer模块，前一个模块的输出为后一个模块的输入；其中SpectralTransformerBlock(
·
)由SpectralAttention和FFN以及LayerNorm组成：SpectralTransformerBlock(x)＝t+(FFN(LayerNorm(t)))其中t＝(x+SpectralAttention(LayerNorm(x)))，LayerNorm表示层归一化操作，FFN(x)＝(conv(gelu(conv(gelu(conv(x))))))，其中conv表示卷积层，gelu是非线性激活函数，x代表一个输入的张量；attention(Q，K，V)＝softmax(σ
i
QK
T
)VSpectralAttention(X)＝attention(XW
Q
，XW
K
，XW
V
)其中σ
i
是可学习的缩放因子，W
Q
，W
K
，W
V
是可学习的投影矩阵，是输入的张量，是将输入图像的...

【专利技术属性】
技术研发人员：张艳宁，张磊，魏巍，任维鑫，王昊宇，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：