【技术实现步骤摘要】
本专利技术属于计算机视觉和遥感图像处理，具体涉及一种多尺度多头注意力的高光谱图像融合方法。
技术介绍
1、现有的高光谱与多光谱图像融合方法主要包括基于变换域的方法、基于稀疏表示的方法和基于深度学习的方法。基于变换域的方法，如小波变换和主成分分析，通过将图像特征转换到频域实现特征解耦和重组，在一定程度上增强图像细节，这类方法虽然计算开销小，但在复杂场景下特征提取能力有限。稀疏表示方法则通过字典学习和特征选择，重建图像并平衡空间分辨率与光谱保真度，但这些方法对图像先验知识依赖较强，泛化性能相对较弱。
2、在高光谱图像处理领域，传统的变换域方法(如小波变换、主成分分析等)在光谱和空间信息的分离与融合方面表现出显著的局限性。这些方法主要依赖线性变换，其核心问题在于：首先，线性变换难以捕捉图像中复杂的非线性特征，导致光谱信息的严重损失和失真。其次，这些方法通常基于简单的数学变换，缺乏对图像内在复杂结构的深入理解。在面对高光谱图像中的细节纹理、边缘信息和光谱细微差异时，这些传统方法往往显得捉襟见肘，难以准确还原图像的本质特征。
3、卷积神经网络(cnn)的融合方法由于其卷积核大小限制了感受野的范围，导致融合效果欠缺。基于vit的融合方法，其自注意力机制计算复杂度与图像大小呈二次方关系，这意味着随着图像尺寸的增加，计算资源和存储需求将急剧上升。这一特性严重限制了其在资源受限场景下的实际应用，特别是对于需要实时处理的高光谱图像重建任务。
4、swin transformer通过设计新的窗口注意力机制，在一定程
5、psrt在swin transformer的基础上构建了融合网络，引入窗口注意力机制的同时做了一些改进。通过shuffle和reshuffle策略建立了跨窗口的信息交互，同时在逐渐段缩减窗口大小以获得多尺度信息的交互。但是这种方法存在一定的缺陷；
6、首先是shuffle和reshuffle策略，虽然能够通过shuffle打乱各个patch之间的位置然后在此基础上构建跨窗口的信息交互，但是由于各个patch之间的相对位置被彻底打乱，这会导致在构建各个patch之间的依赖关系时不可避免的学习到错误的信息。
7、其次，通过逐渐段缩减窗口大小以获得多尺度信息交互的策略，会导致感受野也逐步缩小，这限制了transformer在建立长距离依赖关系方面的能力，影响了重构效果的提升。
8、另一方面，psrt沿用了一个4*4大小的patch作为token输入到swim transformer计算的默认做法，这在自然图像中是可行的，但是在高光谱图像中，这么做忽略了光谱一致性的问题。最后，由于每一层swin transformer模块内部的特征的尺度大小是相同的，多尺度特征之间的依赖关系是建立在层与层之间的，缺少了每一层内部的多尺度特征之间的依赖关系。
技术实现思路
1、为了克服上述现有技术存在的不足，本专利技术的目的在于提供一种多尺度多头注意力的高光谱图像融合方法，通过多尺度特征提取模块从输入数据中获取丰富且多尺度的特征信息，在保证重建质量的同时，显著降低计算资源需求，为高光谱图像处理提供更加实用、高效的技术路径。
2、为了实现上述目的，本专利技术采用的技术方案是：
3、一种多尺度多头注意力的高光谱图像融合方法，包括以下步骤；
4、步骤1：对lr-hsi图像进行数据预处理；
5、步骤2：将rgb图像与预处理后的lr-hsi图像在通道维度上进行连接，得到的连接后的特征；rgb与lr-hsi为同一图像的两种模式，rgb为3个光谱波段组成的高分辨率多光谱图像，lr-hsi为多个光谱波段(一般为几十到上百)组成的低分辨率高光谱图像；
6、步骤3：通过多尺度卷积模块(ms_conv)从所述连接后的特征提取多尺度浅层特征；
7、步骤4：将所述多尺度浅层特征输入特征交互模块(fim)，实现特征之间的信息融合交互；
8、步骤5：将所述特征交互模块的输出通过信息融合模块(conv_relu)得到hr-hsi的残差；
9、步骤6：将hr-hsi的残差与所述lr-hsi图像进行相加得到高分辨率高光谱图像(hr-his)。
10、所述步骤1具体为：
11、步骤1.1：首先将lr-hsi图像进行bicubic上采样处理，使所述lr-hsi图像在空间维度上与rgb图像具有相同的分辨率；
12、步骤1.2：在进行上采样后，对上采样后的lr-hsi进行了归一化处理，将像素值缩放到[0,1]的范围内；
13、步骤1.3：对归一化后的lr-hsi进行数据增强以拓展数据集。
14、所述步骤2具体为：
15、将输入的rgb图像与上采样归一化后的lr-hsi图像在光谱通道维度上进行连接，得到神经网络的特征输入
16、其中c1和c2分别表示rgb和lr-hsi的特征通道，h和w表示图像的高和宽；
17、所述步骤3具体为：
18、将连接后的输入多尺度卷积模块，多尺度卷积模块包含多个并行的不同大小的卷积层，用于同时捕获不同尺度的空间信息。
19、所述多尺度卷积模块具体操作为：
20、首先使用1x1的卷积层对iinput进行浅层特征的初步提取，将输入iinput从低维空间映射到高维特征空间，同时为每个像素token实现高维嵌入；
21、fembed＝conv1×1(iinput)
22、其中，表示嵌入特征，cembed表示输出的特征通道数，conv1x1表示1x1的卷积层，表示输入的三维数据立方体，然后将三维数据立方体iinput的特征通道(c1+c2)分为3个头，每个头使用相同的3x3卷积核，每个头有不同的膨胀率(dilation)，在不同的dilation下获得不同的感受野，提取不同尺度下的三个特征；
23、f1,f2,f3＝split(fembed)
24、
25、
26、
27、其中，split(·)表示分割通道，conv3x3表示3x3的卷积，分别表示分割通道之后的中间特征数据，分别表示卷积之后的中间特征数据，dilation表示conv3x3卷积的参数膨胀率；
28、最后将提取出的不同尺度下的特征连接起来，得到多尺度浅层特征
29、
30、其中，cat(·)表示连接通道。
31、所述步本文档来自技高网...
【技术保护点】
1.一种多尺度多头注意力的高光谱图像融合方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤1具体为：
3.根据权利要求2所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤2具体为：
4.根据权利要求3所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤3具体为：
5.根据权利要求4所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤4具体为：
6.根据权利要求5所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述多尺度多头注意力具体是：
7.根据权利要求6所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述头部注意力模块具体计算过程为：
8.根据权利要求7所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述中心注意力模块的具体为：
9.根据权利要求8所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤5具体为：>
10.根据权利要求9所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤6具体为：
...【技术特征摘要】
1.一种多尺度多头注意力的高光谱图像融合方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤1具体为：
3.根据权利要求2所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤2具体为：
4.根据权利要求3所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤3具体为：
5.根据权利要求4所述的一种多尺度多头注意力的高光谱图像融合方法，其特征在于，所述步骤4具体为：
6.根据权利要求5所述的...
【专利技术属性】
技术研发人员：马明明，何沛贤，牛毅，李甫，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。