一种基于窗口交叉注意力的遥感图像融合方法技术

本发明专利技术提出了一种基于窗口交叉注意力的遥感图像融合方法，利用基于窗口交叉注意的新型遥感图像融合网络，将全色和多光谱图像融合为高分辨率的多光谱图像。我们将高通滤波与深层特征提取相结合，以挖掘更多的纹理信息，克服了浅层提取对高频信息提取不充分的问题，根据特征相似度得到的多光谱和全色图像之间的关系更加准确。然后，我们在多光谱和全色图像的局部窗口之间通过像素级的窗口交叉注意机制建立了全色图像和多光谱图像间跨模态关系。与补丁级注意力相比，像素级注意力更有助于保存细粒度的特征。因此，更多来自全色图像的空间细节转移到多光谱图像中，融合后的多光谱图像更加清晰。像更加清晰。像更加清晰。

【技术实现步骤摘要】
一种基于窗口交叉注意力的遥感图像融合方法


[0001]本专利技术属于遥感图像融合领域，涉及一种基于窗口交叉注意力的遥感图像融合，适用于各种多光谱和全色图像融合应用场景。

技术介绍

[0002]随着卫星传感器技术的飞速发展，多光谱图像在军事系统和环境分析等领域得到了广泛的应用。然而，受限于卫星传感器技术的限制，只能捕获到高空间分辨率、低光谱分辨率的全色(PAN)图像，或者光谱信息丰富、空间分辨率低的多光谱(MS)图像。为了生成具有高空间分辨率的多光谱图像，融合多光谱和全色图像的遥感图像融合技术得到了广泛的研究。
[0003]现有的遥感图像融合技术主要分为四类:成分替代法(CS)、多分辨率分析法(MRA)、基于模型(model based)的方法和基于深度学习(DL)的方法。成分替代法是将多光谱图像分解为多个分量，然后用空间分量替换为全色图像。然而，由于组分分离不完全，多光谱图像中的一些光谱信息可能会丢失。多分辨率分析法是将全色图像的高频信息在变换域注入到多光谱图像中。多分辨率分析法能更好地保存光谱信息，但有时会产生空间畸变。基于模型的方法通过构建先验约束来建立优化模型，但是大量的计算成本和选择最优手工参数的难度限制了它们在实际应用中的应用。目前主流的深度学习网络仍然是基于卷积神经网络的，这类方法在将多光谱和全色图像输入网络之前直接将它们连接起来。该策略不能充分利用多光谱和全色图像之间的跨模态相关性。此外，卷积核在所有像素点上的操作是相同的，不能集中于有效特征，抑制冗余信息。因此，在高纹理的遥感图像中容易造成模糊。因此，如何设计一个端到端的深度学习网络来探索全色图像和多光谱图像之间的跨模态相关性，将全色图像的空间纹理细节更好地转移到多光谱图像中，得到纹理信息丰富、同时光谱失真尽可能小的多光谱图像是遥感图像融合领域的一个重要问题。

技术实现思路

[0004]为了解决上述现有技术存在的问题，本专利技术提供一种基于窗口交叉注意力的遥感图像融合方法。
[0005]本专利技术提供一种基于窗口交叉注意力的遥感图像融合方法，包括以下步骤：
[0006]步骤1，基于多光谱图像、全色图像特性构建深度纹理特征提取模块，将输入图像转换到特征域；
[0007]步骤2，构建窗口交叉注意力模块获取多光谱图像、全色图像间的跨模态细粒度关系，输出特征图像；
[0008]步骤3，构建图像解码模块将生成的特征图像传输回图像域，得到最终的融合图像；
[0009]步骤4，构建目标函数驱动图像融合模型的训练，所述图像融合模型包括深度纹理特征提取模块，窗口交叉注意力模块和图像解码模块；
[0010]步骤5，利用仿真数据训练上述图像融合模型，并用训练好的模型在仿真测试集和真实测试集上进行测试。
[0011]进一步的，步骤1的具体实现方式如下；
[0012]步骤1.1，构建高通滤波器提取输入图像的高频信息，所述输入图像包括多光谱图像M、模糊后的全色图像P、全色图像P，多光谱图像M、模糊后的全色图像P和全色图像P经过高通滤波器处理之后分别得到G(M)，G(P)和G(P)；
[0013]步骤1.2，构建单通道纹理提取模块提取G(P)和G(P)的高频特征，得到K和V，单通道纹理提取模块中三个卷积层，卷积核的数量逐层变大，卷积核的感受野逐层变小，以提取多尺度的细节信息；
[0014]步骤1.3，构建多通道纹理提取模块提取G(M)的高频特征，得到Q，多通道纹理提取模块同样包括三个卷积层，卷积核的数量逐层变大，卷积核都采用1
×
1大小。
[0015]进一步的，步骤1.1中模糊后的全色图像通过对原始的全色图像进行下采样再上采样得到，高通滤波器是通过原始图像减去对原始图像进行平均滤波得到的低频内容实现，平均滤波通过一个全局池化层实现。
[0016]进一步的，步骤1.2中，三个卷积层中卷积核数量从32、64变化到128，卷积核的感受野从7
×
7、5
×
5变化到3
×
3。
[0017]进一步的，步骤2的具体实现方式如下；
[0018]步骤2.1，将输入的高频特征Q/K/V∈R
H，W，C
划分成n个窗口：
[0019]Q＝[q1，q2，
…
，q
n
][0020]K＝[k1，k2，
…
，k
n
][0021]V＝[v1，v2，
…
，v
n
][0022]其中，q
i
/k
i
/v
i
∈R
h，w，C
，C是特征通道数量，H、w是图像的图像大小，h、w是窗口大小；
[0023]步骤2.2，为了提取细粒度特征，通过维度变换将每个窗口q
i
、v
i
、v
i
展开成像素序列，对于序列中第m个像素和第n个像素计算它们之间的特征相似度：
[0024][0025]其中，代表着在窗口i内的像素级跨模态相关性；
[0026]步骤2.3，将步骤2.2得到的像素间的相关性通过softmax函数进行归一化：
[0027][0028]其中，代表从全色图像的第个像素点到多光谱图像的第个像素点的注入增益；
[0029]步骤2.4，根据注入增益提取全色图像的纹理信息，因此输出特征图像的第i个窗口的第m个像素计算如下：
[0030][0031]步骤2.5，将展开的像素序列通过维度变换折叠成原像素窗口，得到输出图像的第i个窗口：
[0032][0033]步骤2.6，通过窗口交叉注意力，分别得到每个窗口的输出特征图像，最后将所有窗口的特征图像拼接起来，得到最后的输出特征图像：
[0034]O＝[O1，O2，
…
，O
n
]。
[0035]进一步的，步骤3的具体实现方式如下；
[0036]步骤3.1，为了保留多光谱图像中的高频特征信息，通过一个跳跃连接，将窗口交叉注意力得到的输出特征图像与多光谱特征图像Q相加，得到高频特征图像；
[0037]步骤3.2，融合得到的高频特征图像经过一个卷积层，得到更高维度的多通道的特征图像；
[0038]步骤3.3，采用4个大小为1
×
1的卷积层将多通道的特征图像重新映射为四通道图像，得到重建的高频图像，然后重建得到的高频图像加上低频的多光谱图像就得到了最终的融合图像。
[0039]进一步的，步骤3.2中卷积层的通道为256、卷积核大小为3
×
3。
[0040]进一步的，步骤3.3中，4个卷积层的卷积核数量分别是128、64、32、4。
[0041]进一步的，步骤4中的构造的损失函数如下；
[0042][0043]其中，F
n
和G
n
分别代表融合图像和参考图像，b本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于窗口交叉注意力的遥感图像融合方法，其特征在于，包括如下步骤：步骤1，基于多光谱图像、全色图像特性构建深度纹理特征提取模块，将输入图像转换到特征域；步骤2，构建窗口交叉注意力模块获取多光谱图像、全色图像间的跨模态细粒度关系，输出特征图像；步骤3，构建图像解码模块将生成的特征图像传输回图像域，得到最终的融合图像；步骤4，构建目标函数驱动图像融合模型的训练，所述图像融合模型包括深度纹理特征提取模块，窗口交叉注意力模块和图像解码模块；步骤5，利用仿真数据训练上述图像融合模型，并用训练好的模型在仿真测试集和真实测试集上进行测试。2.如权利要求1所述的一种基于窗口交叉注意力的遥感图像融合方法，其特征在于：步骤1的具体实现方式如下；步骤1.1，构建高通滤波器提取输入图像的高频信息，所述输入图像包括多光谱图像M、模糊后的全色图像全色图像P，多光谱图像M、模糊后的全色图像和全色图像P经过高通滤波器处理之后分别得到G(M)，和G(P)；步骤1.2，构建单通道纹理提取模块提取和G(P)的高频特征，得到K和V，单通道纹理提取模块中三个卷积层，卷积核的数量逐层变大，卷积核的感受野逐层变小，以提取多尺度的细节信息；步骤1.3，构建多通道纹理提取模块提取G(M)的高频特征，得到Q，多通道纹理提取模块同样包括三个卷积层，卷积核的数量逐层变大，卷积核都采用1
×
1大小。3.如权利要求2所述的一种基于窗口交叉注意力的遥感图像融合方法，其特征在于：步骤1.1中模糊后的全色图像通过对原始的全色图像进行下采样再上采样得到，高通滤波器是通过原始图像减去对原始图像进行平均滤波得到的低频内容实现，平均滤波通过一个全局池化层实现。4.如权利要求2所述的一种基于窗口交叉注意力的遥感图像融合方法，其特征在于：步骤1.2中，三个卷积层中卷积核数量从32、64变化到128，卷积核的感受野从7
×
7、5
×
5变化到3
×
3。5.如权利要求2所述的一种基于窗口交叉注意力的遥感图像融合方法，其特征在于：步骤2的具体实现方式如下；步骤2.1，将输入的高频特征Q/K/V∈R
H，W，C
划分成n个窗口：Q＝[q1，q2，
…
，q
n
]K＝[k1，k2，
…
，k
n
]V＝[v1，v2，
…
，v
n
]其中，q
i
/k
...

【专利技术属性】
技术研发人员：柯成杰，田昕，李松，
申请(专利权)人：武汉大学，
类型：发明
国别省市：