基于残差通道注意力机制的双流遥感图像融合方法技术

本发明专利技术提供一种基于残差通道注意力机制的双流遥感图像融合方法，卷积神经网络分别从全色图像和低分辨率的多光谱遥感图像中提取特征，然后将它们融合形成紧凑的特征图，然后构建残差注意力网络，残差注意力网络使用注意力机制通过对特征通道之间的相互依赖关系进行建模，自适应地调整每个通道的特征，从而能够专注于更有用的通道，提高识别学习能力残差注意力网络采用多残差连接，其中长残差连接允许浅层的残差学习，长残差连接和短残差连接允许大量浅层信息通过这些基于身份的跳连接，简化了信息的流动，最终经过反卷积层以及卷积层重构后，能够生成高质量遥感图像，对遥感图像融合领域具有重要意义。融合领域具有重要意义。融合领域具有重要意义。

【技术实现步骤摘要】
基于残差通道注意力机制的双流遥感图像融合方法


[0001]本专利技术涉及遥感图像融合
，特别涉及基于残差通道注意力机制的双流遥感图像融合方法。

技术介绍

[0002]遥感图像融合是一种将高分辨率全色遥感图像(PAN图像)和低分辨率多光谱遥感图像(LMS图像)融合成高分辨率多光谱遥感图像的算法，高分辨率多光谱遥感图像可以计算出地球表面每个像素的反射光谱以获得多种信息，为后续的遥感场景分割，分类和特征提取提供帮助，如森林资源调查、地物分类、精准农业以及气象预报等，然而由于当前硬件的局限性，很难通过单个传感器获得具有高分辨率的遥感图像，只能分别获取地表单波段的全色图像和多波段的多光谱遥感图像，这两种图像携带的信息不同但是却在信息上可以互补，为了得到高分辨率的多光谱遥感图像，全色锐化被开发为遥感图像融合中的一个关键技术。随着遥感图像越来越重要，遥感图像融合算法也在不断地改进，如何将全色图像和多光谱遥感图像的空间信息和光谱信息尽可能多地融合，提高融合效果，是遥感图像融合中重点关注的问题。
[0003]近年来提出了许多先进的基于深度学习的方法，具有很大的潜力，深度学习模型由多个变换层构建，在每一层中，对输入数据进行线性过滤以产生输出数据，多个层叠加形成具有高度非线性的总变换，深度学习，尤其是卷积神经网络(CNN)，提供了更好的转换建模，这有助于拟合复杂的转换。在训练过程中，参数在训练样本的监督下更新，并提高拟合精度，受深度学习在计算机视觉领域的强大能力的启发，在遥感图像融合中，深度学习的方法所提取的特征比传统方法提取的特征具有更强的表现能力，如：基于卷积神经网络的三层CNN结构进行遥感图像融合方面，率先提出了基于CNN的遥感图像融合算法PNN(Pansharpening by CNN)，显著提高了遥感图像融合算法的性能，生成了高分辨率的多光谱遥感图像；基于残差连接深度网络用于遥感图像融合DRPNN(Pansharpening by Deep Residual CNN)，该算法融合了残差连接学习特征，在残差连接架构的支持下，可以形成非常深的卷积网络框架，保证网络不易退化同时提高了融合的精度，也提升了网络性能；(Two
‑
stream fusion network)TFnet通过对PAN和MS图像的特征采用双通道的CNN来分别提取，并采用残差连接学习浅层特征然后基于身份跳跃过程来强化深层特征，强化了特征的学习提升融合网络的性能，然而上述方法在提取图像中的空间信息和光谱信息时，并不能专注的进行，导致最终的全色锐化图像的融合效果并没有达到最佳效果。

技术实现思路

[0004]鉴以此，本专利技术提出基于残差通道注意力机制的双流遥感图像融合方法，构建残差注意力网络，通过残差注意力网络中的通道注意力机制使网络专注于更有用的信道并增强学习能力，保证可以获得最终高分辨率的多光谱遥感图像。
[0005]本专利技术的技术方案是这样实现的：
[0006]基于残差通道注意力机制的双流遥感图像融合方法，包括以下步骤：
[0007]步骤S1、使用卷积神经网络对全色图像和低分辨率多光谱遥感图像进行特征提取，并将两者进行拼接获得拼接特征；
[0008]步骤S2、构建残差注意力网络，所述残差注意力网络包括残差注意力模块，所述残差注意力模块中包含通道注意力机制；
[0009]步骤S3、将拼接特征输入到残差注意力网络中进行卷积处理，获得初始特征，残差注意力模块根据通道注意力机制对初始特征进行加权分配处理，获得新特征，根据新特征获得强化特征；
[0010]步骤S4、将强化特征经过反卷积层放大尺寸，然后再通过一个卷积层重构放大后的特征后，获得高分辨率的多光谱遥感图像。
[0011]优选的，所述步骤S1在对全色图像进行特征提取前，对全色图像进行下采样以适应低分辨率的多光谱遥感图像的尺寸。
[0012]优选的，所述步骤S2的的残差注意力网络还包括残差注意力群，所述残差注意力群包括若干块、长残差连接以及短残差连接，所述短残差连接将剩余块堆叠起来，所述长残差连接和短残差连接允许浅层信息直接通过恒等映射向后传播。
[0013]优选的，所述步骤S3的具体步骤包括：
[0014]步骤S31、将拼接特征F
b
‑1输入到残差注意力网络中，经过两次卷积后获得初始特征X；
[0015]步骤S32、将初始特征X输入到残差注意力模块中，由通道注意力机制获得新特征根据新特征与拼接特征F
b
‑1获得强化特征F
b
。
[0016]优选的，所述步骤S31的具体表达式为：
[0017][0018]其中X
b
‑1为拼接特征F
b
‑1进行第一次卷积后得到的输出，X
b
为经过第二次卷积后得到的输出，初始特征X为X
b
的其中一个，W1和W2分别为第一层和第二层卷积层的权重，b1和b2表示第一层和第二层卷积层的偏置，3
×
3代表卷积核的大小，δ(
·
)表示ReLU激活函数。
[0019]优选的，所述步骤S32的具体表达式为：
[0020]F
b
＝CA(X
b
)+F
b
‑1；
[0021]其中CA(
·
)表示通道注意力机制函数，新特征
[0022]优选的，所述步骤S3中残差注意力模块根据通道注意力机制对初始特征进行加权分配处理并获得强化特征的具体步骤为：
[0023]步骤S33、获取通道数量C，对输入的初始特征X进行全局平均池化，并获得通道描述z；
[0024]步骤S34、将通道描述z依次经过下采样层和上采样层后，得到通道统计量w，通道统计量w内包含有每一个通道的权重系数w
c
；
[0025]步骤S35、将权重系数w
c
和初始特征X相乘，获得新特征
[0026]优选的，所述步骤S33中，通道数量C＝(1,2,...,c)，初始特征X＝[X1,X2,...X
c
]，第c个通道的通道描述z
c
的具体表达式为：
[0027][0028]其中f
GP
(
·
)为全局平均池化函数，H,W为特征图的尺寸，x
c
(i,j)为第c层特征x
c
在(i,j)处的值。
[0029]优选的，所述步骤S34的通道统计量w具体表达式为：
[0030]w＝S(W
U
δ(W
D
z))；
[0031]其中S(
·
)表示sigmoid激活函数，δ(
·
)表示ReLU激活函数，W
D
为降维卷积层的权值集，W
U
为升维卷积层的权值集。
[0032]优选的，所述步骤S35中的新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于残差通道注意力机制的双流遥感图像融合方法，其特征在于，包括以下步骤：步骤S1、使用卷积神经网络对全色图像和低分辨率多光谱遥感图像进行特征提取，并将两者进行拼接获得拼接特征；步骤S2、构建残差注意力网络，所述残差注意力网络包括残差注意力模块，所述残差注意力模块中包含通道注意力机制；步骤S3、将拼接特征输入到残差注意力网络中进行卷积处理，获得初始特征，残差注意力模块根据通道注意力机制对初始特征进行加权分配处理，获得新特征，根据新特征获得强化特征；步骤S4、将强化特征经过反卷积层放大尺寸，然后再通过一个卷积层重构放大后的特征后，获得高分辨率的多光谱遥感图像。2.根据权利要求1所述的基于残差通道注意力机制的双流遥感图像融合方法，其特征在于，所述步骤S1在对全色图像进行特征提取前，对全色图像进行下采样以适应低分辨率的多光谱遥感图像的尺寸。3.根据权利要求1所述的基于残差通道注意力机制的双流遥感图像融合方法，其特征在于，所述步骤S2的的残差注意力网络还包括残差注意力群，所述残差注意力群包括若干块、长残差连接以及短残差连接，所述短残差连接将剩余块堆叠起来，所述长残差连接和短残差连接允许浅层信息直接通过恒等映射向后传播。4.根据权利要求1所述的基于残差通道注意力机制的双流遥感图像融合方法，其特征在于，所述步骤S3的具体步骤包括：步骤S31、将拼接特征F
b
‑1输入到残差注意力网络中，经过两次卷积后获得初始特征X；步骤S32、将初始特征X输入到残差注意力模块中，由通道注意力机制获得新特征根据新特征与拼接特征F
b
‑1获得强化特征F
b
。5.根据权利要求4所述的基于残差通道注意力机制的双流遥感图像融合方法，其特征在于，所述步骤S31的具体表达式为：其中X
b
‑1为拼接特征F
b
‑1进行第一次卷积后得到的输出，X
b
为经过第二次卷积后得到的输出，初始特征X为X
b
的其中一个，W1和W2分别为第一层和第二层卷积层的权重，b1和b2表示第一层和第二层卷积层的偏置，3
×
3代表卷积核的大小，δ(
·
)表示ReLU激活函数。6.根据...

【专利技术属性】
技术研发人员：黄梦醒，刘适，毋媛媛，冯思玲，冯文龙，张雨，吴迪，黎贞凤，贺陈耔都，
申请(专利权)人：海南大学，
类型：发明
国别省市：