自适应阶导向融合和多分辨率判别器的遥感图像融合方法技术

本发明专利技术提供一种自适应阶导向融合和多分辨率判别器的遥感图像融合方法，主要包括步骤：构建时空融合数据集和空谱融合数据集；确定自适应阶层；双向自适应阶特征提取；自适应阶渐进式注意力导向融合；构建自适应阶分辨率U型判别器；构建复合损失函数对模型进行优化；使用批量数据同时对生成器和多分辨率U型判别器进行训练，并使用Adam优化器对集成融合模型进行优化，得到最优模型并冻结；使用最优模型对测试数据进行空谱融合和时空融合生成高分辨率图像，本发明专利技术构建的集成融合模型既能实现空谱融合又能实现时空融合，实现了多任务的高分辨率图像的生成，并提高了融合精度。并提高了融合精度。并提高了融合精度。

【技术实现步骤摘要】
自适应阶导向融合和多分辨率判别器的遥感图像融合方法


[0001]本专利技术涉及遥感图像处理
，尤其涉及一种自适应阶导向融合和多分辨率判别器的遥感图像融合方法。

技术介绍

[0002]高空间分辨率的遥感影像被广泛地应用于生态环境监测、城市动态变化检测、农业产量评估、土地资源利用与覆盖、海洋资源利用与监测等，但是由于传感器技术和预算的限制，单个传感器的空间、时间、光谱分辨率相互制约，单个传感器不能获得同时具有高空间分辨率、高时间分辨率和高光谱分辨率的影像。多源遥感影像的融合技术是获取时间密集高空间分辨率多光谱影像的便利技术。而目前遥感图像融合技术发展最为广泛的其中包括空谱融合和时空融合。空谱融合是将全色图像(PAN)和多光谱图像(MS)融合生成高空间分辨率多光谱影像(HRMS)，也称为全色锐化；时空融合是将不同时刻不同分辨率的影像融合生成时间密集的高空间分辨率影像(HTHR)，如利用高时间分辨率低空间分辨率的MODIS影像和低时间分辨率高空间分辨率的Landsat影像融合生成高时间分辨率高空间分辨率的Landsat影像。全色锐化生成的HRMS图像被广泛应用于提高分类、解译、监测、地表提取等精度方面，时空融合生成的HTHR图像广泛应用于城市、生态等动态变化检测方面，有助于决策者做出更精确的决策。
[0003]目前基于深度学习融合模型只能单一的实现空谱融合或时空融合，缺少同时实现空谱融合和时空融合的智能融合模型。同时两者面临着两个传感器获得的影像波段并不完全覆盖的问题；而且空谱融合中面临的没有参考图像的问题，使得融合模型在降分辨率数据集上表现较好，但在全分辨率数据集上的效果不理想，导致实际应用的困难；时空融合在传感器差异造成的分辨率差异巨大、对突变的地表覆盖变化的预测方面面临着挑战。

技术实现思路

[0004]鉴于此，本专利技术的目的在于提供一种自适应阶导向融合和多分辨率判别器的遥感图像融合方法，以解决现有技术所存在的上述问题。
[0005]为实现上述专利技术目的，本专利技术提供一种自适应阶导向融合和多分辨率判别器的遥感图像融合方法，所述方法包括以下步骤：
[0006]构建时空融合数据集和空谱融合数据集，构建一个双向自适应阶注意力导向融合的生成器和多分辨率判别器的集成时
‑
空
‑
谱融合模型；
[0007]根据高
‑
低分辨率之比，设计自适应特征提取阶层；
[0008]在生成器中以低分辨率到高分辨率方式提取低分辨率图像的多阶特征，以高分辨率到低分辨率方式提取高分辨率图像的多阶特征，形成双向自适应阶特征提取结构；
[0009]将提取的高
‑
低分辨率图像的多阶特征通过以前阶融合结果为导向的跨阶
‑
级注意力融合模块渐进式地生成高分辨率图像，从而形成多阶融合结果，多阶融合结果经过重构单元生成多阶预测图像；
[0010]将各阶预测图像与对应尺度的参考图像分别输入多分辨率U型判别器中，通过不同感受野对抗学习多尺度上下文信息，判别影像相对真实性并反馈给生成器；
[0011]构建复合损失函数以优化模型；
[0012]同时对生成器和多分辨率U型判别器进行训练，得到最优模型并冻结，使用最优模型分别进行空谱融合和时空融合以生成高分辨率图像。
[0013]进一步的，对于空谱融合，模型的输入分别是下采样4倍的多光谱图像和原始全色图像；对于时空融合，模型的输入分别是同一区域的t0日期的Landsat影像和t1日期的MODIS影像。
[0014]进一步的，在生成器中以低分辨率到高分辨率方式提取低分辨率图像的多阶特征，以高分辨率到低分辨率方式提取高分辨率图像的多阶特征，具体包括：
[0015]首先使用多尺度特征提取模块(MFEM)提取低分辨率图像的特征并将其沿着通道拼接，再通过3
×
3卷积进行初步融合，其次分别通过构建由密集残差子模块(DRM)、残差双注意力子模块(RDAM)和超分子模块(SR)组成的模块提取低分辨率图像的N阶特征D
i
(i＝1,
…
,N)；
[0016]同时，先使用MFEM提取高分辨率图像的特征并将其沿着通道拼接，再通过3
×
3卷积进行初步融合；再分别通过构建由DRM、RDAM和下采样组成的模块提取高分辨率图像的N阶特征H
i
(i＝1,
…
,N)；D1和H1表示第1尺度特征，即理想分辨率特征；D
i
和H
i
表示第i尺度特征；D
N
和H
N
表示第N尺度特征，即最小尺度的特征。
[0017]进一步的，将提取的高
‑
低分辨率图像的多阶特征通过以前阶融合结果为导向的跨阶
‑
级注意力融合模块渐进式地生成高分辨率图像，具体包括：
[0018]将提取的多阶特征中最低分辨率特征D
N
和H
N
通过构建的跨级注意力导向融合模块(CLADFM)进行融合得到第N尺度特征F
N
，CLADFM包含两个并行的残差光谱注意力(RPA)和残差空间注意力(RSA)、由1个拼接层、1个1
×
1卷积
‑
leakyReLU(LReLU)激活函数层、1个3
×
3卷积
‑
LReLU激活函数层和1个3
×
3卷积层组成的融合结构(FCM)；
[0019]将F
i
、H
i
‑1与D
i
‑1(i＝2,
…
,N)输入到跨阶跨级注意力导向融合模块(CSLADFM)中生成F
i
‑1(i＝2,
…
,N)，CSLADFM包含SR、两个并行的RPA和RSA、FCM；
[0020]经过1阶CLADFM和N
‑
1阶CSLADFM后生成理想分辨率的图像F1和多阶分辨率图像F
i
(i＝2,
…
,N)；
[0021]将F
i
(i＝1,
…
,N)输入到重构单元中生成多阶预测图像P
i
(i＝1,
…
,N)，且P1为最终的融合图像。
[0022]进一步的，多分辨率U型判别器通过不同感受野对抗学习多尺度上下文信息判别影像相对真实性并反馈给生成器，具体包括以下步骤：
[0023]以2
i
‑1(i＝2,
……
,N)的因子进行下采样得到多尺度的参考图像R
i
；
[0024]将生成的多尺度图像P
i
(i＝1,
…
,N)和对应尺度的参考图像R
i
(i＝1,
…
,N)分别输入到具有相同结构的U型判别器组成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应阶导向融合和多分辨率判别器的遥感图像融合方法，其特征在于，所述方法包括以下步骤：构建时空融合数据集和空谱融合数据集，构建一个双向自适应阶注意力导向融合的生成器和多分辨率判别器的集成时
‑
空
‑
谱融合模型；根据高
‑
低分辨率之比，设计自适应特征提取阶层；在生成器中以低分辨率到高分辨率方式提取低分辨率图像的多阶特征，以高分辨率到低分辨率方式提取高分辨率图像的多阶特征，形成双向自适应阶特征提取结构；将提取的高
‑
低分辨率图像的多阶特征通过以前阶融合结果为导向的跨阶
‑
级注意力融合模块渐进式地生成高分辨率图像，从而形成多阶融合结果，多阶融合结果经过重构单元生成多阶预测图像；将各阶预测图像与对应尺度的参考图像分别输入多分辨率U型判别器中，通过不同感受野对抗学习多尺度上下文信息，判别影像相对真实性并反馈给生成器；构建复合损失函数以优化模型；同时对生成器和多分辨率U型判别器进行训练，得到最优模型并冻结，使用最优模型分别进行空谱融合和时空融合以生成高分辨率图像。2.根据权利要求1所述的一种自适应阶导向融合和多分辨率判别器的遥感图像融合方法，其特征在于，对于空谱融合，模型的输入分别是下采样4倍的多光谱图像和原始全色图像；对于时空融合，模型的输入分别是同一区域的t0日期的Landsat影像和t1日期的MODIS影像。3.根据权利要求1所述的一种自适应阶导向融合和多分辨率判别器的遥感图像融合方法，其特征在于，在生成器中以低分辨率到高分辨率方式提取低分辨率图像的多阶特征，以高分辨率到低分辨率方式提取高分辨率图像的多阶特征，具体包括：首先使用多尺度特征提取模块(MFEM)提取低分辨率图像的特征并将其沿着通道拼接，再通过3
×
3卷积进行初步融合，其次分别通过构建由密集残差子模块(DRM)、残差双注意力子模块(RDAM)和超分子模块(SR)组成的模块提取低分辨率图像的N阶特征D
i
(i＝1,
…
,N)；同时，先使用MFEM提取高分辨率图像的特征并将其沿着通道拼接，再通过3
×
3卷积进行初步融合；再分别通过构建由DRM、RDAM和下采样组成的模块提取高分辨率图像的N阶特征H
i
(i＝1,
…
,N)；D1和H1表示第1尺度特征，即理想分辨率特征；D
i
和H
i
表示第i尺度特征；D
N
和H
N
表示第N尺度特征，即最小尺度的特征。4.根据权利要求1所述的一种自适应阶导向融合和多分辨率判别器的遥感图像融合方法，其特征在于，将提取的高
‑
低分辨率图像的多阶特征通过以前阶融合结果为导向的跨阶
‑
级注意力融合模块渐进式地生成高分辨率图像，具体包括：将提取的多阶特征中最低分辨率特征D
N
和H
N
通过构建的跨级注意力导向融合模块(CLADFM)进行融合得到第N尺度特征F
N
，CLADFM包含两个并行的残差光谱注意力(RPA)和残差空间注意力(RSA)、由1个拼接层、1个1
×
1卷积
‑
leaky ReLU(LReLU)激活函数层、1个3
×
3卷积
‑
LReLU激活函数层和1个3
×
3卷积...

【专利技术属性】
技术研发人员：黄梦醒，吴园园，冯思玲，毋媛媛，冯文龙，张雨，林聪，李玉春，
申请(专利权)人：海南大学，
类型：发明
国别省市：