基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法技术

本发明专利技术公开了一种基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法，将多光谱图像中拥有的高光谱分辨率与全色图像中拥有的高空间分辨率相融合，以获得高空间分辨率高光谱分辨率的多光谱图像。利用深度学习中U

【技术实现步骤摘要】
基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法


[0001]本专利技术属于信息
，涉及图像处理技术，具体是一种基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法。

技术介绍

[0002]遥感卫星在拍摄获取多光谱(MS)图像的同时，可获取同场景的全色(PAN)图像，其中，多光谱图像富含光谱信息，但空间分辨率低，清晰度差，而全色图像的空间分辨率高，但光谱分辨率低；两者的空间和光谱分辨率彼此矛盾。将两者的优点相融合，获得一个高空间、光谱分辨率的多光谱图像，目前也是一个极大的需求。
[0003]目前，深度学习已经倍广泛应用于各个研究领域，给各个领域提供了一种新的解决办法。其中，在深度学习领域内，3D卷积已经被证明是探索体积数据的一种非常有效的方法。与2D卷积运算相比，3D卷积不仅做到了在空间维度上的特征保留，同时还考虑到了光谱维度上的特征提取。这种运算方法更加符合光谱图像的成像原理，因此3D卷积的出现也是解决传统2D卷积问题中的一个新途径。但由于使用3D卷积所需数据的有所限制，因此在目前的多光谱全色锐化方面，并没有对其进行广泛应用。
[0004]为了充分利用单个波段中各个像素间的内在联系，传统做法通常采用不同尺度的观测结果进行共同融合，以达到最终的融合图像同时拥有不同尺度下的图像特征。但该做法的不足之处在于，由于多光谱图像立方体结构的特殊性质，使用尺度信息虽然会使得图像的空间细节特征得到增强，但有可能存在在光谱维度上的信息丢失，甚至可能导致光谱扭曲。
[0005]此外，由于受到人类感知系统的启发，注意力机制(Attention mechanism)近些年被提出。由于其特有的可以将计算资源分配给部分关注区域信息的计算的特点，因此被广泛应用于图像处理领域。但不足的是，目前所提出的许多注意力机制并不能直接应用到多光谱全色锐化中，并且使用不恰当的注意力机制还会使得最终的结果产生模糊或者信息扭曲，导致空间维度和光谱维度上的信息丢失，从而使得图像的几何特征表示不完全。

技术实现思路

[0006]为了充分利用多光谱图像各个像素间及各个波段间的相关性，以及全色图像的高空间分辨率的特点，来降低图像处理的工作量和提高图像融合的准确度，本专利技术的目的在于，提供一种基于深度学习的3D多尺度注意力深度卷积网络的遥感图像融合方法(MSAC
‑
Net)，采用3D卷积的方法，通过深度学习模型在保留多光谱图像光谱细节的同时，使用注意力机制从全色图像中提取空间细节，并将最终结果与多个中间尺度结果进行学习，以获得所需的高分辨率多光谱图像，来解决现有技术中遥感图像融合不全面、融合质量和融合效果差的问题。
[0007]为了实现上述任务，本专利技术采用如下技术方案予以实现：
[0008]一种基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法，其特征在于，包括以下步骤：
[0009]步骤一：获取一对同一场景相同角度的全色图像和多光谱图像作为测试数据集中的一个样本；获取多个场景的多对全色图像和多光谱图像，以得到训练数据集；
[0010]对于测试数据集中的样本，对样本中多光谱图像进行上采样处理，以达到与全色图像相同的尺寸；然后将全色图像进行级联复制，以获得与多光谱图像波段数相同的全色图像立方体；
[0011]对于训练数据集，将训练数据集中的所有全色图像进行下采样，以达到与训练数据集中多光谱图像相同的尺寸；然后将下采样后得到的全色图像进行复制级联操作，以获得与多光谱图像波段数相同的全色图像立方体；其中复制级联操作指，首先将全色图像进行复制，数量为多光谱图像波段数，然后将所有的复制图像在波段维度上进行级联，以获得一个全色图像立方体；
[0012]步骤二：将训练数据集的样本输入到MASC
‑
Net模型，以获得多光谱图像与全色图像立方体的融合结果并且利用模型中的重建块，对模型中间图像进行重建输出：
[0013][0014]其中，是模型在第i个尺度上获得的特征图，R(
·
)是模型对应尺度的重建块，是第i层重建块得到的中间尺度的图像，为模型最终的重建图像；
[0015]步骤三；采用随机梯度下降算法，利用训练数据集对步骤二的MASC
‑
Net模型进行训练，直至收敛，以得到融合模型；
[0016]利用双三次插值对参考图像进行下采样，获得各个中间图像对应尺寸大小的图像Y
i
：
[0017]Y
i
＝D(Y
i
‑1)，i＝2，3，
…
，k
[0018]其中，D(
·
)为下采样操作，Y
i
为模拟第i个尺度的参考图像，Y1为参考图像。
[0019]在随机梯度下降算法训练网络的过程中，不断优化损失函数，直至收敛，模型的损失函数为：
[0020][0021]其中，λ为尺度信息的权重。
[0022]步骤四：针对于某场景的待融合全色图像和多光谱图像，根据步骤一所述的上采样，利用步骤三经过训练后得到的融合模型，得到最终融合图像。
[0023]进一步地，步骤一所述的进行上采样与下采样处理，以及复制级联的方法，包括：
[0024]步骤2.1，在训练数据集中，采用插值方法对原始多光谱图像和全色图像进行间隔为p的下采样；之后利用双三次插值，对下采样后的多光谱图像进行上采样p倍，获得与下采样全色图像尺寸相同的低分辨率的多光谱图像。
[0025]步骤2.2，对于步骤2.1中已下采样好的全色图像，通过复制的方式，获得与多光谱波段数相同数量的图像集，之后在光谱维度上进行级联，获得一个h
×
w
×
c的数据立方体，
即：
[0026][0027]其中，c为多光谱图像的波段数。
[0028]步骤2.3，对于测试数据集中，对全色图像进行与步骤2.1和步骤2.2中相同的下采样操作和复制级联操作即可。
[0029]进一步地，步骤二所述的重建块包括：
[0030]步骤3.1，通过MASC
‑
Net模型，获得第i层的低级语义特征以及对应层的高级特征通过卷积获得当前层的网格注意图公式为：
[0031][0032]其中，W和b分别为权重和偏置，σ1为ReLU激活函数；
[0033]步骤3.2，与进行相乘，获得对应的高级语义信息公式为：
[0034][0035]其中，σ2为sigmoid激活函数，为逐特征图相乘。
[0036]步骤3.3，对和进行级联，之后通过卷积进行特征提取，以获取第i层的高级特征级联公式为：
[0037][0038]其中，cat(
·
)为级联操作；
[0039]提取特征公式为：
[0040][0041]步骤3.4，通过独立的对应层重建块，以重建第i个尺度下的多光谱图像，重建公式为：
[0042][0043]进一步地，步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法，其特征在于，包括以下步骤：步骤一：获取一对同一场景相同角度的全色图像和多光谱图像作为测试数据集中的一个样本；获取多个场景的多对全色图像和多光谱图像，以得到训练数据集；对于测试数据集中的样本，对样本中多光谱图像进行上采样处理，以达到与全色图像相同的尺寸；然后将全色图像进行级联复制，以获得与多光谱图像波段数相同的全色图像立方体；对于训练数据集，将训练数据集中的所有全色图像进行下采样，以达到与训练数据集中多光谱图像相同的尺寸；然后将下采样后得到的全色图像进行复制级联操作，以获得与多光谱图像波段数相同的全色图像立方体；其中复制级联操作指，首先将全色图像进行复制，数量为多光谱图像波段数，然后将所有的复制图像在波段维度上进行级联，以获得一个全色图像立方体；步骤二，将训练数据集的样本输入到MASC
‑
Net模型，以获得多光谱图像与全色图像立方体的融合结果并且利用模型中的重建块，对模型中间图像进行重建输出：其中，是模型在第i个尺度上获得的特征图，R(
·
)是模型对应尺度的重建块，是第i层重建块得到的中间尺度的图像，为模型最终的重建图像；步骤三；采用随机梯度下降算法，利用训练数据集对步骤二的MASC
‑
Net模型进行训练，直至收敛，以得到融合模型；利用双三次插值对参考图像进行下采样，获得各个中间图像对应尺寸大小的图像Y
i
：Y
i
＝D(Y
i
‑1)，i＝2，3，
…
，k其中，D(
·
)为下采样操作，Y
i
为模拟第i个尺度的中间图像，Y1为参考图像；在随机梯度下降算法训练网络的过程中，不断优化损失函数，直至收敛，模型的损失函数为：其中，λ为尺度信息的权重；步骤四：针对于某场景的待融合全色图像和多光谱图像，根据步骤一所述的上采样，利用步骤三经过训练后得到的融合模型，得到最终融合图像。2.如权利要求1所述的方法，其特征在于，步骤一所述的进行上采样与下采样处理，以及复制级联的方法，包括以下步骤：步骤2.1，在训练数据集中，采用插值方法对原始多光谱图像和全色图像进行...

【专利技术属性】
技术研发人员：彭进业，付毅豪，张二磊，王珺，刘璐，俞凯，祝轩，赵万青，何林青，
申请(专利权)人：西北大学，
类型：发明
国别省市：