一种SAR辅助下光学遥感影像修复方法技术

本发明专利技术提出了一种SAR辅助下光学遥感影像修复方法，包括：获取训练影像集和测试影像集；构建云移除网络USSDRN

【技术实现步骤摘要】
一种SAR辅助下光学遥感影像修复方法


[0001]本专利技术属于遥感影像处理
，具体涉及一种SAR辅助下光学遥感影像修复方法。

技术介绍

[0002]近些年来，光学遥感图像被越来越多应用于环境监测、城市规划、灾害预报等领域。受多云天气的影响，获取的研究区域光学遥感图像经常会有云层的遮挡，给后续的应用和分析造成困难。因此，研究遥感图像的修复新方法，恢复云层覆盖下的地物信息，实现光学遥感图像数据修复，为采用遥感图像进行后续处理工作提供更多的地物信息。
[0003]通常，根据所使用的辅助信息源不同，遥感图像修复可以分为基于空间的方法，基于时间的方法和基于多源数据的方法。基于空间的方法利用影像中缺失区域和未缺失区域的空间自相关性进行影像修复，但不适合大面积云区域的重建。基于时间的方法利用时间相关性通过建立目标图像上有云区域和参考图像的无云区域的之间的线性关系进行缺失区域的重建。但当短时间内无法获得无云参考图像时，该方法效果较差。基于多源数据的方法则是利用其传感器所获得的影像作为辅助数据来实现修复。使用其他高时间分辨率的光学影像作为辅助，可以缩短云影像和参考影像之间的时间间隔，然而，由于无云参考图像仍然是光学影像，因此，仍然受到云的影响。
[0004]合成孔径雷达SAR(Synthetic Aperture Radar)是一种主动式的对地观测系统，能够全天时、全天候对地实施观测、并具有一定的地表穿透能力。SAR影像不受天气、云雾影响，可以为光学遥感图像云的去除提供有效辅助信息。近年来，一些基于深度学习的以SAR数据为辅助数据的修复网络已经被提出。然而，这些网络大部分都使用了普通的卷积操作来进行特征提取，将每个像素当作有效值进行处理，以滑动窗口的形式提取局部特征。因此，在修复网络中，云区域的无效值为后续的特征提取引入了误差。其次，卷积层只能获取局部特征，网络没有充分利用非邻域和光谱相关性信息。

技术实现思路

[0005]为解决上述已有技术存在的问题，本专利技术提出一种SAR辅助下光学遥感影像修复方法，更好的进行云影像上有效值区域信息提取，充分获取全局空间和光谱信息，提高遥感影像的修复效果。
[0006]为达到上述目的，本专利技术采用的技术方案为：
[0007]一种SAR辅助下光学遥感影像修复方法，包括如下步骤：
[0008]步骤(1)建立遥感影像库{R1,R2…
R
n
…
R
K
}，并对建立的影像库进行归一化处理，遥感影像库包括成对的有云影像数据集I，对应的SAR影像数据集S以及无云的遥感影像数据集L，其中，R
n
代表影像库中第n个影像，n为影像库中第n个样本编号，K为影像库中影像数目；
[0009]步骤(2)从影像库中随机挑选80％样本，构建训练影像库，包括有云的遥感影像的
样本集与I
a
对应的SAR影像样本集和无云的遥感影像样本集遥感影像库中其他影像为测试影像集，包括有云的遥感影像样本集和对应的SAR影像样本集其中，表示第i个训练的有云影像，表示第对应的SAR影像，表示对应的无云标签影像，和表示第j个测试的有云影像以及对应的SAR影像，M为训练样本总数，N为测试样本总数；
[0010]步骤(3)建立空间和光谱联合SAR辅助下的深度残差神经网络：
[0011](3a)构建特征提取与融合模块，引入多尺度特征块和门控卷积，实现多尺度特征的提取与融合；
[0012](3b)构建重建模块，引入空间和通道注意力块，将融合后的特征重建为无云的预测影像；
[0013]步骤(4)确定残差神经网络的损失函数：
[0014]L
loss
＝L
global
+λ1L
local
+λ2L
SSIM
[0015]其中，L
global
为全局损失函数，网络重建的预测影像与无云标签影像之间的L1范数，L
local
为局部损失函数，云掩膜区域的预测影像与无云标签影像之间的L1范数，L
SSIM
为结构相似性损失函数，λ1和λ2是局部损失和结构相似性损失的超参数权重；
[0016]步骤(5)利用所述训练影像集训练所述深度残差神经网络模型，通过梯度下降优化对残差神经网络进行迭代训练，得到训练后的神经网络模型；
[0017]步骤(6)使用训练好的残差神经网络对测试影像集进行处理，实现光学遥感影像云去除。
[0018]进一步地，步骤(1)具体包括：
[0019]对建立的遥感影像库进行归一化处理，遥感影像库{R1,R2…
R
n
…
R
K
}为输入的样本集，公式如下：
[0020][0021]其中，V
max
为遥感影像库中所有像素的点最大值，V
min
为遥感影像库中所有像素的点最小值，{R'1,R'2…
R'
K
}为归一化后的遥感影像样本集。
[0022]进一步地，所述步骤(3)的(3a)中的特征提取和融合模块包括三个分支；其中两个主分支包括一层卷积和多尺度特征块，分别对SAR影像和光学影像进行特征提取，第三个分支基于canny算子对进行结构特征提取，然后进行卷积，最后将获取的多尺度特征进行并连；
[0023]所述的多尺度特征块，针对和影像，分为MFB
‑
A以及MFB
‑
B；MFB
‑
A由三个并行连接的门控卷积层{Gconv1,Gconv2,Gconv3}构成；MFB
‑
B由三个并行连接的卷积层{conv1,conv2,conv3}构成。
[0024]进一步地，所述步骤(3)的(3b)中的重建模块包括一个卷积层，Relu激活函数，五个残差块，一个空间和通道注意力块，五个残差块和一个卷积层；
[0025]所述的残差块，依次由第一卷积层，Relu激活函数，第二卷积层，Relu激活函数和
第三卷积层构成；
[0026]所述的空间和通道注意力块，由空间注意力块和通道注意力块构成。
[0027]进一步地，所述步骤(4)中的损失函数，包括全局损失函数L
global
、局部损失函数L
local
以及结构相似性损失函数L
SSIM
(I
out
,I
gt
)，公式如下：
[0028][0029][0030][0031]其中，HWC是图像在所有通道中的像素总数，为网络的预测无云影像，为无云的标签影像，M为云掩膜。结构相似性系数SSIM是一个0到1之间的数，越大表示预测无云影像和无云的标签影像的差距越小，即图像质量越好，公式如下：
[0032][0033]和为预测影像和标签影像的均值，和为两幅影像的标准差，为两幅影像的协方差，C1和C2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种SAR辅助下遥感光学遥感影像修复方法，其特征在于，包括如下步骤：步骤(1)建立遥感影像库{R1,R2…
R
n
…
R
K
}，并对建立的影像库进行归一化处理，遥感影像库包括成对的有云影像数据集I，对应的SAR影像数据集S以及无云的遥感影像数据集L，其中，R
n
代表影像库中第n个影像，n为影像库中第n个样本编号，K为影像库中影像数目；步骤(2)从影像库中随机挑选80％样本，构建训练影像库，包括有云的遥感影像的样本集与I
a
对应的SAR影像样本集和无云的遥感影像样本集遥感影像库中其他影像为测试影像集，包括有云的遥感影像样本集和对应的SAR影像样本集其中，表示第i个训练的有云影像，表示第对应的SAR影像，表示对应的无云标签影像，和表示第j个测试的有云影像以及对应的SAR影像，M为训练样本总数，N为测试样本总数；步骤(3)建立空间和光谱联合SAR辅助下的深度残差神经网络：(3a)构建特征提取与融合模块，引入多尺度特征块和门控卷积，实现多尺度特征的提取与融合；(3b)构建重建模块，引入空间和通道注意力块，将融合后的特征重建为无云的预测影像；步骤(4)确定残差神经网络的损失函数：L
loss
＝L
global
+λ1L
local
+λ2L
SSIM
其中，L
global
为全局损失函数，网络重建的预测影像与无云标签影像之间的L1范数，L
local
为局部损失函数，云掩膜区域的预测影像与无云标签影像之间的L1范数，L
SSIM
为结构相似性损失函数，λ1和λ2是局部损失和结构相似性损失的超参数权重；步骤(5)利用所述训练影像集训练所述深度残差神经网络的模型，通过梯度下降优化对残差神经网络进行迭代训练，得到训练后的神经网络模型；步骤(6)使用训练好的残差神经网络对测试影像集进行处理，实现光学遥感影像云去除。2.根据权利要求1所述的SAR辅助下光学遥感影像修复方法，其特征在于，步骤(1)具体包括：对建立的遥感影像库进行归一化处理，遥感影像库{R1,R2…
R
n
…
R

【专利技术属性】
技术研发人员：张文娟，王羽西，潘洁，李震，张兵，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：