【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及基于局部和全局融合的遥感光学图像除云方法。
技术介绍
1、卫星图像的除云的目的是重建图像中的数据缺失问题，本质上是一种图像恢复任务，从浑浊图像当中恢复出高质量的干净图。
2、现有的区域方法大致可分为两大类，第一类是直接使用光学遥感数据；例如，hengpan等提出基于空间的方法，以局部到全局的空间注意对云区域进行识别和聚焦，增强缺失区域的信息恢复能力；kenji enomoto等人基于多光谱的方法，将近红外(nir)图像添加到一个新的通道中作为第四通道输入，利用较长波长的图像来减少云的影响以提供更多云下地面场景的信息；patrick ebel等人基于时间的方法，提出一种将不确定度量化与云雾去除相结合的新方法，提高了图像重建的性能；这类方法的基本原理是使用参考相位的无云图像或有效波段来恢复目标相位的缺失信息。
3、另一类则是基于sar异构辅助数据融合的新方法，利用sar较强的穿透能力，可以透过云层捕捉地物结构，这对缺失的光谱信息的重建至关重要，能弥补第一类方法的不足；例如，claas grohnfeldt等人通过拼接光学图像和sar图像重建云污染区域，首次验证了融合去云方法的有效性；andrea meraner等人利用深度残差分支将输入的云图与特征图连接起来，同时提出了一种新的云自适应损失函数，最大程度地保留了原始信息，提高了模型框架的鲁棒性；fang xu等人增加了stl层，转移sar图像的注意图来细化光学图像的注意图，实现全局信息交互。
4、但是以上现有技术还存
5、1、基于空间和光谱的方法仅适用于薄云或者少量厚云的去除，基于时间的方法无法在连续的多云天气下合成真实的地面；仅使用单源光学遥感图像数据，当补充数据的时空信息质量较差时，去云效果受到限制，无法始终如一地获得高质量和及时的结果；
6、2、基于sar与光学图像融合的方法具有显著的优势，但简单的拼接不仅限制了sar数据的辅助作用，而且由于成像机制的差异，会对融合过程产生不利影响；
7、3、基于transformer语义信息的全局捕获增加了计算成本，在建立远程依赖关系时忽略了云信息对重建质量的影响，缺乏对具体云移除任务的深入考虑，不能有效的利用两者的互补信息协同辅助去云，从而导致去云效果不理想。
技术实现思路
1、针对现有方法的不足，本专利技术解决现有方法在遥感光学图像除云效果不理想的问题。
2、本专利技术所采用的技术方案是：基于局部和全局融合的遥感光学图像除云方法包括以下步骤：
3、步骤一、获取遥感影像数据集并进行预处理；
4、数据集每组样本包括sar图像、光学多云图像、光学无云图像。
5、步骤二、提取光学多云图像的云掩码；
6、作为本专利技术的一种优选实施方式，云掩码是利用s2cloudless对光学多云图像的某波段进行云检测，并设置阈值、卷积大小和膨胀率，根据阈值将多云区域设置为1无云区域设置为0，获得二进制云掩码。
7、步骤三、将sar图像、光学多云图像和云掩码输入生成器，通过sfe模块分别提取sar图像和光学多云图像的浅层特征图，对云掩码进行平均池化，获得次采样云掩码；
8、sfe模块包括一个卷积层、一个谱归一化层和一个lekyrelu激活层。
9、步骤四、利用nl-gab模块建立光学多云图像的多云区域与无云区域之间特征信息的远程依赖关系；并使用tfrdb模块补偿光学多云图像缺失的光谱信息并对光学多云图像与sar图像的深浅特征进行多级融合；
10、作为本专利技术的一种优选实施方式，利用成对的若干nl-gab模块和若干tfrdb模块级联构成特征提取和融合网络。
11、作为本专利技术的一种优选实施方式，nl-gab模块将sar图像的浅层特征通过两个1x1卷积和矩阵相乘运算获得注意图，次采样云掩码imask与注意图通过点积运算，并使用softmax归一化；光学多云图像的浅层特征通过一个1x1卷积层并与归一化后的注意图进行矩阵运算；最后通过局部残差连接与光学多云图像的浅层特征求和，获得全局远程信息交互后的特征
12、作为本专利技术的一种优选实施方式，tfrdb模块包括：
13、由两个密集残差结构分支组成，主分支以全局远程信息交互后的特征作为输入，辅助分支以浅层组合特征作为输入；
14、辅助分支由五层卷积激活层组成，后一层将该层之前的所有特征作为输入，辅助分支的每一层的输出通过跨分支跳跃连接输入到主分支对应的特征层；
15、主分支由五层卷积激活层和融合层组成，主分支的后一层将该层之前的所有特征以及辅助分支的输出特征作为输入；
16、主分支与辅助分支的最后一层将输入特征经过一个残差缩放参数的残差连接与输出特征相加，获得局部融合后的特征。
17、作为本专利技术的一种优选实施方式，浅层组合特征的计算公式为：
18、
19、其中，⊙为hadamard乘积，为通道拼接操作，ω()为卷积操作，imask为次采样云掩码，为sar图像的浅层特征、为光学多云图像的浅层特征。
20、作为本专利技术的一种优选实施方式，卷积激活层包括一个卷积层和一个lekyrelu激活层。
21、作为本专利技术的一种优选实施方式，融合层包括一个卷积层、一个谱归一化层和一个lekyrelu激活层。
22、步骤五、利用图像重构模块和多重特征聚合操作获得与光学多云图像同大小尺寸的重构无云图像；
23、作为本专利技术的一种优选实施方式，图像重构模块包括一个转置卷积层、谱归一化层和一个lekyrelu激活层。
24、作为本专利技术的一种优选实施方式，多重特征聚合操作包括：一个rdb模块和两组卷积操作；rdb模块由五层卷积层激活层组成，卷积层激活层包括一个卷积层和一个lekyrelu激活层。
25、步骤六、鉴别器根据配对的光学无云图像判断重构无云图像是真图像还是假图像，利用鉴别器输出的预测值，获得对抗损失；结合云自适应正则化损失、感知损失、结构相似度损失作为总损失训练目标训练模型直至收敛；
26、步骤七、将测试数据批量输入完成训练的生成器中，生成重构无云图像，完成去云任务。
27、本专利技术的有益效果：
28、1、采用双流残差密集学习和非局部门控注意对sar和光学数据互补信息融合进行增强，该方法可以自适应的从光学图像和sar图像当中获取互补信息进行数据融合，在恢复多云区域的同时还减少了地面真值信息的丢失，适用于所有云覆盖范围和场景特征。
29、1、在非局部门控注意进行全局学习过程中，利用sar具有全局语义信息的优势建立远程依赖关系，通过云掩码抑制无效的远程依赖关系，避免在将sar上获得的远程依赖关系转移至多云图像后引入浑浊信息影响图像的重建，有利于多云区域学习无云区域的颜色组成和纹理细节，使得重建的无云图像具有全局本文档来自技高网...
【技术保护点】
1.基于局部和全局融合的遥感光学图像除云方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，步骤四中利用若干NL-GAB模块和若干TFRDB模块构成级联且成对的特征提取和融合网络。
3.根据权利要求2所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，NL-GAB模块将SAR图像的浅层特征通过两个1x1卷积和矩阵相乘运算获得注意图；次采样云掩码Imask与注意图通过点积运算，并使用softmax归一化；光学多云图像的浅层特征通过一个1x1卷积层并与归一化后的注意图进行矩阵运算；最后通过局部残差连接与浅层特征求和，获得全局远程信息交互后的特征
4.根据权利要求3所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，TFRDB模块包括：
5.根据权利要求4所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，浅层组合特征的计算公式为：
6.根据权利要求4所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，卷积激活层包括一个卷积层和一个Le
7.根据权利要求4所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，融合层包括一个卷积层、一个谱归一化层和一个LekyReLU激活层。
8.根据权利要求1所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，图像重构模块包括一个转置卷积层、谱归一化层和一个LekyReLU激活层。
9.根据权利要求1所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，多重特征聚合操作包括：一个RDB模块和两组卷积操作；RDB模块由五层卷积层激活层组成，卷积层激活层包括一个卷积层和一个LekyReLU激活层。
10.根据权利要求1所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，云掩码是利用S2cloudless对光学多云图像的某波段进行云检测，并设置阈值、卷积大小和膨胀率，根据阈值将多云区域设置为1无云区域设置为0，获得二进制云掩码。
...【技术特征摘要】
1.基于局部和全局融合的遥感光学图像除云方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，步骤四中利用若干nl-gab模块和若干tfrdb模块构成级联且成对的特征提取和融合网络。
3.根据权利要求2所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，nl-gab模块将sar图像的浅层特征通过两个1x1卷积和矩阵相乘运算获得注意图；次采样云掩码imask与注意图通过点积运算，并使用softmax归一化；光学多云图像的浅层特征通过一个1x1卷积层并与归一化后的注意图进行矩阵运算；最后通过局部残差连接与浅层特征求和，获得全局远程信息交互后的特征
4.根据权利要求3所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，tfrdb模块包括：
5.根据权利要求4所述的基于局部和全局融合的遥感光学图像除云方法，其特征在于，浅层组合特征的计算公式为：
6.根据权利要求4所述的基于局...
【专利技术属性】
技术研发人员：陈从平，李明春，徐志伟，陆鹏，陈奔，
申请(专利权)人：常州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。