【技术实现步骤摘要】
本专利技术涉及一种面向光学sar融合遥感图像去云装置及方法，属于遥感图像处理。
技术介绍
1、由于光学遥感的局限性，它们的光波不能穿透云层，所以光学图像难免遭受云污染，这将导致信息的丢失以及光学遥感图像后续进一步解译和应用，尤其是连续性监测的任务。因此，光学遥感图像去云技术变得越来越重要。
2、在传统的光学遥感图像去云方法中，采用的辅助信息源大多仍是光学数据源。基于空间信息的方法希望利用同一幅光学遥感图像无云区域的地物信息来弥补小区域有云区域的丢失信息，这一类方法的明显缺陷就是当一幅图像的含云量较高时，可参考的信息量快速下降，所以该类方法应用场景只适用于小量碎云的情况。基于多光谱的方法希望通过利用其它光谱的有效信息来弥补有云区域缺失的信息，这种方法的优点是有许多多光谱光学图像数据可供选择，而且这些数据的各个波段范围相对相似，有利于数据之间的协同融合。但是光学遥感都会在一定程度上受到大气云层的影响，不能从根本上解决云的存在所导致的信息缺失的问题。基于多时相的方法希望利用卫星的重复访问特性，通过不同时间捕获的光学遥感数据融合实现去云，但是此类方法的局限性也非常明显，即数据获取效率低下，而且无法应对连续存在云层的天气。
3、合成孔径雷达(sar)能够提供全天时、全天候的地表信息，因此，将sar图像转译或与光学图像融合得到无云的光学类图像是解决云污染问题的理想方法。目前此类方法多基于深度学习算法，根据深度学习算法基础算子的不同可分为两类，即基于卷积神经网络(cnn)的方法和基于transformer的方法。这两类
技术实现思路
1、有鉴于此，本专利技术提供一种面向光学sar融合遥感图像去云装置及方法，能够充分利用光学图像和sar图像中的有效信息，来保证恢复的去云图像同时拥有清晰的地物轮廓和全局整体颜色的一致性。
2、实现本专利技术的技术方案如下：
3、第一方面，本申请实施例一种面向光学sar融合遥感图像去云装置，包括异构编码器、异构特征融合模块以及去云图像输出模块；其中所述异构编码器包含cnn分支和decloudformer分支；
4、所述cnn分支,用于提取sar图像的特征；
5、所述decloudformer分支由多个级联dcloudformer block组成，用于提取并融合光学数据有云和无云区域长距离的空间关联特征和局部空间关联特征，作为有云污染的光学数据图像特征；
6、所述异构特征融合模块，用于融合所述sar图像特征和有云污染的光学数据图像特征，生成有云区域潜在无云数据；
7、所述去云图像输出模块，用于将所述有云区域潜在无云数据与获取所述局部空间关联特征过程中得到浅层特征进行融合，恢复出有云区域无云数据的特征图。
8、进一步地，本专利技术所述dcloudformer block包括门控映射自注意子模块、多尺度空间注意力子模块及特征融合子模块；
9、所述门控映射自注意子模块，用于获取光学数据有云和无云区域长距离的空间关联特征；
10、所述多尺度空间注意力子模块，用于获取光学数据有云和无云区域局部空间关联特征；
11、所述特征融合子模块，用于对所述长距离空间关联特征和局部空间关联特征进行融合。
12、进一步地，本专利技术所述门控映射自注意子模块获取长距离的空间关联特征为：
13、
14、其中，f为输入到该模块的归一化后的光学数据源特征，为f经过门控卷积操作得到的值向量，b为偏置矩阵，dk为qk向量的维度，qkt为f经过线性映射得到的查询向量和转置键向量，conv为向量卷积运算，softmax为激活函数。
15、进一步地，本专利技术所述多尺度空间注意力子模块获取局部的空间关联特征为：
16、fp(f)＝concat(maxpool(f),avgpool(f))
17、fs(fp)＝f1×1(concat(f3×3(fp)，f5×5(fp)，f7×7(fp)))
18、
19、其中，f为输入到该模块的归一化后的光学数据源特征，maxpool和avgpool分别为最大池化操作和平均池化操作，concat为通道拼接操作，f1×1、f3×3、f5×5、f7×7分别为全连操作和卷积核大小为1、3、5、7的卷积操作，sigmoid(fs(fp))为空间注意力图，mssa(xn)为局部的空间关联特征。
20、进一步地，本专利技术所述特征融合子模块进行特征融合为：
21、xm＝sagm(xn)+αmssa(xn)+x
22、y＝mlp(rn(xm))+xm
23、其中，x为输入的光学数据源或前一个decloudformer block的输出，xn为经过归一化处理的x，rn(xm)为经过归一化处理的xm，sagm(xn)和mssa(xn)分别表示经过了门控映射自注意模块和多尺度空间注意力模块的中间输出，mlp为transformer固有的由多个全连接层组成的多层感知机，y为block的输出，最后一个block的输出即为该分支从光学数据源提取的特征
24、进一步地，本专利技术所述sar图像处理分支由三个级联的res block组成，
25、
26、其中，xsar表示输入的sar图像数据源，fres为resnet网络的一个残差块操作，为该分支输出的sar数据源的特征图。
27、进一步地，本专利技术所述decloudformer分支由3个级联dcloudformer block组成；
28、将所述有云区域潜在无云数据与获取所述局部空间关联特征过程中得到浅层特征进行融合为：
29、将所述有云区域潜在无云数据与所述第二个dcloudformer 本文档来自技高网...
【技术保护点】
1.一种面向光学SAR融合遥感图像去云装置，其特征在于，包括异构编码器、异构特征融合模块以及去云图像输出模块；其中所述异构编码器包含CNN分支和Decloudformer分支；
2.根据权利要求1所述面向光学SAR融合遥感图像去云装置，其特征在于，所述Dcloudformer Block包括门控映射自注意子模块、多尺度空间注意力子模块及特征融合子模块；
3.根据权利要求2所述面向光学SAR融合遥感图像去云装置，其特征在于，所述门控映射自注意子模块获取长距离的空间关联特征为：
4.根据权利要求2所述面向光学SAR融合遥感图像去云装置，其特征在于，所述多尺度空间注意力子模块获取局部的空间关联特征为：
5.根据权利要求2所述面向光学SAR融合遥感图像去云装置，其特征在于，所述特征融合子模块进行特征融合为：
6.根据权利要求2所述面向光学SAR融合遥感图像去云装置，其特征在于，所述SAR图像处理分支由三个级联的Res Block组成，
7.根据权利要求2或4所述面向光学SAR融合遥感图像去云装置，其特征在于，所述De
8.根据权利要求7所述面向光学SAR融合遥感图像去云装置，其特征在于，所述一级融合和二级融合为：
9.根据权利要求1所述面向光学SAR融合遥感图像去云装置，其特征在于，所述异构特征融合模块成有云区域潜在无云数据为：
10.一种面向光学SAR融合遥感图像去云方法，其特征在于，该方法的步骤包括：
...【技术特征摘要】
1.一种面向光学sar融合遥感图像去云装置，其特征在于，包括异构编码器、异构特征融合模块以及去云图像输出模块；其中所述异构编码器包含cnn分支和decloudformer分支；
2.根据权利要求1所述面向光学sar融合遥感图像去云装置，其特征在于，所述dcloudformer block包括门控映射自注意子模块、多尺度空间注意力子模块及特征融合子模块；
3.根据权利要求2所述面向光学sar融合遥感图像去云装置，其特征在于，所述门控映射自注意子模块获取长距离的空间关联特征为：
4.根据权利要求2所述面向光学sar融合遥感图像去云装置，其特征在于，所述多尺度空间注意力子模块获取局部的空间关联特征为：
5.根据权利要求2所述面向光学sar融合遥感图像去...
【专利技术属性】
技术研发人员：刘文超，谷畔哲，王爵，魏天宇，陈禾，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。