【技术实现步骤摘要】
本专利技术涉及卫星遥感 ，尤其涉及一种多数据源遥感图像空谱融合方法、装置、设备及介质。
技术介绍
1、目前遥感图像空谱融合技术涵盖了传统方法和深度学习方法两大主流。传统融合方法包括成分替换法、多分辨分析法和变分优化法，主要通过ihs、pca等算法实现pan和ms图像的信息融合。这些方法在复杂地物类型的非线性表征能力方面存在局限性。然而，目前传统方法大多是一种线性模型，很难有效地拟合两者图像之间的融合过程，易出现空间变形和光谱扭曲问题。而一般的有监督深度学习方法缺少理想的融合结果作为参考标签，模拟参考标签的制作过程步骤繁琐且易造成全色图像空间信息的丢失，并且在融合过程中忽略了模拟数据与真实数据之间的尺度差异，往往会存在一定程度的信息失真，融合结果的光谱质量和空间质量也很难取得较好的平衡，同时，训练和测试模型通常仅限于单一特定传感器类型的数据，例如仅使用gf-2数据进行训练和测试。该方式的数据较为单一，训练出的网络模型很难具有普适性。
技术实现思路
1、本专利技术提供一种多数据源遥感图像空谱融合方法、装置、设备及介质，用以解决相关技术中易出现空间变形和光谱扭曲且训练数据来源单一，且过程步骤繁琐且易造成全色图像空间信息的丢失，并且存在一定程度的信息失真，在融合结果的光谱质量和空间质量方面也很难取得较好的平衡的问题。
2、本专利技术提供一种多数据源遥感图像空谱融合方法，包括如下步骤。
3、获取用于图像空谱融合的原始图像；
4、将原始图像输入至多数据源遥感
5、其中，多数据源遥感图像空谱融合通过如下方法进行训练：
6、通过多个传感器组获取不同规格的多组全色图像pan和不同规格的多组多光谱图像ms；
7、将多组pan和多组ms输入至初始多数据源遥感图像空谱融合网络中进行训练，得到多数据源遥感图像空谱融合网络。
8、根据本专利技术提供的一种多数据源遥感图像空谱融合方法，多数据源遥感图像空谱融合网络包括多个依次层级连接的双流融合层，则将多组pan和多组ms输入至初始多数据源遥感图像空谱融合网络中进行训练，得到多数据源遥感图像空谱融合网络，包括：
9、对多组ms进行上采样，得到多组上采样ms；
10、将多组pan、多组ms和多组上采样ms依次输入多个双流融合层依次进行编码、信息交互融合和解码；
11、将多组pan、多组ms和多组上采样ms，以及解码后得到的多组目标pan和多组目标ms输入至下一个双流融合层，直至得到多数据源遥感图像空谱融合网络。
12、根据本专利技术提供的一种多数据源遥感图像空谱融合方法，每个双流融合层中包括第一编码模块、第一解码模块、u型多通道拼接模块、信息交互融合模块和第二解码模块，则将多组pan、多组ms和多组上采样ms依次输入多个双流融合层依次进行编码、信息交互融合和解码，包括：
13、在每个双流融合层中，将多组pan输入第一编码模块进行编码，得到第一特征信息；
14、将多组ms和多组上采样ms输入u型多通道拼接模块进行编码，得到第二特征信息；
15、将第一特征信息和第二特征信息在信息交互融合模块中进行信息交互融合，得到第三特征信息；
16、将多组pan和第一特征信息在第一解码模块中解码，得到目标pan；
17、将第三特征信息在第二解码模块中解码，得到目标ms。
18、根据本专利技术提供的一种多数据源遥感图像空谱融合方法，将第一特征信息和第二特征信息在信息交互融合模块中进行信息交互融合，得到第三特征信息，包括：
19、通过如下公式对第一特征信息和第二特征信息进行信息交互融合，得到第三特征信息：
20、；
21、；
22、；
23、；
24、其中，和分别表示在第个双流融合层中提取的第一特征信息和第二特征信息，s表示sigmoid 函数，表示元素乘法运算，表示第个双流融合层中得到的第三特征信息。
25、根据本专利技术提供的一种多数据源遥感图像空谱融合方法，通过多个传感器组获取不同规格的多组全色图像pan和不同规格的多组多光谱图像ms之后，方法还包括：
26、对多组pan进行梯度引导。
27、根据本专利技术提供的一种多数据源遥感图像空谱融合方法，对多组pan进行梯度引导，包括：
28、利用拉普拉斯算子通过如下公式对多组pan进行梯度引导：
29、；
30、；
31、；
32、其中，表示pan。
33、根据本专利技术提供的一种多数据源遥感图像空谱融合方法，多数据源遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，目标损失函数是基于空间度量函数和光谱度量函数构建的，空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，第一残差概率分布是基于多组pan和目标融合图像确定的，第二残差概率分布是基于多组ms和多光谱图像ms对应的灰度图像确定的；
34、光谱度量函数用于评估多组ms与目标融合图像之间的光谱角度差异。
35、本专利技术还提供一种多数据源遥感图像空谱融合装置，包括如下模块：
36、获取模块，用于获取用于图像空谱融合的原始图像；
37、融合模块，用于将原始图像输入至多数据源遥感图像空谱融合网络，得到融合图像；
38、训练模块，用于通过多个传感器组获取不同规格的多组全色图像pan和不同规格的多组多光谱图像ms；
39、训练模块还用于将多组pan和多组ms输入至多数据源遥感图像空谱融合网络中，得到多数据源遥感图像空谱融合网络输出。
40、根据本专利技术提供的一种多数据源遥感图像空谱融合装置，多数据源遥感图像空谱融合网络包括多个依次层级连接的双流融合层，则训练模块具体用于：
41、对多组ms进行上采样，得到多组上采样ms；
42、将多组pan、多组ms和多组上采样ms依次输入多个双流融合层依次进行编码、信息交互融合和解码；
43、将多组pan、多组ms和多组上采样ms，以及解码后得到的多组目标pan和多组目标ms输入至下一个双流融合层，直至得到多数据源遥感图像空谱融合网络。
44、根据本专利技术提供的一种多数据源遥感图像空谱融合装置，每个双流融合层中包括第一编码模块、第一解码模块、u型多通道拼接模块、信息交互融合模块和第二解码模块，则训练模块具体用于：
45、在每个双流融合层中，将多组pan输入第一编码模块进行编码，得到第一特征信息；
46、将多组ms和多组上采样ms输入u型多通道拼接模块进行编码，得到第二特征信息；
47、将第一特征信息和第二特征信息在信息交互融合模块中进行信息交互融合，得到第三特征信息；
48、将多组pan和第一特征信息在第一解码模本文档来自技高网...
【技术保护点】
1.一种多数据源遥感图像空谱融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多数据源遥感图像空谱融合方法，其特征在于，所述多数据源遥感图像空谱融合网络包括多个依次层级连接的双流融合层，则所述将所述多组PAN和所述多组MS输入至初始多数据源遥感图像空谱融合网络中进行训练，得到所述多数据源遥感图像空谱融合网络，包括：
3.根据权利要求2所述的多数据源遥感图像空谱融合方法，其特征在于，每个所述双流融合层中包括第一编码模块、第一解码模块、U型多通道拼接模块、信息交互融合模块和第二解码模块，则所述将所述多组PAN、所述多组MS和所述多组上采样MS依次输入多个所述双流融合层依次进行编码、信息交互融合和解码，包括：
4.根据权利要求3所述的多数据源遥感图像空谱融合方法，其特征在于，所述将所述第一特征信息和所述第二特征信息在所述信息交互融合模块中进行信息交互融合，得到第三特征信息，包括：
5.根据权利要求1-4任一项所述的多数据源遥感图像空谱融合方法，其特征在于，所述通过多个传感器组获取不同规格的多组全色图像PAN和不同规格的多组多光
6.根据权利要求5所述的多数据源遥感图像空谱融合方法，其特征在于，所述对所述多组PAN进行梯度引导，包括：
7.根据权利要求6所述的多数据源遥感图像空谱融合方法，其特征在于，所述多数据源遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，所述目标损失函数是基于空间度量函数和光谱度量函数构建的，所述空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，所述第一残差概率分布是基于所述多组PAN和所述目标融合图像确定的，所述第二残差概率分布是基于所述多组MS和所述多光谱图像MS对应的灰度图像确定的；
8.一种多数据源遥感图像空谱融合装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述多数据源遥感图像空谱融合方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多数据源遥感图像空谱融合方法。
...【技术特征摘要】
1.一种多数据源遥感图像空谱融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多数据源遥感图像空谱融合方法，其特征在于，所述多数据源遥感图像空谱融合网络包括多个依次层级连接的双流融合层，则所述将所述多组pan和所述多组ms输入至初始多数据源遥感图像空谱融合网络中进行训练，得到所述多数据源遥感图像空谱融合网络，包括：
3.根据权利要求2所述的多数据源遥感图像空谱融合方法，其特征在于，每个所述双流融合层中包括第一编码模块、第一解码模块、u型多通道拼接模块、信息交互融合模块和第二解码模块，则所述将所述多组pan、所述多组ms和所述多组上采样ms依次输入多个所述双流融合层依次进行编码、信息交互融合和解码，包括：
4.根据权利要求3所述的多数据源遥感图像空谱融合方法，其特征在于，所述将所述第一特征信息和所述第二特征信息在所述信息交互融合模块中进行信息交互融合，得到第三特征信息，包括：
5.根据权利要求1-4任一项所述的多数据源遥感图像空谱融合方法，其特征在于，所述通过多个传感器组获取不同规格的多组全色图像pan和不同规格的多组多光谱图像ms之后，...
【专利技术属性】
技术研发人员：郭擎，贾贺，周庆泽，黄鹏，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。