一种高光谱图像的任意分辨率全色锐化方法及系统技术方案

本发明专利技术公开了一种高光谱图像的任意分辨率全色锐化方法及系统，包括读取原始高光谱图像，并合成相对应的全色图像，将原始高光谱图像及对应的全色图像进行预处理，得到多尺度图像对，获得训练数据集、验证数据集及测试样本；构建基于扩展亚像素卷积的任意分辨率全色锐化网络；初始化网络参数，随机选取训练数据集中任一尺度数据进行训练，获取网络损失稳定时的最小值，其对应的网络为训练好的扩展亚像素卷积的任意分辨率全色锐化网络，输入测试样本，获取锐化后的目标分辨率高光谱图像。本发明专利技术过引入尺度作为先验信息来调整不同空间位置信息的重要性，从而进一步提升了高光谱图像任意分辨率全色锐化的性能。任意分辨率全色锐化的性能。任意分辨率全色锐化的性能。

An arbitrary resolution panchromatic sharpening method and system for hyperspectral images

【技术实现步骤摘要】
一种高光谱图像的任意分辨率全色锐化方法及系统


[0001]本专利技术涉及遥感图像领域，具体涉及一种高光谱图像的任意分辨率全色锐化方法及系统。

技术介绍

[0002]高光谱图像因其精细的光谱分辨率(可达10nm以内)能够反映出一般被观测地物的固有光谱特征，其被广泛应用于土地覆盖分类、农业管理、目标检测等。但实际高光谱成像过程受成像传感器物理限制，其空间分辨率往往较差，限制了其后续的应用范围。为获取具有高空间分辨率的高光谱图像，一种可行的方案是进行高光谱图像全色锐化，将具有高空间分辨率的单波段全色图像与高光谱图像进行融合，运用全色图像的空间细节来增强高光谱图像的空间质量。传统的全色锐化方法可以分为成分替换、多尺度分析、贝叶斯估计、矩阵分解等。随着深度学习的广泛应用，基于深度卷积神经网络的全色锐化方法逐渐成为研究热点，通过端到端的学习来拟合输入输出高光谱数据的映射关系，并将此映射关系在预测阶段对给定的观测图像进行估计以得到最终的锐化结果。
[0003]高光谱图像全色锐化也常常被用作遥感专题图增强、变化检测等的预处理步骤。然而在这些应用中，其期望的目标空间分辨率可能并不恰好是全色图像的空间分辨率。现有的大多数全色锐化方法仅关注将高光谱图像的分辨率提升到其对应的全色图像空间分辨率上，难以满足上述应用的需求。对此，任意分辨率高光谱全色锐化提供了一种将高光谱图像锐化到任何所需空间分辨率的新方案，能够灵活地满足实际应用中任何可能的用户定制化的分辨率要求。高光谱图像任意分辨率全色锐化，旨在以用户自定义的空间分辨率为目标，通过低空间分辨率高光谱图像与高空间分辨率全色图像融合锐化得到任意目标空间分辨率下的高光谱图像。高光谱图像任意分辨率全色锐化作为一种新型的全色锐化任务，除了要克服一般高光谱图像锐化中存在的一些突出问题，如高光谱图像和全色图像的光谱覆盖范围存在显著差异及要同时恢复低空间分辨高光谱图像大量连续波段上的图像细节等。还要面临的一个主要挑战是单一模型如何在有限尺度的训练下将全色锐化过程泛化到任意尺度上。

技术实现思路

[0004]为了克服现有技术存在的缺点与不足，本专利技术提供一种高光谱图像的任意分辨率全色锐化方法及系统。
[0005]本方法是基于扩展亚像素卷积的高光谱图像任意分辨率全色锐化方法，首先通过尺度注意力残差模块引入尺度信息作为先验提取特征，接着采用扩展亚像素卷积模块进行任意尺度上采样，得到目标空间分辨率下的高光谱图像。在有限的尺度下进行训练后，通过扩展亚像素卷积空间模式一致性，可以将其泛化到任意分辨率的高光谱图像全色锐化，实现了通过有限尺度的训练将单一模型泛化到任意尺度。
[0006]本专利技术采用如下技术方案：
[0007]一种高光谱图像的任意分辨率全色锐化方法，包括：
[0008]读取原始高光谱图像H∈R
M
×
N
×
C
，并合成相对应的全色图像P∈R
M
×
N
,其中M，N表示高光谱图像的高和宽，C表示波段数，R表示全体实数集合；
[0009]将原始高光谱图像及对应的全色图像进行预处理，根据所选训练尺度集合S＝{s1,s2,
…
,s
k
}生成多尺度图像对，获得训练数据集、验证数据集及测试样本；
[0010]构建基于扩展亚像素卷积的任意分辨率全色锐化网络；
[0011]初始化网络参数，随机选取训练数据集中任一尺度数据进行训练，获取网络损失稳定时的最小值，其对应的网络为训练好的扩展亚像素卷积的任意分辨率全色锐化网络；
[0012]输入测试样本，获取锐化后的目标分辨率高光谱图像。
[0013]进一步，读取原始高光谱图像H∈R
M
×
N
×
C
，并合成相对应的全色图像P∈R
M
×
N
具体为：所获取的高光谱图像对应的全色图像是通过对高光谱图像所包含的所有可见光波段进行平均得到的。
[0014]进一步，所述预处理步骤包括首先根据所选尺度集合S＝{s1,s2,
…
,s
k
}及全色图像与低分辨率高光谱图像的分辨率比r，计算目标分辨率高光谱图像与全色图像的中间尺度集合s
′
＝{s
′1,s
′2,
…
s
′
k
}，其中s
′
i
＝s
i
/r,i＝1,2,..,k。采用具有特定频率响应的高斯滤波器对原始高光谱图像H和全色图像P进行模糊退化，进行s
′
i
倍的降采样，得到标准锐化时的参考高光谱图像以及全色图像其中m
′
,n
′
满足表达式：M＝m
′×
s
′
i
，N＝n
′×
s
′
i
，接着对H
r
再进行r倍的降采样，得到低分辩率高光谱图像其中m,n满足表达式：M＝m
×
r
×
s
′
i
，N＝n
×
r
×
s
′
i
。最后根据多项式插值法将低分辨高光谱图像进行尺度r的预插值，得到原始高光谱图像作为目标参考图像H
s
从而得到多尺度图像对s∈S。
[0015]进一步，所述基于扩展亚像素卷积的任意分辨率全色锐化网络，包括N个级联的尺度注意力残差模块、任意尺度注意力上采样模块及光重构模块。
[0016]进一步，所述尺度注意力残差模块，具体为：
[0017]随机选取尺度s
i
∈S，输入对应的采用单层3
×
3卷积获取初始特征图F0，表示为：
[0018][0019]其中f
3*3
(
·
)表示3
×
3卷积。
[0020]尺度空间注意力残差块SSARB
‑
N，对单个SSARB，输入特征图F
N
‑1，首先两层3
×
3卷积，得到中间特征图F
′
，具体表示为：
[0021]F
′
＝f
3*3
(ReLU(f
3*3
(F
N
‑1)))
[0022]接着将其输入空间注意力模块，首先对特征图F
′
沿通道维度分别进行最大池化与平均池化，与用中间尺度s
′
i
生成的2维矩阵拼接，再送入两层7
×
7卷积，最后使用Sigmoid函数获取尺度空间注意力图M，
[0023]M＝σ(f
7*7
(ReLU(f
7*7
([MaxPool(F
′
)；AvgP本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高光谱图像的任意分辨率全色锐化方法，其特征在于，包括：读取原始高光谱图像H∈R
M
×
N
×
C
，并合成相对应的全色图像P∈R
M
×
N
，其中M，N表示高光谱图像的高和宽，C表示波段数，R表示全体实数集合；将原始高光谱图像及对应的全色图像进行预处理，根据所选训练尺度集合S＝{s1，s2，
…
，s
k
}生成多尺度图像对，获得训练数据集、验证数据集及测试样本；构建基于扩展亚像素卷积的任意分辨率全色锐化网络；初始化网络参数，随机选取训练数据集中任一尺度数据进行训练，获取网络损失稳定时的最小值，其对应的网络为训练好的扩展亚像素卷积的任意分辨率全色锐化网络；输入测试样本，获取锐化后的目标分辨率高光谱图像。2.根据权利要求1所述的任意分辨率全色锐化方法，其特征在于，所述基于扩展亚像素卷积的任意分辨率全色锐化网络，包括N个级联的尺度注意力残差模块、任意尺度注意力上采样模块及光重构模块。3.根据权利要求2所述的任意分辨率全色锐化方法，其特征在于，所述尺度注意力残差模块，具体为：输入特征图F
N
‑1，采用两层3
×
3卷积，得到中间特征图F
′
；将中间特征图F
′
输入空间注意力模块，沿通道维度分别进行最大池化与平均池化，然后与中间尺度s
′
i
生成的2维矩阵拼接；将拼接结果输入两层7
×
7卷积，最后使用Sigmoid函数获取尺度空间注意力图M；通过堆叠N个尺度注意力残差模块，得到高光谱与全色融合特征F
N
。4.根据权利要求3所述的任意分辨率全色锐化方法，其特征在于，所述任意尺度注意力上采样模块，具体为：输入融合特征F
N
与中间尺度s
′
i
，通过一层3
×
3扩展亚像素卷积与一层3
×
3卷积，再与经过双三次插值的F
N
相加获得F
′
N
，再通过与空间注意力模块，获得具有目标分辨率的特征图F
s
。5.根据权利要求3所述的任意分辨率全色锐化方法，其特征在于，所述光谱重构模块，具体是采用两层1
×
1卷积获取预测目标分辨率高光谱图像。6.根据权利要求1所述的任意分辨率全色锐化方法，其特征在于，所述全色图像是通过对对应的高光谱图像所包含的所有可见光波段进行平均得到。7.根据权利要求1所述的任意分辨率全色锐化方法，其特征在于，所述预处理包括：首先根据所选尺度集合S＝{s1，s2，
…
，s
k
}及全色图像与低分辨率高光谱图像的...

【专利技术属性】
技术研发人员：贺霖，谢锦桦，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：