一种基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
一种基于U型卷积神经网络的高光谱全色锐化方法及系统


[0001]本专利技术涉及遥感图像处理
，尤其涉及一种基于
U
型卷积神经网络的高光谱全色锐化方法及系统
。

技术介绍

[0002]高光谱图像
(HSI)
具有非常高的光谱分辨率，可以很好地反映不同材料的特性，在地物精细分类
、
医学诊断
、
异常检测
、
文物鉴定和保护等许多领域有着重要的应用价值，然而由于高光谱传感器的硬件限制，
HSI
往往具有较低的空间分辨率，这限制了它在高空间分辨率需求场景下的应用
。
因此，以提高空间分辨率为目的的高光谱图像超分辨率技术已经成为近年来的研究热点
。
目前已经有一些研究试图将
HSI
与
PAN
进行融合来提高
HSI
的空间分辨率，这类方法称为高光谱全色锐化，尽管已经取得了一些成果，但还存在着一些不足，如：不能充分利用多尺度的空间和光谱信息，存在一定程度的空间信息损失与光谱失真，网络模型的运算复杂度太高以及模型的推理运行时间太长等问题
。
[0003]现有的全色锐化方法总体上可以划分为传统全色锐化方法和基于深度学习的方法
。
传统的全色锐化方法又分为成分替换法
、
多尺度分析法
、
贝叶斯估计法和矩阵分解法
。
成分替换法能较好的保留空间信息，但光谱信息会产生一定程度的失真
。
多尺度分析法会丢失一些空间信息并引起振铃现象
。
贝叶斯估计法和矩阵分解法都属于基于模型优化求解的方法，这类方法相比于成分替换法和多尺度分析法能够更好的保留图像的空间与光谱信息，但是由于计算量非常大，该方法也需要消耗更多的计算资源
。
[0004]近年来，一些研究也开始逐步将各种深度学习方法引入到高光谱全色锐化领域
。
华南理工大学申请的专利“基于光谱维控制卷积神经网络的高光谱图像全色锐化方法”(
申请号：
201811377992.4)
，首先通过两层卷积层从插值上采样得到的
LR
‑
HSI
中提取光谱特征，并将其与
PAN
接合，然后通过多层卷积层进行融合重建
。
该方法成功地提取了每个输入图像的不同特征，但在特征融合过程中没有充分考虑
LR
‑
HSI
和
PAN
之间的相关性
。
西安电子科技大学的
Yuxuan Zheng
等人在发表的论文“Hyperspectral Pansharpening Using Deep Prior and Dual Attention Residual Network”(IEEE Transactions on Geoscience and Remote Sensing,2020,58(11):8059
‑
8076.)
中提出了一种基于深度高光谱先验
(DHP)
和空间
‑
光谱双注意残差网络
(DARN)
的高光谱全色锐化方法，这种方法在
DHP
过程中仅采用光谱约束，没有考虑空间约束，在融合网络中仅使用单一尺度的特征图进行融合，没有考虑到多尺度的特征信息
。
美国约翰霍普金斯大学的
Bandara
等人在发表的论文“Hyperspectral Pansharpening Based on Improved Deep Image Prior and Residual Reconstruction”(IEEE Transactions on Geoscience and Remote Sensing,2022,60:1
‑
16.)
中为深度图像先验
(DIP)
上采样过程引入了一种新的空间约束，并提出了一种用于残差重建的网络
HyperKite。
但是
DIP
网络导致了极长的模型推理运行时间，
HyperKite
网络先逐层上采样再逐层下采样的网络架构设计也造成了极大的运算负担
。
[0005]为了克服这些缺陷，本章提出了一种基于
U
型卷积神经网络的高光谱全色锐化方
法及系统，将空间分辨率较低的高光谱图像
(HSI)
与空间分辨率较高的全色图像
(PAN)
进行融合，用于提高空间分辨率较低的高光谱图像的空间分辨率
。

技术实现思路

[0006]本申请的目的是提供一种基于
U
型卷积神经网络的高光谱全色锐化方法及系统，旨在解决上述的问题
。
[0007]为实现上述目的，本申请提供如下技术方案：
[0008]本申请提供一种基于
U
型卷积神经网络的高光谱全色锐化方法，包括：
[0009]获取低空间分辨率的高光谱图像；
[0010]将所述高光谱图像作为输入，生成训练集和测试集；
[0011]设计高光谱全色锐化神经网络模型；
[0012]对所述高光谱全色锐化神经网络模型进行训练；
[0013]输入所述测试集的测试图像到训练后的高光谱全色锐化神经网络模型中，得到高空间分辨率的高光谱图像
。
[0014]进一步的，在将所述高光谱图像作为输入，生成训练集和测试集的步骤中，具体包括下述步骤：
[0015]选取所述高光谱图像的左上角
A
×
B
像素区域，不重叠地裁切成
n
个
H
×
W
像素区域的图像子块，构成数据集的参考
HR
‑
HSI
图像；
[0016]采用核大小为8×8，标准差为
σ
的高斯滤波器对
HR
‑
HSI
图像进行模糊处理，进行4倍下采样得到空间分辨率为
h
×
w
的
LR
‑
HSI
图像，通过对
HR
‑
HSI
图像的全色波段在光谱维度求平均值得到
PAN
图像；
[0017]从中随机选取
75
％的图像对作为训练集，其余的
25
％作为测试集；
[0018]高斯滤波器的标准差
σ
通过以下公式计算：
[0019][0020]其中
β
为下采样尺度因子，即参考
HR
‑
HSI
图像与生成的
LR
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
U
型卷积神经网络的高光谱全色锐化方法，其特征在于，包括：获取低空间分辨率的高光谱图像；将所述高光谱图像作为输入，生成训练集和测试集；设计高光谱全色锐化神经网络模型；对所述高光谱全色锐化神经网络模型进行训练；输入所述测试集的测试图像到训练后的高光谱全色锐化神经网络模型中，得到高空间分辨率的高光谱图像
。2.
根据权利要求1所述的一种基于
U
型卷积神经网络的高光谱全色锐化方法，其特征在于，在将所述高光谱图像作为输入，生成训练集和测试集的步骤中，具体包括下述步骤：选取所述高光谱图像的左上角
A
×
B
像素区域，不重叠地裁切成
n
个
H
×
W
像素区域的图像子块，构成数据集的参考
HR
‑
HSI
图像；采用核大小为8×8，标准差为
σ
的高斯滤波器对
HR
‑
HSI
图像进行模糊处理，进行4倍下采样得到空间分辨率为
h
×
w
的
LR
‑
HSI
图像，通过对
HR
‑
HSI
图像的全色波段在光谱维度求平均值得到
PAN
图像；从中随机选取
75
％的图像对作为训练集，其余的
25
％作为测试集；高斯滤波器的标准差
σ
通过以下公式计算：其中
β
为下采样尺度因子，即参考
HR
‑
HSI
图像与生成的
LR
‑
HSI
的线性空间分辨率比值
。3.
根据权利要求1所述的一种基于
U
型卷积神经网络的高光谱全色锐化方法，其特征在于，在设计高光谱全色锐化神经网络模型的步骤中，具体包括下述步骤：设计
UNet
骨干网络；设计通道交叉连接方法；设计空间
‑
光谱注意力网络；设计损失函数
。4.
根据权利要求3所述的一种基于
U
型卷积神经网络的高光谱全色锐化方法，其特征在于，所述
UNet
骨干网络由编码器部分
、
解码器部分以及瓶颈层构成，包括四个尺度，前三个尺度的编码器与解码器采用空间
‑
光谱注意力网络进行连接，第四个尺度由一个瓶颈层构成；所述编码器部分由3个编码器组成，每个编码器包括1个卷积模块和1个下采样模块；所述解码器部分由3个解码器组成，每个解码器包括1个上采样模块和1个卷积模块，所述瓶颈层包括1个卷积模块；所述卷积模块的公式为：
CB
out
＝
f
CB
(CB
in
)
＝
δ
(BN(Conv3×3(CB
in
)))
其中，
CB
in
和
CB
out
分别为所述卷积模块的输入和输出，
f
CB
为所述卷积模块的函数表示，
δ
为
LeakyReLU
激活函数层，
BN
为批归一化层，
Conv3×3为3×3卷积层；在所述解码器部分后设计一个用于残差图重建的1×1卷积层，公式表示为：
X
res
＝
Conv1×1(D3)
其中
Conv1×1为1×1卷积层，为重建后得到的高光谱残差图像，
D3为第三个解码器的输出特征图
。5.
根据权利要求3所述的一种基于
U
型卷积神经网络的高光谱全色锐化方法，其特征在于，所述通道交叉连接方法包括
Input CCC
和
Feature CCC
的两种通道交叉连接方法；所述
Input CCC
的输入为两种不同源图像
Up
‑
HSI
和
PAN
，将
Up
‑
HSI
沿通道维度分割为
m
份，则光谱波带数为：当
m≥2
时，
C1＝
…
＝
C
m
‑1≥C
m
；当
m
＝1时，
C1＝
C
，此时
Up
‑
HSI
不进行分割；分割过程的公式表示为：
U1,U2,
…
,U
m
‑1,U
m
＝
Split(U)
其中，为
Up
‑
HSI
对应的张量，
Split
为张量分割的操作，为对
U
分割得到的各子张量；分割得到具有
C
i
通道数的子张量
U
i
后插入具有
C
p
＝1通道数的
PAN
张量
P
，在通道维度依次连接得到输出张量
O
，则输出张量
O
的通道数目为：所述在通道维度依次连接的过程用公式表示为：
O
＝
Concat(U1,P,U2,P,
…
,U
m
,P)
其中，为
PAN
对应的张量，
Concat
为通道连接的操作，为通道交叉连接输出的张量；所述
Up
‑
HSI
和
PAN
在通道维度交叉连接的操作过程用公式表示为：
O
＝
InputtCCC(U,P)
其中
InputCCC
为
Input CCC
的操作过程；所述
F...

【专利技术属性】
技术研发人员：韩广良，刘智超，邓安平，杨航，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：