基于光谱相关信息和空间高低频信息的超分辨率图像重建方法技术

本发明专利技术公开了一种基于光谱相关信息和空间高低频信息的超分辨率图像重建方法。实现步骤为：在分别构建空谱联合特征提取子网络和空间高低频信息的多级特征融合子网络的基础上；构建光谱相关信息和空间高低频信息特征融合的超分辨率网络；利用生成的训练集训练超分辨率网络；对高光谱图像进行超分辨率重建。本发明专利技术利用光谱的混合注意力使得重建过程能够有效结合光谱维度与空间维度的联合信息，增强了对高光谱图像不同波段特征间的非线性学习能力，使重建得到高分辨率高光谱图像更加清晰，并且提升了对于高光谱图像纹理细节和边缘特征重建的能力。征重建的能力。征重建的能力。

【技术实现步骤摘要】
基于光谱相关信息和空间高低频信息的超分辨率图像重建方法


[0001]本专利技术属于图像处理
，更进一步涉及图像重建
中的一种基于光谱相关性和空间高低频信息的超分辨率图像重建方法。本专利技术可以用于对高光谱图像进行超分辨率重建，以不失细节的放大目标图像。

技术介绍

[0002]随着人工智能与硬件设备的发展与迭代，深度学习模型已经在计算机视觉领域中取得了很大的成功，它们能够学习到复杂的图像特征和模式，从而更好地推断图像中隐含的信息。而针对高光谱图像而言，高光谱图像可以获取更加丰富的光谱信息，每个像素点不仅包含RGB三个波段的信息，还包含了其他波段的信息，从而可以更好地反映出物体的材质、组成和结构等特征，同时每个光谱波段之间也存在相关性。
[0003]中国人民解放军火箭军工程大学在其申请的专利文献“一种用于高光谱超分辨率重建的超像素稀疏表示方法”(申请号：2020106816377申请日：2020.07.15申请公布号：CN 111861885 A)中公开了一种用于高光谱超分辨率重建的超像素稀疏表示方法。该方法的实现步骤是：(1)利用分割算法聚类MSI像素生成超像素，其中，超像素为同质像素的集合。(2)分别从HSI和MSI学习光谱特征及比例信息。(3)采用联合稀疏正则化在学习的光谱特征上分解MSI超像素获取系数信息。(4)利用学习的光谱特征及系数信息生成高分辨率的高光谱图像，完成用于高光谱超分辨率重建的超像素稀疏表示。但是，该方法仍然存在的不足之处在于，该方法忽略了不同阶段的特征，由于不同阶段的特征携带着不同的语义信息，通过简单串联的形式将特征传递至网络末端将导致网络首端附近特征的语音信息丢失，无法充分挖掘出现有模型中每个阶段的不同特征之间的联合信息。
[0004]Z.Jing等人在其发表的论文“Multiscale Feature Mapping Network for Hyperspectral Image Super
‑
Resolution”(Published as a conference paper at RS 2021)中提出的一种基于多尺度特征映射的高光谱超分辨率重建方法。该方法具体的实现步骤是：(1)将输入图像通过一个卷积核大小为3
×3×
3的卷积层提取浅层特征。(2)将浅层特征以此通过四个引入小波变换的菱形模块，每个菱形模块包括三部分：原特征图恒等映射、特征上采样和特征下采样。(3)将前三个菱形模块的输出特征利用卷积核大小为1
×1×
1的卷积层进行融合并与第四个菱形模块的输出相加。(4)将整合的特征通过亚像素卷积进行上采样并得到最终的结果图。但是，但是，该方法仍然存在的不足之处在于，该方法忽略了不同地物在光谱维度上的响应曲线不同这一特点。由于高光谱图像中不同像素对应的光谱曲线响应不同，注意力机制可以应用于光谱特征的强调。然而，现有的基于3D卷积的光谱注意力机制只能提取几个相邻光谱的特征，或者用更大的卷积核参数以换取更宽的光谱感受野。此外，如果将空间注意和通道注意简单地扩展到三维空间，则无法有效地利用存在于光谱维度的信息。

技术实现思路

[0005]本专利技术的目的在于针对上述技术存在的缺陷，提出一种基于光谱相关信息和空间高低频信息的超分辨率图像重建方法，用于解决不能有效提取与利用高光谱图像中光谱和空间特征的问题。
[0006]为实现上述目的，本专利技术的思路是，本专利技术分别构建了光谱相关信息和空间高低频信息特征融合的超分辨率网络。利用高光谱图像的光谱波段存在大量信息的特点，对光谱波段进行特征提取与特征强调。由于本专利技术针对光谱和空间维度的联合特征信息的提取问题，构建了空谱联合特征提取子网络，可以针对高光谱图像的光谱波段信息进行特征提取与强调，并与空间和通道信息进行结合，从层次融合和交叉融合的角度将高光谱图像光谱维度、空间维度和通道维度的特征提取出来。由于本专利技术采用的是级联网络的结构，因此本专利技术构建了空间高低频分离的多级特征融合子网络，该子网络可以利用感受野的不同进行高低频信息的区分，并将高低频信息分别进行不同的特征映射和融合，对其进行进一步处理和融合，使得网络能够充分利用来自不同阶段的特征关系。据此解决了现有技术不能有效提取与利用高光谱图像中光谱和空间特征的问题。
[0007]本专利技术的实现步骤如下：
[0008]步骤1，构建空谱联合特征提取子网络：
[0009]搭建空谱联合特征提取子网络包括第一空谱联合注意力层、第二空谱联合注意力层、第三空谱联合注意力层、第四空谱联合注意力层、第一卷积层、第一激活层、第二卷积层、第二激活层；其中，第一至第四空谱联合注意力层结构相同；将第一、第二卷积层的大小均设置为1
×1×
1，步长设置为1，输出的填充补零设置为[0,0,0]，空洞值设置为[1,1,1]；第一、第二激活层均采用LeakyReLu函数实现，函数在负数部分的斜率均设置为0.01；
[0010]步骤2，构建空间高低频信息的多级特征融合子网络：
[0011]搭建由空间高低频分离层、融合层、第一卷积层、第二卷积层、第一激活层、第三卷积层、第二激活层依次串联组成的空间高低频信息的多级特征融合子网络；所述融合层由空间高频融合层与空间低频融合层并联组成；
[0012]设置空间高低频信息的多级特征融合子网络的参数如下：将第一至第三卷积层的大小均设置为1
×1×
1，步长均设置为1，输出的填充补零均设置为[0,0,0]，空洞值均设置为[1,1,1]；第一激活层采用sigmoid函数实现；第二激活层采用LeakyReLu函数实现，函数在负数部分的斜率设置为0.01；
[0013]步骤3.构建基于光谱相关信息和空间高低频信息特征融合的超分辨率网络：
[0014]搭建由浅层特征提取层、映射重建层串联组成的光谱相关信息和空间高低频信息特征融合的超分辨率网络；所述映射重建层由空谱联合特征提取子网络与空间高低频信息的多级特征融合子网络并联组成；
[0015]步骤4.生成训练集：
[0016]选取至少25张高光谱图像，每张高光谱图像分辨率的光谱波段数C、长度H、宽度W分别为大于或等于10、32、32；对每张高光谱图像进行数据预处理后得到该张图像的图像对，将所有的图像对组成训练集；
[0017]步骤5.训练超分辨率网络：
[0018]将训练集输入到光谱相关信息和空间高低频信息特征融合的超分辨率网络中，采
用Adam优化算法迭代更新网络参数，直到损失函数收敛为止，得到训练好的光谱相关信息和空间高低频信息特征融合的超分辨率网络；
[0019]步骤6.对高光谱图像进行超分辨率重建：
[0020]采用与步骤5相同的方法，对待重建的低空间分辨率高光谱图像进行预处理后输入到训练好的网络中，进行超分辨率重建，输出重建后的高分辨率的高光谱图像。
[0021]本专利技术与现有技术相比较，具有以下优点：
[0022]第一，由于本专利技术构建了光谱相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，构建空谱联合特征提取子网络，构建空间高低频信息的多级特征融合子网络；该重建方法的步骤包括如下：步骤1，构建空谱联合特征提取子网络：搭建空谱联合特征提取子网络包括第一空谱联合注意力层、第二空谱联合注意力层、第三空谱联合注意力层、第四空谱联合注意力层、第一卷积层、第一激活层、第二卷积层、第二激活层；其中，第一至第四空谱联合注意力层结构相同；将第一、第二卷积层的大小均设置为1
×1×
1，步长设置为1，输出的填充补零设置为[0,0,0]，空洞值设置为[1,1,1]；第一、第二激活层均采用LeakyReLu函数实现，函数在负数部分的斜率均设置为0.01；步骤2，构建空间高低频信息的多级特征融合子网络：搭建由空间高低频分离层、融合层、第一卷积层、第二卷积层、第一激活层、第三卷积层、第二激活层依次串联组成的空间高低频信息的多级特征融合子网络；所述融合层由空间高频融合层与空间低频融合层并联组成；设置空间高低频信息的多级特征融合子网络的参数如下：将第一至第三卷积层的大小均设置为1
×1×
1，步长均设置为1，输出的填充补零均设置为[0,0,0]，空洞值均设置为[1,1,1]；第一激活层采用sigmoid函数实现；第二激活层采用LeakyReLu函数实现，函数在负数部分的斜率设置为0.01；步骤3.构建基于光谱相关信息和空间高低频信息特征融合的超分辨率网络：搭建由浅层特征提取层、映射重建层串联组成的光谱相关性信息和空间高低频信息特征融合的超分辨率网络；所述映射重建层由空谱联合特征提取子网络与空间高低频信息的多级特征融合子网络并联组成；步骤4.生成训练集：选取至少25张高光谱图像，每张高光谱图像分辨率的光谱波段数C、长度H、宽度W分别为大于或等于10、32、32；对每张高光谱图像进行数据预处理后得到该张图像的图像对，将所有的图像对组成训练集；步骤5.训练超分辨率网络：将训练集输入到基于光谱相关信息和空间高低频信息特征融合的超分辨率网络中，采用Adam优化算法迭代更新网络参数，直到损失函数收敛为止，得到训练好的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络；步骤6.对高光谱图像进行超分辨率重建：采用与步骤5相同的方法，对待重建的低空间分辨率高光谱图像进行预处理后输入到训练好的网络中，进行超分辨率重建，输出重建后的高分辨率的高光谱图像。2.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤1中所述空谱联合注意力层的结构依次串联为：第一卷积层，第一激活层，第一并联层，第六卷积层，第六激活层，第七卷积层，第七激活层，第二并联层，第八卷积层，第九卷积层，第八激活层；所述第一并联层由第一支路与第二支路并联组成，第二卷积层与第二激活层串联构成第一支路，第四卷积层与第四激活层串联构成第二支路；所述第二并联层由第三支路与第四支路并联组成，第三卷积层与第三激活层串联成第三支路，第五卷积层与第五激活层串联构成第四支路。
3.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤1中所述空谱联合注意力层的各层参数设置如下：将第一、第二、第三、第六卷积层的大小均设置为3
×1×
1，步长均设置为1，输出的填充补零均设置为[1,0,0]，空洞值均设置为[1,1,1]；将第四、第五、第七卷积层的大小均设置为3
×1×
1，步长均设置为1，输出的填充补零均设置为[2,0,0]，空洞值均设置为[2,1,1]，将第八、第九卷积层的大小均设置为1
×1×
1，步长均设置为1，输出的填充补零均设置为[0,0,0]，空洞值均设置为[1,1,1]；第一至第五激活层均采用LeakyReLu函数实现，函数在负数部分的斜率均设置为0.01；第六至第九激活层采用sigmoid函数实现。4.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤2中所述空间高低频分离层是由第一卷积层，第一激活层，第一组合层，下采样层依次串联组成；所述第一组合层由两条支路并联组成，第二卷积层与第二激活层串联组成第一支路，第三卷积层与第三激活层串联组成第二支路；设置空间高低频分离层的参数如下，将第一至第三卷积层...

【专利技术属性】
技术研发人员：张静，郑任杰，陈旭，洪兆龙，李云松，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：