一种多尺度特征融合的轻量级遥感图像超分方法及系统技术方案

本发明专利技术公开了一种多尺度特征融合的轻量级遥感图像超分方法及系统，本发明专利技术包括对输入的低分辨率的遥感图像提取浅层特征，利用残差组注意力结构块RGAM提取深度特征；使用像素重组技术对浅层特征和深度特征中的元素进行重新排列生成最终的高分辨率的遥感图像；RGAM包括依次相连的轻量化通道注意块LCAB和分组注意力机制块GAB，LCAB用于对输入的特征进行通道筛选，GAB用于通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合；分组注意力机制块GAB的输出与轻量化通道注意块LCAB的输入进行残差连接。本发明专利技术旨在解决现有遥感图像超分技术中图像质量较低和实时性不高的问题。图像质量较低和实时性不高的问题。图像质量较低和实时性不高的问题。

【技术实现步骤摘要】
一种多尺度特征融合的轻量级遥感图像超分方法及系统


[0001]本专利技术涉及遥感图像超分
，具体涉及一种多尺度特征融合的轻量级遥感图像超分方法及系统。

技术介绍

[0002]高分辨率遥感图像是对地观测中最重要的信息来源，可为土地管理、资源开发、环境监测和灾害管理等领域提供高质量的数据支持，为人类管理地球资源提供更多有价值的信息。然而，高分辨率遥感图像的获取也面临诸多挑战和问题。首先，图像采集传感器中可能存在传感器噪声、非线性失真和信噪比等问题，影响遥感图像的质量和精度，进而影响遥感图像的应用价值。其次，获取高分辨率遥感图像也可能导致图像处理和计算的复杂性增加，这就需要更高的计算能力和更快的处理速度。因此，需要在获取高分辨率遥感图像和实际需求之间平衡，寻找解决这些问题的有效方法，以便更好地利用遥感图像信息。遥感图像超分（Super Resolution，SR）重建技术是一种能够将低分辨率（Low Resolution，LR）图像转化为高分辨率（High Resolution，HR）图像的技术，旨在通过提高图像分辨率来实现图像更加清晰、细致和真实。相较于自然图像，遥感图像具有较大的视场角，可获取更广泛的地面信息，并拥有更加丰富的纹理信息。然而，由于其数据量庞大，处理时需要耗费大量的计算资源和时间。此外，在某些情况下，由于传感器性能、数据传输和存储等因素的限制，遥感图像的分辨率较低，难以获得足够的细节和清晰度，从而限制了其应用范围。遥感图像超分重建技术可以从多个低分辨率图像中合成一幅高分辨率图像，从而使遥感图像的细节和清晰度得到显著提升。这项技术对于提高遥感图像的分析精度、识别能力和监测效果具有重要意义，可用于精细的地表覆盖分类、建筑物检测和三维重建等方面。自注意力机制是一种广泛应用于自然语言处理任务中的深度学习模型，而最近该机制也在计算机视觉领域取得了显著的效果。在视觉任务中，基于自注意力机制的遥感图像超分重建方法表现出了卓越的性能，给人留下了深刻的印象。然而，目前许多基于自注意力机制的深度学习模型只能利用有限的空间范围信息，未充分发挥自注意力机制的潜力。此外，在大多数基于自注意力机制的网络模型中，自注意力任务的计算量都较大，而网络中的一部分信息对于遥感图像超分重建任务是冗余的。

技术实现思路

[0003]本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种多尺度特征融合的轻量级遥感图像超分方法及系统，本专利技术旨在解决现有遥感图像超分技术中图像质量较低和实时性不高的问题。
[0004]为了解决上述技术问题，本专利技术采用的技术方案为：一种多尺度特征融合的轻量级遥感图像超分方法，包括对输入的低分辨率的遥感图像提取浅层特征，利用残差组注意力结构块RGAM提取深度特征；使用像素重组技术对浅
层特征和深度特征中的元素进行重新排列生成最终的高分辨率的遥感图像；所述残差组注意力结构块RGAM包括依次相连的轻量化通道注意块LCAB和分组注意力机制块GAB，所述轻量化通道注意块LCAB用于对输入的特征进行通道筛选，所述分组注意力机制块GAB用于通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合；所述分组注意力机制块GAB的输出与轻量化通道注意块LCAB的输入进行残差连接以作为残差组注意力结构块的输出。
[0005]可选地，轻量化通道注意块LCAB对输入的特征进行通道筛选包括：S101，针对输入的特征，首先通过全局平均池化操作将n个空间特征F
n
‑1转化为n个通道维度特征C
n
‑1，然后依次通过卷积操作、基于ReLU激活函数的激活操作、卷积操作和基于sigmoid函数的激活操作以获得各个通道的权重W
n
‑1，生成用于选择权重较高的k个通道的通道特征权重向量s；S102，将和通道特征权重向量s和特征图F
n
‑1逐元素相乘得到通道筛选后的特征。
[0006]可选地，分组注意力机制块GAB通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合包括：S201，将输入的通道筛选后的特征分成K组特征；S202，针对K组特征分别采用对应的窗口大小采用一个或多个自注意力机制层STL进行自注意力计算，且各组特征使用的窗口大小各不相同；S203，将K组自注意力计算后的特征融合，并通过卷积操作将融合后的特征进行压缩和进一步提取特征最终，得到分组注意力机制块GAB输出的特征。
[0007]可选地，所述自注意力机制层STL包括依次相连的多头自注意力机制MSA和多层感知器MLP，所述多头自注意力机制MSA和多层感知器MLP的输入端均包括归一化模块LayerNorm，输入多头自注意力机制MSA的特征经过归一化模块LayerNorm归一化后经过多头自注意力机制MSA进行多头自注意力处理得到输出，所述多头自注意力机制MSA的输出、输入多头自注意力机制MSA的特征两者进行第一级的残差连接后，再经过归一化模块LayerNorm归一化后经过多层感知器MLP进行特征转换，且多层感知器MLP转换输出的特征与第一级的残差连接的特征进行第二级的残差连接后作为自注意力机制层STL输出的特征。
[0008]可选地，所述利用残差组注意力结构块RGAM提取深度特征为采用深度特征模块实现，所述深度特征模块由N个残差组注意力结构块RGAM和一个卷积核大小为3
×
3的卷积层组成，N个残差组注意力结构块RGAM依次级联，最终通过卷积核大小为3
×
3的卷积层将获得的特征输出。
[0009]可选地，所述深度特征模块由三个残差组注意力结构块RGAM和一个卷积核大小为3
×
3的卷积层组成，三个残差组注意力结构块RGAM依次级联。
[0010]可选地，所述对输入的低分辨率的遥感图像提取浅层特征为采用浅层特征模块实现，所述浅层特征模块由多个卷积层依次相连构成。
[0011]可选地，所述浅层特征模块由三个卷积核大小为3
×
3的卷积层依次相连构成。
[0012]此外，本专利技术还提供一种多尺度特征融合的轻量级遥感图像超分系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述多尺度特征融合的轻量级遥感图像超分方法。
[0013]此外，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述多尺度特征融合的轻量级遥感图像超分方法。
[0014]和现有技术相比，本专利技术主要具有下述优点：本专利技术包括利用残差组注意力结构块RGAM提取深度特征，残差组注意力结构块RGAM包括依次相连的轻量化通道注意块LCAB和分组注意力机制块GAB，轻量化通道注意块LCAB用于对输入的特征进行通道筛选，通过设计轻量化通道注意力机制块，对重要通道信息进行筛选，将不重要通道信息舍弃，保留关键通道信息，在降低网络参数量的同时减少超分性能的下降；分组注意力机制块GAB用于通过设置不同的窗口本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度特征融合的轻量级遥感图像超分方法，其特征在于，包括对输入的低分辨率的遥感图像提取浅层特征，利用残差组注意力结构块RGAM提取深度特征；使用像素重组技术对浅层特征和深度特征中的元素进行重新排列生成最终的高分辨率的遥感图像；所述残差组注意力结构块RGAM包括依次相连的轻量化通道注意块LCAB和分组注意力机制块GAB，所述轻量化通道注意块LCAB用于对输入的特征进行通道筛选，所述分组注意力机制块GAB用于通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合；所述分组注意力机制块GAB的输出与轻量化通道注意块LCAB的输入进行残差连接以作为残差组注意力结构块的输出。2.根据权利要求1所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，轻量化通道注意块LCAB对输入的特征进行通道筛选包括：S101，针对输入的特征，首先通过全局平均池化操作将n个空间特征F
n
‑1转化为n个通道维度特征C
n
‑1，然后依次通过卷积操作、基于ReLU激活函数的激活操作、卷积操作和基于sigmoid函数的激活操作以获得各个通道的权重W
n
‑1，生成用于选择权重较高的k个通道的通道特征权重向量s；S102，将和通道特征权重向量s和特征图F
n
‑1逐元素相乘得到通道筛选后的特征。3.根据权利要求1所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，分组注意力机制块GAB通过设置不同的窗口大小来聚焦于自注意力操作中的不同信息并通过级联将不同类别的信息融合包括：S201，将输入的通道筛选后的特征分成K组特征；S202，针对K组特征分别采用对应的窗口大小采用一个或多个自注意力机制层STL进行自注意力计算，且各组特征使用的窗口大小各不相同；S203，将K组自注意力计算后的特征融合，并通过卷积操作将融合后的特征进行压缩和进一步提取特征最终，得到分组注意力机制块GAB输出的特征。4.根据权利要求3所述的多尺度特征融合的轻量级遥感图像超分方法，其特征在于，所述自注意力机制层STL包括依次相连的多头自注意力机制MSA和多层感知器MLP，...

【专利技术属性】
技术研发人员：康旭东，段普宏，李树涛，张晋玮，
申请(专利权)人：湖南大学，
类型：发明
国别省市：