【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及基于频域-空间域辅助mamba的轻量级图像超分辨重建方法。
技术介绍
1、在数字化时代背景下，图像质量已成为衡量技术进步与用户体验的关键指标之一。随着技术的不断迭代和用户需求的日益提升，高分辨率图像已成为众多领域内的标准配置与普遍期望。其凭借卓越的分辨率、丰富的细节表现以及更优的视觉体验，为用户带来了更为生动逼真的视觉享受。然而，现实生活中仍存在大量分辨率较低的图像，这使得图像超分辨技术对于提升图像分辨率具有至关重要的意义。
2、传统上，提高图像超分辨的方法主要聚焦于物理层面的改进，如提升相机传感器的质量与像素密度。尽管这种方法能提升图像的分辨率与质量，但其亦伴随着显著的缺点与局限性。具体而言，物理层面的改进往往需要昂贵的硬件升级成本，且并不适用于所有场景。因此，受限于技术与成本因素，对设备进行物理层面的全面升级可能不切实际。
3、近年来，随着深度学习技术的迅猛发展，一系列基于深度学习的图像超分辨方法应运而生，其中包括基于卷积神经网络(cnn)的方法与基于transformer的方法。然而，这些方法都面临着不同问题的挑战。首先，现有的基于卷积神经网络的模型随着模型深度的不断增加，其计算复杂度显著提升。同时，卷积核大小的固定性限制了模型的感受野，使其难以高效地捕获全局上下文信息。其次，与基于卷积神经网络模型相比，基于传统transformer的方法虽能较好地捕获上下文信息，但其计算复杂度与输入token长度的平方成正比，导致了较高的计算开销与推理时间。最近，基于mamba的图
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供了基于频域-空间域辅助mamba的轻量级图像超分辨重建方法，用于解决当前图像超分辨率模型参数量较大与计算复杂度较高的技术问题。
2、为了达到上述专利技术目的，本专利技术采用的技术方案为：
3、基于频域-空间域辅助mamba的轻量级图像超分辨重建方法，包括以下步骤：
4、s1、获取原始图像数据集并对其进行数据预处理，获取训练数据集与测试数据集；
5、s2、引入频域-空间域mamba层与基于转置和自注意力特征交互层，构建基于频域-空间域辅助mamba的轻量级图像超分辨重建模型；
6、s3、将训练数据集输入基于频域-空间域辅助mamba的轻量级图像超分辨重建模型进行训练，得到训练好的带有权重的基于频域-空间域辅助mamba的轻量级图像超分辨重建模型，用于将低分辨率图像重建为高分辨率图像；
7、s4、将测试数据集输入训练好的带有权重的基于频域-空间域辅助mamba的轻量级图像超分辨重建模型，得到重建的高分辨率可视化图像。
8、进一步地，步骤s1具体包括：
9、s11、获取公开的div2k数据集，将div2k数据集作为hr图像数据集，并采用双三次插值法对hr图像数据集内各图像进行下采样2、3以及4倍，得到多个下采样倍数的图像；
10、s12、将多个下采样倍数的图像进行随机翻转和旋转操作，得到增强的低分辨率lr图像；
11、s13、将hr图像数据集作为第一标签数据，将增强的低分辨率lr图像作为第一原始数据，将第一标签数据与第一原始数据作为训练数据集；
12、s14、获取公开的set5数据集、set14数据集、b100数据集、urban100数据集和manga109数据集并作为测试集的hr图像，分别采用双三次插值法对各数据集下采样2、3以及4倍，得到测试集的lr图像；
13、s15、将测试集的hr图像作为第二标签数据，将测试集的lr图像作为第二原始数据，将第二标签数据与第二原始数据作为测试数据集。
14、进一步地，步骤s2中基于频域-空间域辅助mamba的轻量级图像超分辨重建模型包括浅层特征提取模块、深层特征提取模块、高分辨率图像重建模块；
15、深层特征提取模块包括m个特征混合组模块、第二3×3卷积层；
16、特征混合组模块包括n个多层级特征交互层、第一3×3卷积层；
17、多层级特征交互层包括第一layernorm层、频域-空间域mamba层、第二layernorm层、基于转置和自注意力特征交互层；
18、频域-空间域mamba层包括视觉mamba层、频域-空间域增强层、第一1×1卷积层；
19、视觉mamba层包括上分支模块、下分支模块、第三linear层；
20、上分支模块包括第一linear层、第一3×3深度卷积层、第一silu层、2d选择性扫描模块、第三layernorm层；
21、下分支模块包括第二linear层、第二silu层；
22、频域-空间域增强层包括频域增强模块、空间域增强模块；
23、频域增强模块包括第二3×3深度卷积层、傅里叶变换层、第二1×1卷积层、第一relu层、逆傅里叶变换层；
24、空间域增强模块包括第三3×3深度卷积层、第三1×1卷积层；
25、基于转置和自注意力特征交互层包括第三3×3卷积层、空间通道置换层、空间自注意力层、通道自注意力层、第五1×1卷积层；
26、空间通道置换层包括第一置换层、第五3×3深度卷积层、第二置换层、第六3×3深度卷积层；
27、通道自注意力层包括自适应平均池化层、第四3×3深度卷积层、第二sigmoid层；
28、空间自注意力层包括第二relu层、第四1×1卷积层以及第一sigmoid层。
29、进一步地，步骤s3具体包括：
30、s31、将训练数据集输入基于频域-空间域辅助mamba的轻量级图像超分辨重建模型的浅层特征提取模块中采用3×3卷积层进行卷积处理，得到浅层特征fsh；
31、s32、将浅层特征fsh输入深层特征提取模块进行特征混合提取，得到深层特征
32、s33、将深层特征与浅层特征fsh相加，实现残差连接后，并输入高分辨率图像重建模块利用卷积层与pixelshuffle上采样实现图像重建，得到重建特征isr，并采用l1损失函数对训练中的基于频域-空间域辅助mamba的轻量级图像超分辨重建模型进行优化，得到训练好的带有权重的基于频域-空间域辅助mamba的轻量级图像超分辨重建模型。
33、进一步地，步骤s32具体包括：
34、s321、将浅层特征fsh输入第一layernorm层进行归一化操作，得到第一归一化特征x，并将第一归一化特征x从通道维度进行平均分割，得到特征x1和特征x2，即：
35、x1,x2＝split(x,dim＝c)
36、其中，split表示特征分割函数，dim表示分割维度，c表示通道数；
37、s322、将特征x1和特征x2分别输入频域-空间域mamba层的视本文档来自技高网...
【技术保护点】
1.基于频域-空间域辅助Mamba的轻量级图像超分辨重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于频域-空间域辅助Mamba的轻量级图像超分辨重建方法，其特征在于，步骤S1具体包括：
3.根据权利要求2所述的基于频域-空间域辅助Mamba的轻量级图像超分辨重建方法，其特征在于，步骤S2中基于频域-空间域辅助Mamba的轻量级图像超分辨重建模型包括浅层特征提取模块、深层特征提取模块、高分辨率图像重建模块；
4.根据权利要求3所述的基于频域-空间域辅助Mamba的轻量级图像超分辨重建方法，其特征在于，步骤S3具体包括：
5.根据权利要求4所述的基于频域-空间域辅助Mamba的轻量级图像超分辨重建方法，其特征在于，步骤S32具体包括：
6.根据权利要求5所述的基于频域-空间域辅助Mamba的轻量级图像超分辨重建方法，其特征在于，步骤S3221具体包括：
7.根据权利要求6所述的基于频域-空间域辅助Mamba的轻量级图像超分辨重建方法，其特征在于，步骤S3222具体包括：
8.根据权利
9.根据权利要求8所述的基于频域-空间域辅助Mamba的轻量级图像超分辨重建方法，其特征在于，步骤S33中采用L1损失函数对训练中的基于频域-空间域辅助Mamba的轻量级图像超分辨重建模型进行优化的计算公式为：
10.根据权利要求9所述的基于频域-空间域辅助Mamba的轻量级图像超分辨重建方法，其特征在于，步骤S4具体包括：
...【技术特征摘要】
1.基于频域-空间域辅助mamba的轻量级图像超分辨重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于频域-空间域辅助mamba的轻量级图像超分辨重建方法，其特征在于，步骤s1具体包括：
3.根据权利要求2所述的基于频域-空间域辅助mamba的轻量级图像超分辨重建方法，其特征在于，步骤s2中基于频域-空间域辅助mamba的轻量级图像超分辨重建模型包括浅层特征提取模块、深层特征提取模块、高分辨率图像重建模块；
4.根据权利要求3所述的基于频域-空间域辅助mamba的轻量级图像超分辨重建方法，其特征在于，步骤s3具体包括：
5.根据权利要求4所述的基于频域-空间域辅助mamba的轻量级图像超分辨重建方法，其特征在于，步骤s32具体包括：
6.根据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。