System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种面向自然图像的改进Mamba超分辨率重建方法及装置制造方法及图纸_技高网

一种面向自然图像的改进Mamba超分辨率重建方法及装置制造方法及图纸

技术编号:43544649 阅读:2 留言:0更新日期:2024-12-03 12:25
本发明专利技术提供一种面向自然图像的改进Mamba超分辨率重建方法及装置,解决了现有技术中图像超分辨率方法速度慢、图像信息提取能力不足的问题。具有以下优点:(1)本发明专利技术面向自然图像的图像超分辨率重建,可应用于现实世界自然图像提高分辨率,提升图像的清晰程度。相比于其他方法,基于改进Mamba的超分辨率重建方法能够有效提高超分辨率重建的效率和精度。其通过将选择机制集成到其状态空间模型中,根据序列中每个token的相关性有效地决定是传播还是丢弃信息。这种选择性方法可显着加快推理速度以及吞吐率。(2)本发明专利技术在构造训练数据集的过程中,使用传统双三次下采样,模糊滤波器,添加随机噪声以及旋转裁剪等方法,有效的模拟现实世界的低分辨率模糊图像,增加训练数据的多样性,使得模型能够见到更多的图像模糊类型,从而提高模型的重建质量。

【技术实现步骤摘要】

本专利技术涉及图像超分辨率重建,尤其涉及一种面向自然图像的改进mamba超分辨率重建方法及装置。


技术介绍

1、图像超分辨率重建技术(image super-resolution,sr)起源于20世纪80年代,是一项旨在从低分辨率图像生成高分辨率图像的图像处理技术。最初的超分辨率技术主要依赖于信号处理和插值方法,如双线性插值和双三次插值,这些方法简单快捷,但在恢复图像细节方面存在局限,生成的高分辨率图像质量往往较低。随着计算能力和数据量的增加,尤其是深度学习技术的发展,超分辨率重建技术在近十年来取得了显著进展。现代超分辨率技术主要利用卷积神经网络(convolutional neural networks,cnns)和生成对抗网络(generative adversarial networks,gans)等深度学习模型,能够生成高质量的高分辨率图像。

2、图像超分辨率重建技术在计算机视觉和图像处理领域具有广泛的应用,涵盖医学影像、卫星遥感、视频监控和消费电子等多个领域。首先,超分辨率技术能够提升图像的清晰度和细节,使图像更加逼真和生动,这在图像和视频等领域具有重要意义。其次,在医学成像和卫星遥感等专业领域,细节的增强有助于更准确地进行诊断和分析,提高信息提取的准确性和有效性。此外,通过传输低分辨率图像并在接收端进行超分辨率重建,可以节省带宽和存储空间,这在通信和云计算等领域具有重要应用价值。最后,许多计算机视觉算法,如目标检测和识别,依赖于高质量的图像输入,超分辨率技术能够显著提高这些算法的性能和精度。

3、尽管图像超分辨率重建技术展示了巨大的潜力,但其发展仍面临诸多挑战。首先,深度学习模型,特别是深度卷积网络和生成对抗网络,通常具有高计算成本和高内存需求,这限制了其在实时应用和资源受限设备上的使用。其次,高质量的超分辨率模型通常需要大量的高分辨率和低分辨率图像对进行训练,获取和处理这些数据是一个复杂而耗时的过程。此外,模型在不同类型和场景的图像上能否保持高性能是一大挑战,某些模型在特定的数据集上表现良好,但在实际应用中可能效果不佳。最后,尽管深度学习方法在超分辨率任务中表现优异,但生成的图像可能会出现不自然的纹理和边缘等伪影,这些问题仍需进一步研究和解决。随着计算能力的提升和算法的不断改进,图像超分辨率技术有望在更多领域发挥其潜力和作用,未来的研究方向可能包括更高效的模型设计、更好的泛化能力和更加自然的细节恢复等。


技术实现思路

1、本专利技术提供一种面向自然图像的改进mamba超分辨率重建方法及装置,以解决现有技术中图像超分辨率方法速度慢、图像信息提取能力不足的问题。

2、第一个方面,本专利技术提供了一种面向自然图像的改进mamba超分辨率重建方法,具体包括如下步骤:

3、步骤s1、获取一组用于训练的高分辨率图像数据data1;

4、步骤s2、针对所述高分辨率图像数据data1,采用下采样、模糊处理、噪声添加以及压缩中的至少两种不同方法,对每幅高分辨率图像执行退化操作,生成多个具有不同退化特性的低分辨率图像,从而构造包含高分辨率图像与对应低分辨率图像训练样本对的训练数据集data2;对训练数据集data2进行增强处理,形成增强处理后的训练数据集data3;

5、步骤s3、构建改进的mamba模型,即sr-mamba网络模型,使用增强处理后的训练数据集data3对sr-mamba网络模型进行训练,形成优化训练后的sr-mamba模型;

6、步骤s4、将待处理的低分辨率图像输入至训练好的所述sr-mamba网络模型,利用所述sr-mamba网络模型对输入的低分辨率图像进行处理,生成并输出对应的超分辨率重建图像。

7、优选地,步骤s2具体包括如下步骤:

8、步骤s201、设定超分辨率的上采样比例scale;

9、步骤s202、根据所述上采样比例scale对所述高分辨率图像数据集进行双三次下采样处理,形成对应的低分辨率图像数据集1;

10、步骤s203、根据所述上采样比例scale通过模糊滤波器对所述高分辨率图像数据集进行处理,形成对应的低分辨率图像数据集2;

11、步骤s204、根据所述上采样比例scale对所述高分辨率图像数据集进行下采样处理后添加随机噪声,形成对应的低分辨率图像数据集3;

12、步骤s205、将所述低分辨率图像数据集1、所述低分辨率图像数据集2和所述低分辨率图像数据集3中的所有低分辨率图像与所述高分辨率图像数据集中的所有高分辨率图像一一对应,形成训练数据集data2;

13、步骤s206、对所述训练数据集data2进行增强处理,形成增强处理后的训练数据集data3。

14、优选地,步骤s203中,所述模糊滤波器包括高斯模糊滤波器和运动模糊滤波器等模糊滤波器。

15、优选地,步骤s204中,所述随机噪声包括高斯噪声、泊松噪声、椒盐噪声等噪声,所述随机噪声模拟真实场景中的噪声,增加图像的真实感。

16、优选地,步骤s206中,所述增强处理包括对图像进行随机水平翻转、随机竖直翻转、随机裁剪和随机缩放。

17、优选地,步骤s3中,所述sr-mamba网络模型依次连接包括一个残差网络块、一个全连接层、mamba模型、一个重组层和一个放大器。

18、更优选地,所述mamba模型包括两条链路,第一条链路依次连接一个卷积层、一个σ激活函数模块和状态空间模型,第二条链路依次连接一个卷积层和一个σ激活函数模块;所述第一条链路和所述第二条链路的输出结果进行点乘。

19、更优选地,所述σ激活函数模块中使用的激活函数包括silu激活函数和/或swish激活函数。

20、更优选地,所述放大器包括esrgan模型。

21、第二个方面,本专利技术还提供了一种面向自然图像的改进mamba超分辨率重建装置,具体包括如下模块:

22、数据获取模块,用于获取一组用于训练的高分辨率图像数据data1;

23、数据集构建模块,用于针对所述高分辨率图像数据data1,采用下采样、模糊处理、噪声添加以及压缩中的至少两种不同方法,对每幅高分辨率图像执行退化操作,生成多个具有不同退化特性的低分辨率图像,从而构造包含高分辨率图像与对应低分辨率图像训练样本对的训练数据集data2;以及,对训练数据集data2进行增强处理,以形成增强处理后的训练数据集data3;

24、模型构建及训练模块,用于构建改进的mamba模型,即sr-mamba网络模型,并使用所述数据集构建模块生成的训练数据集data3对sr-mamba网络模型进行训练,形成优化训练后的sr-mamba模型;

25、超分辨率重建模块,用于将待处理的低分辨率图像输入至所述模型构建及训练模块训练好的sr-mamba网络模型中,利用所述sr-mamba网络模型对输入的低分辨率图像进行处理,生成并输出对应本文档来自技高网...

【技术保护点】

1.一种面向自然图像的改进Mamba超分辨率重建的方法,其特征在于,具体包括如下步骤:

2.根据权利要求1所述的一种面向自然图像的改进Mamba超分辨率重建的方法,其特征在于,步骤S2具体包括如下步骤:

3.根据权利要求2所述的一种面向自然图像的改进Mamba超分辨率重建的方法,其特征在于,步骤S203中,所述模糊滤波器包括高斯模糊滤波器和运动模糊滤波器。

4.根据权利要求2所述的一种面向自然图像的改进Mamba超分辨率重建的方法,其特征在于,步骤S204中,所述随机噪声包括高斯噪声、泊松噪声和椒盐噪声,所述随机噪声模拟真实场景中的噪声,增加图像的真实感。

5.根据权利要求2所述的一种面向自然图像的改进Mamba超分辨率重建的方法,其特征在于,步骤S206中,所述增强处理包括对图像进行随机水平翻转、随机竖直翻转、随机裁剪和随机缩放。

6.根据权利要求1所述的一种面向自然图像的改进Mamba超分辨率重建的方法,其特征在于,步骤S3中,所述SR-Mamba网络模型依次连接包括一个残差网络块、一个全连接层、Mamba模型、一个重组层和一个放大器;

7.根据权利要求6所述的一种面向自然图像的改进Mamba超分辨率重建的方法,其特征在于,所述σ激活函数模块中使用的激活函数包括SiLU激活函数和/或Swish激活函数。

8.一种面向自然图像的改进Mamba超分辨率重建的装置,其特征在于,具体包括如下模块:

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的一种面向自然图像的改进Mamba超分辨率重建的方法。

10.一种电子设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的一种面向自然图像的改进Mamba超分辨率重建的方法。

...

【技术特征摘要】

1.一种面向自然图像的改进mamba超分辨率重建的方法,其特征在于,具体包括如下步骤:

2.根据权利要求1所述的一种面向自然图像的改进mamba超分辨率重建的方法,其特征在于,步骤s2具体包括如下步骤:

3.根据权利要求2所述的一种面向自然图像的改进mamba超分辨率重建的方法,其特征在于,步骤s203中,所述模糊滤波器包括高斯模糊滤波器和运动模糊滤波器。

4.根据权利要求2所述的一种面向自然图像的改进mamba超分辨率重建的方法,其特征在于,步骤s204中,所述随机噪声包括高斯噪声、泊松噪声和椒盐噪声,所述随机噪声模拟真实场景中的噪声,增加图像的真实感。

5.根据权利要求2所述的一种面向自然图像的改进mamba超分辨率重建的方法,其特征在于,步骤s206中,所述增强处理包括对图像进行随机水平翻转、随机竖直翻转、随机裁剪和随机缩放。

6.根据权利要求1所述的一种面向自然图像的改进mamba超分辨率重...

【专利技术属性】
技术研发人员:陈志文何新华吴云波
申请(专利权)人:亳州上大工程技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1