System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种增强空间特征优化的图像恢复方法技术_技高网
当前位置: 首页 > 专利查询>厦门大学专利>正文

一种增强空间特征优化的图像恢复方法技术

技术编号:44166424 阅读:31 留言:0更新日期:2025-01-29 10:39
本发明专利技术提供一种增强空间特征优化的图像恢复方法,包括:将待处理图像重采样为三个尺寸;构建编码器‑解码器网络模型,将三个尺寸的图像分别输入到模型的对应编码器中进行编码操作,在编码器中对多源特征图进行融合,再依次经第一卷积层、七个连续的残差卷积结构、第二卷积层、第三卷积层处理后分别发送给下一个编码器和对应的解码器;在每一解码器中,将多源特征图进行融合,再经过第四卷积层、七个连续的残差卷积结构、第五卷积层、空间特征优化模块和第六卷积层处理后将处理结果发送给下一个解码器,直至得到最后一个解码器的输出,将最后一个解码器的输出作为最终预测结果。本发明专利技术方法可实现多类型退化图像的图像恢复,并提高图像恢复效率。

【技术实现步骤摘要】

本专利技术涉及图像恢复,尤其是涉及一种增强空间特征优化的图像恢复方法


技术介绍

1、在多媒体数据处理中,从降质的视觉数据中恢复清晰图像至关重要,它是推动自动驾驶和摄影成像等下游技术应用的基石。图像降质以各种形式出现,如雨、雾、运动模糊等,带来了多样化的挑战。传统的图像降质移除方法依赖于手工设计,往往难以解决真实场景的复杂性和多样性。近年来,深度学习技术迅速发展,在多媒体数据处理方面展现出显著的功效,从而推动了图像恢复(ir)的进展,取得了显著成果。图像恢复技术的演进不仅需要高质量数据的获取,还需要模型设计和先进机制的创新实施,这对于提高图像恢复精度至关重要。

2、编码器-解码器架构和多维注意机制的广泛应用归因于它们高效简洁的设计。与此同时,transformer模型的出现,以其自注意机制而闻名,标志着从传统的基于卷积神经网络(convolutional neuralnetwork,cnn)的模型转向依赖transformer架构的模型。尽管它们具有捕捉全局特征和丰富图像恢复视觉质量的增强能力,但transformer也引入了更多的模型参数和计算需求。对于有效的图像恢复,关键考虑因素包括减少模型参数和计算复杂性。虽然现有的一些图像恢复方法重点关注于空间域特征学习和建模,可以增强图像恢复效果,但这是以增加计算为代价。

3、因此,如何提供一种高效的并且能适用于多种退化类型图像恢复的方法,实现对多种退化图像恢复并且保证效率,成为一个亟待解决的技术问题。


技术实现思路

<p>1、本专利技术要解决的技术问题,在于提供一种增强空间特征优化的图像恢复方法,可适用不同退化类型图像的恢复,提高图像恢复质量的同时减少计算复杂性,实现高效的图像恢复过程。

2、本专利技术是这样实现的:一种增强空间特征优化的图像恢复方法,所述方法包括:

3、步骤s1、将待处理图像重采样为三个尺寸,分别为原始尺寸、1/2原始尺寸和1/4原始尺寸;

4、步骤s2、构建网络模型,所述模型包括依次连接的第一编码器、第二编码器、第三编码器、第三解码器、第二解码器和第一解码器;

5、步骤s3、将三个尺寸的图像分别输入到模型的对应编码器中进行编码操作,在所述编码器中将输入的不同图像特征进行融合得到对应的特征图,并经过一个第一卷积层将特征图通道数降至当前编码器匹配的通道数,再依次经过七个连续的残差卷积结构、第二卷积层、第三卷积层处理后将处理结果分别发送给下一个编码器和对应的解码器,其中,将原始尺寸的图像输入到第一编码器,将1/2原始尺寸的图像输入到第二编码器,将1/4原始尺寸的图像输入到第三编码器,所述第二编码器的输入还包括第一编码器的输出,第三编码器的输入还包括第二编码器的输出;

6、步骤s4、在每一解码器中,将输入的不同特征图进行融合得到对应的特征图,并经过一个第四卷积层将特征图通道数降至当前解码器匹配的通道数,再依次经过七个连续的残差卷积结构、第五卷积层、空间特征优化模块和第六卷积层处理后将处理结果发送给下一个解码器,直至得到最后一个解码器的输出,所述第三解码器的输入包括第三编码器的输出,第二解码器的输入包括第二编码器的输出和第三解码器的输出,第一解码器的输入包括第一编码器的输出和第二解码器的输出;

7、步骤s5、将最后一个解码器的输出作为最终预测结果。

8、进一步的,在每一编码器前,先将重采样得到的对应尺寸图像特征经过一个第七卷积层将特征图通道数提升到当前编码器对应的通道数后输入到当前编码器中。

9、进一步的,不同特征图之间的融合采用联结方式进行融合。

10、进一步的,所述空间特征优化模块的优化过程具体为:先将输入的特征图进行分化为三个不同尺度,包括对第一分支特征图进行平均下采样2倍得到第一特征图i/2,对第二分支图进行平均下采样4倍得到第二特征图i/4以及对输入特征图不做处理的第三特征图,然后对i/2和i/4分别以特定窗口大小拆分为分片特征,对所有窗口分片特征内做非局部运算建立局部内的非局部关联后,重组所有的分片特征,并对其中的i/4重组后的特征在空间维度做全局自注意力运算,接着对第一分支进行上采样2倍,对第二分支进行上采样4倍,再将未做处理的第三分支与处理后的第一分支和第三分支进行像素级相加运算,之后送入到两个可学习加权滤波器中进行调整后输出特征图。

11、进一步的,所述两个可学习加权滤波器的处理过程具体为,将特征图分别传入至两个5×5的卷积层,其中一个卷积层用于学习低通滤波器,另外一个卷积层用于卷积处理并将卷积处理后的特征减去低通滤波器得到高通滤波器,然后将低通滤波器和高通滤波器进行联结后,再通过一个卷积层输出。

12、进一步的,所述步骤s5还包括:每一解码器后经过一个第八卷积层对特征图的通道数进行压缩以输出当前尺寸的恢复图。

13、进一步的,所述模型采用深度监督技术进行训练,利用每一第八卷积层的输出来计算损失。

14、本专利技术具有如下优点:本专利技术基于空间维度局部与非局部属性特征优化构建轻量图像恢复模型,将退化图像传入编码器进行编码,获得多层次特征图,在编码阶段,支持多尺度的退化图像输入进行融合,并将编码阶段得到的多层次特征图传入解码器进行图像恢复,还以深度监督方式训练模型,输出三个阶段的恢复结果图,在每个解码模块中,包含本专利技术提出的核心空间特征优化模块,结合了多尺度特征学习以及融合、基于局部窗口特征的非局部注意机制以及和加权滤波器调制技术来充分利用空间域特征,有效处理不同粒度的退化元素,实现高效高质量的图像恢复。

本文档来自技高网
...

【技术保护点】

1.一种增强空间特征优化的图像恢复方法,其特征在于:所述方法包括:

2.根据权利要求1所述的一种增强空间特征优化的图像恢复方法,其特征在于:在每一编码器前,先将重采样得到的对应尺寸图像特征经过一个第七卷积层将特征图通道数提升到当前编码器对应的通道数后输入到当前编码器中。

3.根据权利要求1所述的一种增强空间特征优化的图像恢复方法,其特征在于:不同特征图之间的融合采用联结方式进行融合。

4.根据权利要求1所述的一种增强空间特征优化的图像恢复方法,其特征在于:所述空间特征优化模块的优化过程具体为:先将输入的特征图进行分化为三个不同尺度,包括对第一分支特征图进行平均下采样2倍得到第一特征图I/2,对第二分支图进行平均下采样4倍得到第二特征图I/4以及对输入特征图不做处理的第三特征图,然后对I/2和I/4分别以特定窗口大小拆分为分片特征,对所有窗口分片特征内做非局部运算建立局部内的非局部关联后,重组所有的分片特征,并对其中的I/4重组后的特征在空间维度做全局自注意力运算,接着对第一分支进行上采样2倍,对第二分支进行上采样4倍,再将未做处理的第三分支与处理后的第一分支和第三分支进行像素级相加运算,之后送入到两个可学习加权滤波器中进行调整后输出特征图。

5.根据权利要求4所述的一种增强空间特征优化的图像恢复方法,其特征在于:所述两个可学习加权滤波器的处理过程具体为,将特征图分别传入至两个5×5的卷积层,其中一个卷积层用于学习低通滤波器,另外一个卷积层用于卷积处理并将卷积处理后的特征减去低通滤波器得到高通滤波器,然后将低通滤波器和高通滤波器进行联结后,再通过一个卷积层输出。

6.根据权利要求1所述的一种增强空间特征优化的图像恢复方法,其特征在于:所述步骤S5还包括:每一解码器后经过一个第八卷积层对特征图的通道数进行压缩以输出当前尺寸的恢复图。

7.根据权利要求6所述的一种增强空间特征优化的图像恢复方法,其特征在于:所述模型采用深度监督技术进行训练,利用每一第八卷积层的输出来计算损失。

...

【技术特征摘要】

1.一种增强空间特征优化的图像恢复方法,其特征在于:所述方法包括:

2.根据权利要求1所述的一种增强空间特征优化的图像恢复方法,其特征在于:在每一编码器前,先将重采样得到的对应尺寸图像特征经过一个第七卷积层将特征图通道数提升到当前编码器对应的通道数后输入到当前编码器中。

3.根据权利要求1所述的一种增强空间特征优化的图像恢复方法,其特征在于:不同特征图之间的融合采用联结方式进行融合。

4.根据权利要求1所述的一种增强空间特征优化的图像恢复方法,其特征在于:所述空间特征优化模块的优化过程具体为:先将输入的特征图进行分化为三个不同尺度,包括对第一分支特征图进行平均下采样2倍得到第一特征图i/2,对第二分支图进行平均下采样4倍得到第二特征图i/4以及对输入特征图不做处理的第三特征图,然后对i/2和i/4分别以特定窗口大小拆分为分片特征,对所有窗口分片特征内做非局部运算建立局部内的非局部关联后,重组所有的分片特征,并对其中的i/4重组后的特征在空...

【专利技术属性】
技术研发人员:孙晓帅谷雨斌陈思亭纪荣嵘
申请(专利权)人:厦门大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1