一种基于多阶段渐进式的图像恢复方法技术

本发明专利技术中提出了一种基于多阶段渐进式的图像恢复方法，是一种新颖的协同设计，可以最优地平衡这些竞争目标。这是一个多阶段架构，逐步学习退化输入的恢复功能，从而将整个恢复过程分解为更易于管理的步骤。模型首先使用编码器

【技术实现步骤摘要】
一种基于多阶段渐进式的图像恢复方法


[0001]本专利技术主要涉及深度学习技术的图像处理领域，具体内容是涉及一种基于多阶段渐进式的图像恢复方法。

技术介绍

[0002]图像修复是利用退化过程的先验知识，去恢复已被退化图像的本来面目。退化图像的典型例子包括噪声、模糊、雨、雾霾等。当存在无限可行解时，它是一个高度不适定问题。为了将解空间限制在有效/自然图像上，现有的恢复技术明确地使用了通过经验观察手工制作的图像先验。然而，设计这样的先验是一项具有挑战性的任务，并且通常不能推广。为了改善这个问题，最近最先进的方法采用卷积神经网络(cnn) 通过从大规模数据中捕捉自然的图像统计信息，隐含地学习更多的一般性预设。

技术实现思路

[0003]基于cnn的方法相对于其他方法的性能提高主要归功于其模型设计。许多用于图像恢复的网络模块和功能单元已经被开发出来，包括递归残差学习、扩张卷积、注意力机制、密集连接、编码器
‑
解码器和生成模型。然而，几乎所有这些低级视觉问题的模型都是基于单阶段方法。相比之下，在诸如姿态估计、场景解析和动作分割等高级视觉问题中，多阶段网络被证明比单阶段网络更有效。
[0004]最近，很少有人将多阶段设计引入到图像去模糊化以及图像去污。通过分析这些方法来识别阻碍其性能的体系结构瓶颈。首先，现有的多阶段技术要么采用编码器
‑
解码器体系结构，该体系结构在编码广泛的上下文信息时有效，但在保存空间图像细节时不可靠;要么使用单尺度管道，该体系结构提供空间精确，但语义上不太可靠的输出。然而，在一个多阶段的架构中，这两种设计选择的组合是需要有效的图像恢复。其次，将一个阶段的输出传递到下一个阶段会产生次优结果。第三，与不同的是，对于逐步恢复，在每个阶段提供真实的监督是重要的。最后，在多阶段处理过程中，需要一种机制将中间特性从上一阶段传播到下一阶段，以便从编码器
‑
解码器分支保留上下文信息特征。
[0005]本专利提出了一个多阶段渐进的图像恢复体系结构，称为MPRNet，有几个关键组件。1).前一阶段采用编码器
‑
解码器学习多尺度的上下文信息，而最后一阶段基于原始图像的分辨率来保留空间细节。在每两个阶段之间插入一个监督注意模块(SAM)，实现逐步学习。在真实图像的引导下，该模块利用前一阶段的预测计算出注意力图，然后利用这些注意力图来细化上一阶段的特征，然后再传递到下一阶段。3)提出了一种跨阶段特征融合(CSFF)机制，可以将情景化的多尺度特征从上一阶段传播到下一阶段。此外，该方法简化了阶段间的信息流动，有效地稳定了多阶段网络优化。
附图说明
[0006]图1为本专利技术的整体流程图；
图2为本专利技术的编码器
‑
解码器框图；图3为本专利技术的原始分辨网络框图；图4为本专利技术的第二阶段跨级融合模块图；图5为本专利技术的第三阶段跨级融合模块图。
具体实施方式
[0007]为了使本专利技术有更好的检测效果，下面结合附图声明和具体实施方案，进行更加详细的描述。需要说明的是，此处所描述的具体实施方案仅用于解释本专利技术，并不用于限定本专利技术。
[0008]所提出的图像恢复框架如图所示，包括三个逐步恢复图像的阶段。前两个阶段是基于编码器
‑
解码器的子网，它们学习由于大的接收域而产生的广泛的上下文信息。由于图像恢复是一个位置敏感的任务(需要从输入到输出的像素对像素的对应)，最后阶段采用了一个子网络，该子网络操作于原始输入图像的分辨率(不进行任何下采样操作)，从而在最终输出图像中保留所需的良好纹理。
[0009]在每两个阶段之间加入一个监督注意模块。在地面真实图像的监督下，模块在将上一阶段的特征图传递到下一阶段之前，对其进行了缩放。此外，引入了一种跨阶段的特征融合机制，该机制利用上一阶段子网络的中间多尺度上下文化特征来强化后一个子网络的中间特征。
[0010]将输入图像分割为不重叠的图像块: 第一阶段为4个，第二阶段为2个，最后阶段为原始图像，如图1所示。
[0011]在任意给定的 阶段，模型不是直接预测恢复后的图像，而是预测残差图像，将原始输入图像加入残差图像，得到。用以下损失函数对MPRNet端到端进行优化: (1)其中为真实图像，为Charbonnier损失: (2)所有实验的均为常数，经验设置为。另外，为边缘损失，定义为:
ꢀꢀꢀ
(3)其中为拉普拉斯算子。式(1)中的参数控制了两个损失项的相对重要性，设为0.05，如关键模块。
[0012]现有的用于图像恢复的单级cnn通常使用以下结构设计之一:1).编码器
‑
解码器，或2).单尺度特征管道。由于两者对于图像恢复都有各自的优势，其中单阶段方法不可以将两者的优势结合在一起，所以为了利用这两种设计的优点，本专利提出了一个多阶段框架，
其中上一阶段包含编码器
‑
解码器网络，而最后阶段采用了一个基于原始输入分辨率的网络。
[0013]编码器
‑
解码器模块。图2显示了编码器
‑
解码器子网，它基于标准的U
‑
Net，由以下组件构成。首先，添加通道注意块(cab)来提取每个尺度上的特征(cab见图3)。其次，U
‑
Net跳过连接的特征映射也使用CAB处理。最后，在解码器中，使用双线性上采样和卷积层，而不是使用转置卷积来提高特征的空间分辨率。这有助于减少输出图像中经常出现的由转置卷积引起的棋盘效应。
[0014]原始分辨率模块。为了保留从输入图像到输出图像的细节特征，在最后阶段引入了原始分辨率模块(ORSNet)(见图1)。ORSNet没有进行任何下采样操作，生成了空间丰富的高分辨率特征。它由多个原始分辨率块(orb)组成，每个orb进一步包含cab。ORB原理图如图3所示。
[0015]在网络框架中两个编码器
‑
解码器之间引入了CSFF模块(见图4)，在编码器
‑
解码器和ORSNet之间引入了CSFF模块(见图4)。将一个阶段的特征传播到下一个阶段进行聚合之前，使用1
ꢀ×ꢀ
1卷积进行细化。CSFF模块有几个优点。第一，它减少了编码器
‑
解码器中重复使用上下采样操作所造成的信息损失。第二，一个阶段的多尺度特征有助于丰富下一个阶段的特征。第三，网络优化过程变得更加稳定，因为它简化了信息流，所以在整体架构中添加几个阶段也不会造成计算和内存过大开销。
[0016]在每两个阶段之间引入了一个监督注意模块，实现性能的显著提高。SAM的原理图如图4所示。首先，它在每个阶段提供了对渐进图像恢复有用的真实监控信号。其次，在局部监督预测的帮助下，生成注意图来去除当前阶段信息较少的特征，只允许有用的特征传播到下一阶段。
[0017]如图4所示，SAM取上一阶段输入特征，首先通过简单的1
ꢀ×ꢀ
1卷积得到残差图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段渐进式的图像恢复方法，其特征在于，该方法采用多阶段的方式融合了解码器
‑
编码器和单尺度特征通道方法的优势，有效的提高图像恢复的精度。2.根据权利要求1所述的基于多阶段渐进式的图像恢复方法，其特征在于，该方法在第一阶段和第二阶段采用了编码器
‑
解码器网络结构根据权利要求1所述的基于多阶段渐进式的图像恢复方法，其特征在于，该方法在第三阶段原始分辨网络结构。3.根据权利要求1、2、3所述的一种基于多阶段渐进式的图像恢复方法，其特征在于，具体包括以下步骤：S1.把雨天数据集Rain1400、模糊数据集GoPro和去噪数据集SIDD中图片按顺序传输...

【专利技术属性】
技术研发人员：刘璐璐，潘斌，候健，
申请(专利权)人：辽宁石油化工大学，
类型：发明
国别省市：