一种基于混合注意力机制的超分辨率重建方法技术

一种基于混合注意力机制的超分辨率重建方法，属于图像处理技术领域。方法包含：收集与选择训练数据集，数据集的预处理、基于混合注意力机制的超分辨率重建网络的搭建、损失函数的选择、网络训练、目标图像的重建。本发明专利技术提出的网络中，构建了一个融合两种不同注意力机制的混合注意力模块，其中空间注意力模块ESA由于其内包含的大跨步卷积，在一定程度上能够捕获到空间维度的上下文信息；通道注意力模块ECA能够根据通道间的依赖关系，有选择性地对相互依赖的通道进行强调。将两个注意力模块的输出特征进行通道拼接后再利用降维层进行融合，得到更好的深层特征表达，从而提高重建后高分辨率图像的质量。高分辨率图像的质量。高分辨率图像的质量。

【技术实现步骤摘要】
一种基于混合注意力机制的超分辨率重建方法


[0001]本专利技术属于图像处理
，具体涉及一种基于混合注意力机制的超分辨率重建方法。

技术介绍

[0002]图像分辨率是描绘图像包含像素密度，细节丰富程度等的指标，一般来说，分辨率越高，图像越清晰。随着科技的发展和生活水平的提高，各行各业对高分辨率图像的需求不断增大，然而，受各种因素的影响，我们得到的图像往往是低分辨率图像，要获得高分辨率图像，可以从硬件和软件层面入手，图像超分辨率重建就是一种从软件层面通过后期处理来获得高分辨率图像的方法，它旨在将降质退化的低分辨率图像重建成细节丰富、边缘清晰的高分辨率图像。
[0003]图像超分辨率重建的网络结构一般比较深，且较为复杂，因此训练难度较大。为了解决这个问题，研究者们基于图像恢复任务的特殊性(即低分辨率图像与其目标图像很似，两者之间相同的信息多，而不同信息少也即残差很小)，引入了残差学习的思想，他们通过添加跳跃连接的方式，将原本的端到端的映射被划分为了线性部分和非线性部分，大部分相同的信息直接由线性部分(跳跃连接)转发到目标图像中，不需要花费太多学习资源；而不同的信息(残差信息)则通过非线性部分(网络主干)重点学习，使得最终的重建图像的质量得到极大的提高。
[0004]由于网络结构的越来越深，使得算力资源仍然是限制其应用与发展的瓶颈。为了进一步提高重建效果，研究者们进一步引入了注意力机制，如RCAN，将有限的算力资源集中在学习对重建有利的残差信息(如边缘、棱角等)上，即给这些信息分配更多的权重，以获得较好的特征表达，进而改善重建效果。
[0005]然而现有方法中使用的通道注意力模块多为SE模块，该模块由于降维操作和无法进行跨通道交互，导致其性能不足。同时，由于图像本身存在非局部相似的现象，仅用通道注意力是很难捕获到这种非局部依赖的。

技术实现思路

[0006]本专利技术的目的是为了解决现有方法在通道维度上使用注意力来强调对重建有利的残差信息(如边缘、棱角等)时，由于使用的通道注意力模块需进行降维操作，导致性能不足，且通道注意力模块很难捕获空间维度上的上下文信息，使得获取的深层特征表达不太理想，因而重建图像的效果提升有限的技术问题，而提出的一种基于混合注意力机制的超分辨率重建方法。
[0007]一种基于混合注意力机制的超分辨率重建方法，它包括以下步骤：
[0008]步骤1：数据集的收集与选择；
[0009]步骤2：数据预处理，包括低分辨率图像的生成、数据集扩充、数据集增强，数据标准化，并获得训练集；
[0010]步骤3：进行网络的优化器的选择和超参数的设计；
[0011]步骤4：进行网络的设计与搭建，包括浅层特征提取部分、深层特征提取部分、特征图放大部分及重建部分的设计与实现；
[0012]步骤5.进行网络的训练与优化，获得最优模型；
[0013]步骤6：对目标图像进行重建，利用步骤5得到的最优模型来重建目标图像。
[0014]在步骤1中，包括以下子步骤：
[0015]步骤1
‑
1：进行高清高分辨率训练集的选择与收集；
[0016]步骤1
‑
2：进行测试集的选择。
[0017]在步骤2中，包括以下子步骤：
[0018]步骤2
‑
1：进行训练集中若干图像对应的低分辨率图像的生成；
[0019]步骤2
‑
2：进行训练集的扩充；
[0020]步骤2
‑
3：进行数据集的增强；
[0021]步骤2
‑
4：进行数据的标准化。
[0022]在步骤3中，选择ADAM优化器来调整网络参数。
[0023]在步骤4中，所建立的网络为基于混合注意力机制的超分辨率重建网络，具体为：
[0024]网络输入LR
→
浅层特征提取层，得特征图F0→
第一混合注意力残差组，得特征图F1→
若干第二混合注意力残差组
→
第三混合注意力残差组，得特征图F
G
→
深层特征提取部分的最后一个二维卷积层；
[0025]浅层特征提取层，深层特征提取部分的最后一个二维卷积层
→
第一特征融合,得特征图F
DF
→
特征图放大部分
→
重建部分
→
重建图像HR
[0026]深层特征提取部分共有G个结构相同的混合注意力残差组，G个混合注意力残差组从输入端到输出端依次串接；每个混合注意力残差组中包含B个从输入端到输出端依次串接的基本残差块，一个混合注意力模块和一个二维卷积层构成。
[0027]混合注意力模块位于残差组的最后一个二维卷积层之前，而非残差块中，这种构造能够在强化重要信息和捕获依赖关系的同时加快网络模型的训练和重建速度。
[0028]混合注意力残差组的输入
→
第一基本残差块
→
若干第二基本残差块
→
第三基本残差块
→
混合注意力模块
→
混合注意力残差组中的最后一个二维卷积层；
[0029]混合注意力残差组的输入，混合注意力残差组中的最后一个二维卷积层
→
特征融合
→
混合注意力残差组的输出；
[0030]混合注意力模块的输入
→
通道注意力模块ECA；
[0031]混合注意力模块的输入
→
空间注意力模块ESA；
[0032]通道注意力模块，空间注意力模块
→
通道拼接的Contact
→
通道降维的1*1卷积层
→
混合注意力模块的输出；
[0033]第一混合注意力残差组、第二混合注意力残差组、第三混合注意力残差组的结构相同；以第一混合注意力残差组为例具体如下：
[0034]第一混合注意力残差组输入的特征图F0→
第一基本残差块，得特征图F
1,1
→
若干第二基本残差块
→
第三基本残差块，得特征图F
1,B
→
混合注意力模块，得特征图R1→
第一混合注意力残差组中的最后一个二维卷积层；
[0035]第一混合注意力残差组输入的特征图F0,第一混合注意力残差组中的最后一个二
维卷积层
→
第二特征融合
→
第一混合注意力残差组的输出F1；
[0036]混合注意力模块的输入F
1,B
→
通道注意力模块ECA；
[0037]混合注意力模块的输入F
1,B
→
空间注意力模块ESA；
[0038]通道注意力模块，空间注意力模块
→
通道拼接的Contact
→
通道降本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合注意力机制的超分辨率重建方法，其特征在于，它包括以下步骤：步骤1：数据集的收集与选择；步骤2：数据预处理，包括低分辨率图像的生成、数据集扩充、数据集增强，数据标准化，并获得训练集；步骤3：进行网络的优化器的选择和超参数的设计；步骤4：进行网络的设计与搭建，网络包括浅层特征提取部分、深层特征提取部分、特征图放大部分；步骤5.进行网络的训练与优化，获得最优模型；步骤6：对目标图像进行重建，利用步骤5得到的最优模型来重建目标图像；在步骤1中，包括以下子步骤：步骤1
‑
1：进行高清高分辨率训练集的选择与收集；步骤1
‑
2：进行测试集的选择；在步骤2中，包括以下子步骤：步骤2
‑
1：进行训练集中若干图像对应的低分辨率图像的生成；步骤2
‑
2：进行训练集的扩充；步骤2
‑
3：进行数据集的增强；步骤2
‑
4：进行数据的标准化。2.根据权利要求1所述的方法，其特征在于，在步骤4中，所建立的网络为基于混合注意力机制的超分辨率重建网络，具体为：网络输入LR
→
浅层特征提取层(1)，得特征图F0→
第一混合注意力残差组(2)，得特征图F1→
若干第二混合注意力残差组(3)
→
第三混合注意力残差组(4)，得特征图F
G
→
深层特征提取部分的最后一个二维卷积层(5)；浅层特征提取层(1)，深层特征提取部分的最后一个二维卷积层(5)
→
第一特征融合(17),得特征图F
DF
→
特征图放大部分(6)
→
重建部分(7)
→
重建图像HR。3.根据权利要求2所述的方法，其特征在于，混合注意力残差组具体如下：第一混合注意力残差组输入的特征图F0→
第一基本残差块(8)，得特征图F
1,1
→
若干第二基本残差块(9)
→
第三基本残差块(10)，得特征图F
1,B
→
混合注意力模块(11)，得特征图R1→
第一混合注意力残差组中的最后一个二维卷积层(12)；第一混合注意力残差组输入的特征图F0,第一混合注意力残差组中的最后一个二维卷积层(12)
→
第二特征融合(18)
→
第一混合注意力残差组的输出F1。4.根据权利要求3所述的方法，其特征在于，混合注意力模块(11)具体如下：混合注意力模块的输入F
1,B
→
通道注意力模块ECA(13)；混合注意力模块的输入F
1,B
→
空间注意力模块ESA(14)；通道注意力模块ECA(13)，空间注意力模块ESA(14)
→
通道拼接的Contact(15)
→
通道降维的1*1卷积层(16)
→
混合注意力模块的输出R1。5.根据权利要求1所述的方法，其特征在于，在步骤4中，在使用所建立的网络时，包括以下步骤：步骤4
‑
1：进行浅层特征提取；浅层特征提取shallow feature extraction是由网络中第一个二维卷积层(1)实现，
用于从输入的低分辨率图像I
LR
中提取浅层特征，具体采用式(1)；F0＝H
SFE
(I
LR
)
ꢀꢀ
(1)其中H
SRE
(
·
)为二维卷积运算，其输出F0为浅层特征，将作为深层特征提取部分的输入；步骤4
‑
2：进行深层特征提取；深层特征提取部分由G个混合注意力残差组channel and spatial attention residual group,CSARG由一个长跳连接和一个二维卷积层(5)构成，用于从浅层特征中进一步提取深层特征；根据步骤4
‑
1得到的浅层特征，进一步得到深层特征，深层特征由式(2)获得；F
DF
＝H
DFE
(F0)
ꢀꢀ
(2)其中H
DFE
(
·
)深层特征提取部分的运算，其输出F
DF
为深层特征；步骤4
‑
3：对深层特征进行放大；深层特征放大部分采用的亚像素卷积模块(6)，该部分用于将深层特征放大至目标图像尺寸；用式(3)实现深层特征放大F
UP
＝H
UP
(F
DF
)
ꢀꢀ
(3)其中H
UP
(
·
)表示亚像素卷积模块的运算，F
UP
表示放大后的特征；步骤4
‑
4：对放大后的特征图进行重建；对放大后的特征图进行重建，该部分使用一个二维卷积层(7)来实现，重建图像由式(4)获得；I
SR
＝H
REC
(F
UP
)＝H
CSARN
(I
LR
)
ꢀꢀ
(4)其中，I
SR
为最终的重建图像，H
...

【专利技术属性】
技术研发人员：江曙，王俊英，
申请(专利权)人：三峡大学，
类型：发明
国别省市：