卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法技术

本发明专利技术提供了一种卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法，属于计算机视觉及图像处理领域。首先，对图像超分辨率重建训练集中的原始数据进行预处理，构建出成对的LR

【技术实现步骤摘要】
卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法


[0001]本专利技术涉及计算机视觉
及图像处理领域，具体涉及一种将卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法。

技术介绍

[0002]图像超分辨率重建技术指的是将给定的低分辨率图像通过一定的算法恢复成与之对应的高分辨率图像。图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，高分辨率图像中往往包含更丰富的纹理细节，并且具有更高的可信赖度。在现实生活中具有广泛的运用，如：对视频监控的图像进行超分辨率重建，可以更好的复原出视频监控中的人和物，从而能够准确的找到所需要的目标。然而，以往的方法虽然取得了令人满意的结果，但是模型大小以及计算复杂度的增加限制了它们在现实世界中的应用。因此，如何实现图像超分辨率重建模型大小和性能之间的平衡成为了一项重要且艰巨的任务。
[0003]目前来说，图像超分辨率重建的方法主要分为三种：基于插值的方法、基于重构的方法以及基于学习的方法。在早期，大多数重建方法都是采用的基于插值的方法，最常见的包含双线性插值以及双三次插值法，这类方法计算较为简单、易于理解并且便于实现，但是在最终的重建结果会出现振铃效应以及高频信息丢失严重的问题。在这之后，出现了很多基于重构的方法，这类方法从图像的降质退化模型出发，结合图像的先验知识来约束超分辨率图像的生成。而基于学习的方法则是通过学习过程获得先验知识，来指导高分辨率图像生成。
[0004]随着深度学习的流行，出现了很多基于深度学习的图像超分辨率重建算法，一类主要是通过不断增加网络深度与宽度，提高模型的重建性能，从而重建出高质量的重建结果，比如EDSR、RCAN以及SAN等等。这类方法虽然可以获得较高的PSNR，但是网络的参数数量和计算量也大大增加，这限制了它们在现实世界中的应用；另一类是轻量级的图像超分辨率重建网络的研究，比如IMDN、RFDN、SMSR以及LAPAR等等，这类方法可以虽然可以以较低的参数量恢复出部分图像的细节，但是无法在模型的大小和性能之间实现良好的平衡。这些轻量级的超分辨率重建方法往往都是纯卷积神经网络模型，这也代表了这些网络只能提取局部特征，这并不利于图像纹理细节的恢复。

技术实现思路

[0005]针对现有技术中存在的上述问题，本专利技术提出一种将卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法，该方法可以在较低的参数量和计算量的情况下，恢复出更多的细节特征，缓解了现有轻量级图像超分辨率重建方法无法实现模型性能和大小之间的平衡的问题。
[0006]为实现上述目的，本专利技术的技术方案为：
[0007]一种将卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法，
Fusion module,MFFM)构成，将上述提取好的特征F
ACB
送入到MFFM模块中，将会首先进入到移动卷积模块(Mobile convolution module,MBConv)，MBConv采用了1
×
1的卷积以及3
×
3的反卷积来进行特征提取，其具体计算如下所示：
[0028]F
MBConv
＝f1×1(f
SCA
(f
d3
×3(f1×1(LN(F
ACB
)))))+F
ACB
ꢀꢀꢀꢀ
(4)
[0029][0030]其中F
MBConv
代表经过MBConv模块提取到的局部特征，LN表示的是LayerNorm归一化方法，f1×1(
·
)表示的是卷积核大小为1
×
1的卷积功能函数，f
d3
×3(
·
)表示的是3
×
3的深度卷积(Depthwise)，f
SCA
(
·
)表示的是高效注意力SCA模块的功能函数，SCA模块是在通道注意力SENet基础上，去掉多余的卷积层以及激活函数，并且为了拥有一定的计算复杂度，将SCA的特征维度调整为原来的4倍。
[0031]步骤2.2.2：将以上得到的结果F
MBConv
送入到多尺度前馈网络(MultiscaleFeedforward Network,MFFN)中，MFFN采用LN归一化以及两个1
×
1的卷积进行特征提取，得到输出结果F1，公式如下：
[0032]F1＝f1×1(f1×1(LN(F
MBConv
)))
ꢀꢀꢀꢀ
(6)
[0033]步骤2.2.3：其次将F1和F
MBConv
送入到多尺度通道注意力模块(Multi
‑
Scale Channel Attention Module,MS
‑
CAM)，得到输出结果F2，其具体的公式如下所示：
[0034]F2＝f
MS
‑
CAM
(F1+F
MBConv
)
ꢀꢀꢀꢀꢀ
(7)
[0035][0036]Y＝F1+F
MBConv
ꢀꢀꢀꢀꢀꢀ
(9)
[0037]其中f
MS
‑
CAM
(
·
)表示的是MS
‑
CAM模块的功能函数，表示的是点积运算，Y表示的是F1与F
MBConv
两者之和。
[0038]步骤2.2.4：然后，将上述得到的结果F1与F2相加，从而得到最终的输出F
MFFM
，其公式如下：
[0039][0040]步骤2.2.5：最终，将输入到MFF
‑
CNN网络中的所有输出通过Concat串联起来，得到最终的输出结果F
MFF
‑
CNN
，公式如下所示：
[0041][0042][0043][0044]在这里，表示第i个MFFM模块的输出，表示的是第i个MFFM模块的功能函数，n表示的是MFFM模块的数量，F
MFF
‑
CNN
表示MFF
‑
CNN网络的输出，Concat表示的是沿通道的串联操作。
[0045]步骤2.3：将经过多尺度特征融合注意力的卷积神经网络提取到的特征F
MFF
‑
CNN
送入到多重注意力模块当中，其公式如下：
[0046]F
MAB
＝f3×3(f
MAB
(f3×3(F
MFF
‑
CNN
)))
ꢀꢀꢀꢀꢀꢀ
(14)
[0047]其中，F
MAB
代表经过MAB模块学习到的特征，f
MAB
(
·本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法，其特征在于，该方法包括以下步骤：步骤1：对单图像超分辨率重建训练数据集中的原始数据进行预处理，构建出成对的低分辨率图像
‑
高分辨率图像训练数据；步骤2：构建卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建网络，将预处理好的训练数据输入到网络中；步骤3：采用L1作为训练损失函数进行训练，得到最终的训练好的超分辨率重建网络模型；步骤4：加载步骤3得到的模型，将所需要超分的图片输入到超分辨率重建网络模型中，得到低分辨率图像所对应的高分辨率图像。2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括：步骤1.1：将原始数据集中高分辨率图像HR进行裁剪操作，每张图片裁剪若干张128
×
128的子图，用来扩充数据集；步骤1.2：通过MATLAB使用双三次核函数对高分辨率图像进行4倍的下采样从而获得低分辨率图像LR，采用成对的LR
‑
HR作为超分辨率重建网络的训练集。3.根据权利要求1或2所述的方法，其特征在于，所述步骤2具体包括：步骤2.1：首先将I
LR
输入到非对称卷积模块ACB中进行浅层特征提取，具体的公式如下所示：F
ACB
＝f
ACB
(I
LR
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中F
ACB
代表经过ACB模块提取到的浅层特征；f
ACB
(
·
)表示的是ACB模块的功能函数，I
LR
代表的是输入的低分辨率图像；步骤2.2：将步骤2.1经过浅层特征提取得到的结果输入到基于多尺度特征融合注意力的卷积神经网络MFF
‑
CNN中，其计算公式下所示：F
MFF
‑
CNN
＝f
MFF
‑
CNN
(F
ACB
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，F
MFF
‑
CNN
表示的是经过MFF
‑
CNN网络提取得到的局部特征，f
MFF
‑
CNN
(
·
)表示的是MFF
‑
CNN网络的功能函数；步骤2.3：将经过多尺度特征融合注意力的网络提取到的特征F
MFF
‑
CNN
送入到多重注意力模块当中，其公式如下：F
MAB
＝f3×3(f
MAB
(f3×3(F
MFF
‑
CNN
)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，F
MAB
代表经过MAB模块学习到的特征，f
MAB
(
·
)表示的是MAB模块的功能函数；步骤2.4：将得到的输出结果F
MAB
以及F
ACB
输入到最后的上采样重建模块中，得到最终重建出来的高分辨率图像，并且保存训练模型和评价指标，输出用如下公式表示：I
SR
＝f
Sub
‑
pixel
(F
MAB
+F
ACB
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，I
SR
代表的是最终网络重建出来的高分辨率图像。4.根据权利要求3所述的方法，其特征在于，所述步骤2.1具体包括：在网络的第一层采用ACB模块，即使用3
×
3、1
×
3以及3
×
1卷积核来从输入图像中提取浅层特征，最后将以上三个卷积层的计算结果进行融合从而获得最终卷积层的输出；ACB模块的完整操作定义如下所示：F
ACB
＝f3×3(I
LR
)+f1×3(I
LR
)+f3×1(I
LR
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
其中，f3×3(
·
)、f1×3(
·
)和f3×1(
·
)分别表示卷积核大小为3
×
3、1
×
3和3
×
1的卷积功能函数。5.根据权利要求3所述的方法，其特征在于，所述步骤2.2具体包括：步骤2.2.1：MFF
‑
CNN主要由14个多尺度特征融合模块MFFM构成，将提取好的特征F
ACB
送入到MFFM模块中，将会首先进入到移动卷积模块MBConv，MBConv采用了1
×
1的卷积以及3
×
3的反卷积来进行特征提取，其具体计算如下所示：F
...

【专利技术属性】
技术研发人员：周东生，张炜，樊万姝，王鹏飞，张强，魏小鹏，
申请(专利权)人：大连大学，
类型：发明
国别省市：