【技术实现步骤摘要】
本专利技术涉及图像处理，具体地，涉及一种基于cnn和transformer级联的轻量化图像超分辨率重建方法。
技术介绍
1、随着高清显示设备的逐渐普及，图像传输的数据量不断增加。高清图像在提升人们视觉体验的同时，也带来了新的挑战。例如，如何用更简洁高效的方式提高图像的分辨率成为了亟待解决的问题。图像超分辨率技术应运而生，它是计算机视觉中一个基本的低级视觉问题，它通过软件算法的方式将低分辨率(low resolution，lr)图像转换成高分辨率(high resolution，hr)图像，提升了人们的观看体验。
2、然而，受到硬件限制、环境等因素的影响，移动端设备无法存储大量数据，传统方法无法满足此需求。为解决这一问题，研究人员提出了轻量化超分辨率算法，以在计算成本受限的情况下平衡模型的复杂性和性能。这些算法通过优化模型结构和参数，实现了在移动设备上高效运行的目标，从而为用户带来更好的图像处理体验。
3、经检索，中国专利技术专利申请cn114926337a，公开了一种基于cnn和transformer混合网络的单幅图像超分辨率重建方法及系统，该方法以cnn和transformer混合网络作为单幅图像超分辨率重建的深度网络，将低分辨率图像输入到cnn和transformer混合网络，混合网络输出重建的高分辨率图像，有利于重建出更加清晰的高分辨率图像。该专利直接进行跳跃连接导致获得的特征信息不够丰富的问题，重建图像的主客观指标变得需要进一步提高。
技术实现思路
2、本专利技术的第一方面，提供一种基于cnn和transformer级联的轻量化图像超分辨率重建方法，包括：
3、构建训练样本集和测试样本集；
4、构建超分辨率重建网络，所述超分辨率重建网络包括并行的两个分支，其中第一分支是特征金字塔分支，第二分支是基于cnn和transformer级联的主分支；
5、将所述训练样本集输入超分辨率重建网络，通过两个分支分别处理深度特征，所述第一个分支通过特征金字塔提取模块和双分支的通道注意力机制实现轻量化的超分辨率技术处理，第二分支通过transformer和cnn级联模块提取图像先全局后局部的特征；
6、将两个分支处理后的图像进行拼接，得到重建后的图像；
7、计算重建后的图像和真实图像之间的正则化损失，经不断地反向传播训练所述超分辨率重建网络，进行训练学习，得到训练后的最终超分辨率重建网络；
8、将测试样本集输入最终的超分辨率重建网络，得到图像的重建结果。
9、可选地，所述构建训练样本集，包括：对训练样本集进行n倍的基于双三次插值的下采样处理，获取高分辨率图像所对应的低分辨率图像；将所述训练样本集经过裁切或/和旋转操作，扩充训练数据的数量。
10、可选地，所述第二分支中，通过transformer模块提取全局信息，再由cnn模块提取局部信息，通过所述全局信息和所述局部信息理解全局上下文和不同图像区域之间的关系。
11、可选地，所述第二分支包括依次连接的多个第一卷积组、transformer和cnn级联模块、多个第二卷积组和上采样模块，所述transformer和cnn级联模块由多个transformer和cnn级联组合块串联构成，输入图像依次经过多个第一卷积组、transformer和cnn级联模块和多个第二卷积组，第一卷积组提取图像的浅层特征，浅层特征依次经过多个所述transformer和cnn级联组合块后提取图像的深度特征，然后所述深度特征再经过第二卷积组，进行像素重组上采样操作后，得到上采样图像，所述上采样图像作为所述第二分支的输出。
12、可选地，每个所述transformer和cnn级联组合块，包括依次连接的swintransformer模块、特征提取模块以及esa空间注意力模块，其中：swin transformer的深度是2，最大相对位置长度为l；特征提取模块连接全局信息和局部信息，同时防止梯度消失，esa空间注意力模块能够使得特征集中在更感兴趣的空间区域；
13、所述swin transformer中，第l层和第l+1层中每个阶段的输出，具体有以下内容：
14、
15、
16、
17、
18、其中，ln表示归一化层，w-msa表示基于窗口的多头自注意力模块，sw-msa表示基于移位窗口的多头自注意力模块，mlp是指多层感知机，和分别表示w-msa和sw-msa模块的输出，而sl和sl+1分别表示前一个和后一个swin transformer中多层感知机的输出。
19、可选地，所述特征提取模块由残差连接、卷积层、gelu激活函数以及relu激活函数组成，该模块连接transformer结构和esa空间注意力模块，所述gelu激活函数能够更好的提取关于transformer网络的特征。
20、可选地，所述第一分支中，所述特征金字塔提取模块，对输入图像进行特征提取，通过特征通道分离和加权交叉组合获得特征更多的表达信息，同时使用基于双分支通道注意力机制促进关注的特征信息的流向。
21、可选地，所述特征金字塔提取模块包括多个跨通道交叉融合模块和多个双分支通道注意力模块，每个跨通道交叉融合模块的输出同时作为后一个跨通道交叉融合模块的输入和一个双分支通道注意力模块的输入，第一个跨通道交叉融合模块的输入为第一分支的输入，多个双分支通道注意力模块的输出进行加权后再输出，该输出作为第一分支的输出，从而构成一个跨通道交叉融合的结构。
22、可选地，所述跨通道交叉融合模块，实现如下操作：
23、将通道的数量按照给定的通道数设定，将输入到通道分离的操作中来，其中，h、w、c分别表示lr图像的高度、宽度和通道数；
24、按照给定的权重进行通道分离操作，得到和
25、特征先进行残差操作，再进行通道交叉融合，特征直接进行通道交叉融合的操作：
26、
27、
28、其中，concat(·)表示通道融合的操作，frelu(·)表示relu激活函数，fconv(·)表示卷积操作，和是通道交叉融合之后的输出特征；接下来进行卷积层的运算，融合两个特征和最后经过一个卷积层的运算，得到融合后的特征
29、
30、可选地，所述双分支通道注意力模块，其中每支通道进行如下操作：
31、对于给定的输入使用一个3×3的卷积层来提取两个特征的浅层信息
32、
33、其中，f3×3(·)表示3×3的卷积层，表示提取的浅层特征；
34、将浅层特征进入3×3卷积的处理：本文档来自技高网...
【技术保护点】
1.一种基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述第二分支中，通过Transformer模块提取全局信息，再由CNN模块提取局部信息，通过所述全局信息和所述局部信息理解全局上下文和不同图像区域之间的关系。
3.根据权利要求2所述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述第二分支包括依次连接的多个第一卷积组、Transformer和CNN级联模块、多个第二卷积组和上采样模块，所述Transformer和CNN级联模块由多个Transformer和CNN级联组合块串联构成，输入图像依次经过多个第一卷积组、Transformer和CNN级联模块和多个第二卷积组，第一卷积组提取图像的浅层特征，浅层特征依次经过多个所述Transformer和CNN级联组合块后提取图像的深度特征，然后所述深度特征再经过第二卷积组，进行像素重组上采样操作后，得到上采样图像，所述上采样图像作为
4.根据权利要求3所述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，每个所述Transformer和CNN级联组合块，包括依次连接的SwinTransformer模块、特征提取模块以及ESA空间注意力模块，其中：Swin Transformer的深度是2，最大相对位置长度为l；特征提取模块连接全局信息和局部信息，同时防止梯度消失，ESA空间注意力模块能够使得特征集中在更感兴趣的空间区域；
5.根据权利要求4所述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述特征提取模块由残差连接、卷积层、GELU激活函数以及ReLU激活函数组成，该模块连接Transformer结构和ESA空间注意力模块，所述GELU激活函数能够更好的提取关于Transformer网络的特征。
6.根据权利要求1所述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述第一分支中，所述特征金字塔提取模块，对输入图像进行特征提取，通过特征通道分离和加权交叉组合获得特征更多的表达信息，同时使用基于双分支通道注意力机制促进关注的特征信息的流向。
7.根据权利要求6所述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述特征金字塔提取模块包括多个跨通道交叉融合模块和多个双分支通道注意力模块，每个跨通道交叉融合模块的输出同时作为后一个跨通道交叉融合模块的输入和一个双分支通道注意力模块的输入，第一个跨通道交叉融合模块的输入为第一分支的输入，多个双分支通道注意力模块的输出进行加权后再输出，该输出作为第一分支的输出，从而构成基于通道注意力的特征金字塔提取模块。
8.根据权利要求7述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述跨通道交叉融合模块，实现如下操作：
9.根据权利要求7述的基于CNN和Transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述双分支通道注意力模块，其中每支通道进行如下操作：
10.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-9中任一项所述的方法。
...【技术特征摘要】
1.一种基于cnn和transformer级联的轻量化图像超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的基于cnn和transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述第二分支中，通过transformer模块提取全局信息，再由cnn模块提取局部信息，通过所述全局信息和所述局部信息理解全局上下文和不同图像区域之间的关系。
3.根据权利要求2所述的基于cnn和transformer级联的轻量化图像超分辨率重建方法，其特征在于，所述第二分支包括依次连接的多个第一卷积组、transformer和cnn级联模块、多个第二卷积组和上采样模块，所述transformer和cnn级联模块由多个transformer和cnn级联组合块串联构成，输入图像依次经过多个第一卷积组、transformer和cnn级联模块和多个第二卷积组，第一卷积组提取图像的浅层特征，浅层特征依次经过多个所述transformer和cnn级联组合块后提取图像的深度特征，然后所述深度特征再经过第二卷积组，进行像素重组上采样操作后，得到上采样图像，所述上采样图像作为所述第二分支的输出。
4.根据权利要求3所述的基于cnn和transformer级联的轻量化图像超分辨率重建方法，其特征在于，每个所述transformer和cnn级联组合块，包括依次连接的swintransformer模块、特征提取模块以及esa空间注意力模块，其中：swin transformer的深度是2，最大相对位置长度为l；特征提取模块连接全局信息和局部信息，同时防止梯度消失，esa空间注意力模块能够使得特征集中在更感兴趣的空间区域；
5.根据权利要求4所述的基于cnn和transfo...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。