【技术实现步骤摘要】
本专利技术属于计算机视觉，涉及图像超分辨率重建，具体涉及一种基于分支增强的transformer图像高分辨率重建方法。
技术介绍
1、超分辨率(super-resolution，sr)是一个长期存在且具有重要意义的问题，旨在从给定的低分辨率(low-resolution，lr)图像恢复出高分辨率(high-resolution，hr)图像。这一问题在现实生活中普遍存在，并且受限于多种因素。例如，在成像条件不佳的情况下，摄像设备可能无法捕捉到足够清晰的图像。此外，存储空间的限制也常常导致图像在存储过程中被压缩，从而损失了细节信息。在图像通过网络传输时，由于需要在信道前后进行编解码，往往会引入噪声，同时加剧图像的模糊程度。以上这些因素都会导致图像质量的不同程度损失。在计算机视觉领域，图像分辨率是影响下游任务处理结果的关键因素之一。低分辨率图像往往只能保证整体的结构一致性，但却缺乏高频细节信息，从而影响了后续任务的精度和效果。例如，在表情识别、目标检测、图像修复等应用中，较低的分辨率会大大降低算法的性能。表情识别需要捕捉人脸的细微变化，目标检测依赖于清晰的边缘信息，而图像修复则需要恢复出尽可能多的原始细节。
2、早期传统的图像超分辨率重建方法主要有以下三种：基于插值的超分算法，如双三次插值、最近邻插值等；基于退化模型的超分算法，如迭代反投影法、凸集投影法等；基于学习的超分算法，包括稀疏编码方法等。传统的超分算法已经取得了很大的成功，但随着尺度因子的放大，从x2到x3、x4甚至x8，用于超分重建所需要的信息越来越多，人为定义
技术实现思路
1、为了克服上述现有技术的不足，本专利技术的目的提供一种基于分支增强的transformer图像超分辨率重建方法，结合卷积神经网络(convolutional neuralnetwork，cnn)和视觉transformer的图像高分辨率算法，实现更高质量的图像超分辨率重建。
2、为了实现上述目的，本专利技术采用的技术方案是：
3、一种基于分支增强的transformer图像超分辨率重建方法，其特征在于，包括以下步骤：
4、步骤1、浅层特征提取：
5、给定一个低分辨率输入图像ilr(h×w×cin)h、w和cin分别为图像的高度、宽度和输入通道数，采用3×3的卷积层hsf(·)提取浅层特征f0，见公式(1)；
6、f0＝hsf(ilr) (1)；
7、步骤2、深度特征提取；
8、从浅层特征f0中提取深度特征fdf(h×w×c)，见公式(2)；
9、fdf＝hdf(f0) (2)；
10、其中hdf(·)由m个残差bet模块级联构成，用hbet(·)表示，残差连接通过直接将输入传递到后续层，加速收敛速度，见公式(3)；
11、hdf(i)＝hbet(fi-1)i＝1,2…k (3)；
12、bet是由n个pafm模块叠加最后接入一个3x3conv构成，分别由hpafm(·)和hconv(·)表示，见公式(4)；
13、hbet(fi-1)＝hpafm(fi-1)+hconv(fi-1)i＝1,2…k (4)；
14、其中的pafm由cnn辅助分支hcnn(·)(包括se(squeeze and excitation)模块和channel attention模块，w-msa分支hw-msa(·)两分路构成，α为cnn分支的权重因子，因此；
15、hpafm(fj-1)＝α·hcnn(fj-1)+hw-msa(fj-1)j＝1,2…k (5)；
16、步骤3、高分辨率图像重建；
17、通过聚合浅层特征和深层特征来重建高质量的图像isr，其中hre(·)是重建模块的函数，浅层特征主要包含低频信息，深层特征包含恢复丢失的高频信息，同时使用亚像素卷积对特征进行上采样，重建高质量的图像isr见公式(6)；
18、isr＝hre(f0+fdf) (6)。
19、进一步，损失函数对于超分辨率重建图像sr，通过最小化l1像素损失，来优化网络参数和分别为第i张重建图像和高分辨原图像；
20、
21、其中，l1损失函数计算的是实际值与目标值之间绝对差值的总和，在此类有监督的图像超分辨率任务中，目标是使得生成的超分辨率重建图像(sr)尽可能接近真实的高分辨率图像(hr)，使用l1损失计算的则是sr和hr对应像素位置的值的误差。
22、进一步，所述的浅层特征提取模块主要包括一个3x3的卷积和relu激活函数，通过滑动卷积核在输入图像上，计算卷积核与输入图像局部区域的点积，卷积运算的结果，表示为一个新的特征图。卷积运算后，通过relu激活函数进行非线性变换，增加模型的表达能力。
23、进一步，深层特征提取的主体结构包括若干个bet模块的级联以及每个模块的残差连接，每个bet内部主要由若干个pafm模块级联，最后接入3x3的卷积模块和残差连接。
24、进一步，pafm模块是一个并行的图像处理模块，包括卷积支路和w-msa支路，用来提取和增强图像特征，提高模型对不同类型输入的适应性。
25、进一步，pafm模块中：
26、首先，经过layer norm(层归一化)使特征的均值为0、标准差为1，有助于加速网络的训练；
27、之后，输入图像被复制到两个并行路径，每个路径执行不同的特征处理任务，对于卷积支路主要包括squeeze and excitation(se)模块和channel attention(ca)模块；
28、se模块调整图像特征的通道权重，增加重要通道的权重，减少不重要通道的权重，使网络更专注于重要特征，其中主要包括两个3x3conv层，中间加入一个glue激活函数；
29、ca模块进一步提升对重要通道特征的本文档来自技高网...
【技术保护点】
1.一种基于分支增强的Transformer图像超分辨率重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于分支增强的Transformer图像超分辨率重建方法，其特征在于，损失函数对于超分辨率重建图像SR，通过最小化L1像素损失，来优化网络参数和分别为第i张重建图像和高分辨原图像；
3.根据权利要求1所述的一种基于分支增强的Transformer图像超分辨率重建方法，其特征在于，所述的浅层特征提取模块主要包括一个3x3的卷积和ReLU激活函数，通过滑动卷积核在输入图像上，计算卷积核与输入图像局部区域的点积，卷积运算的结果，表示为一个新的特征图。卷积运算后，通过ReLU激活函数进行非线性变换，增加模型的表达能力。
4.根据权利要求1所述的一种基于分支增强的Transformer图像超分辨率重建方法，其特征在于，深层特征提取的主体结构包括若干个BET模块的级联以及每个模块的残差连接，每个BET内部主要由若干个PAFM模块级联，最后接入3x3的卷积模块和残差连接。
5.根据权利要求1所述的一种基于分支增强的Transf
6.根据权利要求5所述的一种基于分支增强的Transformer图像超分辨率重建方法，其特征在于，PAFM模块中：
7.根据权利要求1所述的一种基于分支增强的Transformer图像超分辨率重建方法，其特征在于，所述的高分辨率图像重建将浅层特征、深层特征以及最初的输入特征通过残差连接融合，确保了低频信息和高频细节的有效结合，融合后的特征经过亚像素卷积进行上采样，提升分辨率。
8.根据权利要求7所述的一种基于分支增强的Transformer图像超分辨率重建方法，其特征在于，所述的亚像素卷积通过增加通道数，然后使用像素重组(PixelShuffle)操作将特征图从较低分辨率上采样到较高分辨率，PixelShuffle操作是一种特殊的变换，将多个通道中的相同空间位置的像素重新排列成更大的空间维度。
...【技术特征摘要】
1.一种基于分支增强的transformer图像超分辨率重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于分支增强的transformer图像超分辨率重建方法，其特征在于，损失函数对于超分辨率重建图像sr，通过最小化l1像素损失，来优化网络参数和分别为第i张重建图像和高分辨原图像；
3.根据权利要求1所述的一种基于分支增强的transformer图像超分辨率重建方法，其特征在于，所述的浅层特征提取模块主要包括一个3x3的卷积和relu激活函数，通过滑动卷积核在输入图像上，计算卷积核与输入图像局部区域的点积，卷积运算的结果，表示为一个新的特征图。卷积运算后，通过relu激活函数进行非线性变换，增加模型的表达能力。
4.根据权利要求1所述的一种基于分支增强的transformer图像超分辨率重建方法，其特征在于，深层特征提取的主体结构包括若干个bet模块的级联以及每个模块的残差连接，每个bet内部主要由若干个pafm模块级联，最后接入3x3的卷积模块和残差连接。
5.根据权利...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。