【技术实现步骤摘要】
本专利技术涉及图像处理，具体而言，涉及一种图像超分辨率重建方法、装置和存储介质。
技术介绍
1、单图像超分辨率是计算机视觉和图像处理领域的经典问题，其目标是从低分辨率图像重建出高分辨率图像。随着深度学习技术的快速发展，许多基于cnn(卷积神经网络，convolutional neural network)的方法已经被广泛应用于设计各种图像超分辨率模型。在实现本专利技术的过程中，申请人发现：在现有技术中，大多数通过残差学习，密集连接，或注意力机制来提升图像重建表现，尽管与传统方法相比，这些方法表现出显著的性能提升，但cnn的核心操作是对内容不敏感的。因此，在不同图像区域应用相同的卷积核可能不是最优的。此外，现有方法为了平衡网络性能和计算成本，在相互独立的窗口内进行自注意力操作，这限制了在早期层中采用大的感受野以获取足够的全局信息，导致重建出的图像在细节层面的表现力欠佳。
2、因此，如何提升图像超分辨率重建任务在实际工作中的性能表现成为亟待解决的技术问题。
技术实现思路
1、本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一，公开了一种图像超分辨率重建方法、装置和存储介质，提升了图像超分辨率重建任务在实际工作中的性能表现。
2、本专利技术的第一方面公开了一种图像超分辨率重建方法，包括：接收低分辨率图像；浅层特征提取：对低分辨率图像进行一次卷积操作，得到浅层特征图；深层特征提取：基于多个swin transformer层、一个重叠交叉注意力模块和一个双域
3、在该技术方案中，结合了空间域和频域信息，以充分利用它们的互补优势。空间域更好地捕捉图像的局部特征，而频域则有助于分析图像的整体结构。得益于这些设计，使得本申请在图像重建过程中能够利用更多的整体信息，从而实现显著的性能提升。其中，rhsg单元是一个残差混合swin组，由一系列swin transformer层(stls)、一个ocab(重叠交叉注意力模块)和一个ddcb(双域卷积模块)组成。其中，ocab用于实现相邻窗口间的像素信息传输，以提升性能，ddcb由两个分支组成：频率分支将空间特征映射到频域，并使用resblocks促进图像的全局高频学习，因为快速傅里叶变换的特性，该分支能够从早期层获取全图感受野。空间分支在空间域中使用普通卷积，更专注于局部细节。
4、根据本专利技术公开的图像超分辨率重建方法，优选地，重叠交叉注意力模块的计算过程包括：对于维度为的输入特征x，其中xq被分解为个非重叠的大小为m×m的窗口，xk和sv也被展开为个大小为m0×m0的重叠窗口，m和m0之间的关系如下式所示：
5、
6、其中，常数用于指定重叠区域的比例。
7、在该技术方案中，利用重叠交叉注意力模块(ocab)增强相邻窗口间的信息交互，并充分利用每个窗口内的信息；ocab采用的设计结构类似于标准的swin transformer块，但在ocab中，使用重叠交叉注意力代替标准swin transformer块中基于窗口的多头自注意力(w-msa)部分，在oca中，投影特征被分割为不同的窗口大小，因此，ocab可以从更广泛的空间范围计算key/value，增强窗口间信息的交互，从而提升模型的表达能力。重叠区域的大小影响窗口交叉注意力的对称性。通过调整重叠比例，可以控制重叠区域的大小。此外，确保窗口大小和重叠比例的乘积是一个偶数非常重要。具体来说，当重叠比例为0.5时，窗口大小最好可以被4整除；当窗口大小为15时，重叠比例可以设置为2/3，这有助于保持交叉注意力的对称性，从而提高模型的稳定性和性能。此外，将多头自注意力应用于上述query、key和value的嵌入中，利用transformer中的注意力机制，并采用相对位置编码具体公式如下所示：
8、
9、其中，是一个查询矩阵，是key和value矩阵，d表示query/key的维度，b表示相对位置编码。
10、根据本专利技术公开的图像超分辨率重建方法，优选地，双域卷积模块的空间分支的计算过程包括：特征图x输入双域卷积模块；采用卷积层和残差连接来增强特征的表达能力，表达式为：
11、xspatial＝hclc(x)+x
12、其中，xspatial表示空间分支的输出特征，hclc表示首尾使用1×1的卷积层，中间使用leakyrelu激活函数的组合操作。
13、根据本专利技术公开的图像超分辨率重建方法，优选地，双域卷积模块的频率分支的计算过程包括：特征图x输入双域卷积模块；通过一个卷积层，得到一个更精细的特征图x0，表达式为：
14、x0＝hcl(x)
15、其中，hcl表示一个带有leakyrelu激活函数的3×3卷积层；
16、使用快速傅里叶变换(fft，fast fourier transform)将空间特征转换为频率特征，以便在频率域中捕获长距离的上下文信息，随后进行逆傅里叶变换(ift，inversefourier transform)将频率特征转换回空间特征；最后通过一个卷积操作将通道维度减半，以便与空间特征进行拼接，表达式如下：
17、
18、其中，xfrequency表示频率分支的输出特征，hclc表示首尾使用1×1的卷积层，中间使用leakyrelu激活函数的组合操作，和分别表示快速傅里叶变换和逆傅里叶变换操作，hconv表示1×1卷积层。
19、根据本专利技术公开的图像超分辨率重建方法，优选地，在浅层特征提取的步骤中，卷积操作的卷积核大小为3×3。
20、在该技术方案中，进行浅层特征提取时，给定输入的低分辨率(lr)图像h，w和cin分别是低分辨率图像的高度、宽度和输入通道数。使用一个简单的卷积层来提取浅层特征其中c是中间特征的通道数，表达式为：
21、f0＝hsf(ilr)
22、其中hsf表示3×3卷积操作，仅使用一个卷积层不仅保持了图像本身的低频信息，还提供了一种简单的将输入图像空间映射到更高维的特征空间的映射方式。
23、根据本专利技术公开的图像超分辨率重建方法，优选地，在经过连续的rhsg单元后进行一次卷积操作时，卷积核大小为3×3。
24、在该技术方案中，深层特征提取阶段包括一本文档来自技高网...
【技术保护点】
1.一种图像超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述重叠交叉注意力模块的计算过程包括：
3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述双域卷积模块的空间分支的计算过程包括：
4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述双域卷积模块的频率分支的计算过程包括：
5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，在浅层特征提取的步骤中，卷积操作的卷积核大小为3×3。
6.根据权利要求1所述的图像超分辨率重建方法，其特征在于，在经过连续的RHSG单元后进行一次卷积操作时，卷积核大小为3×3。
7.根据权利要求1至6中任一项所述的图像超分辨率重建方法，其特征在于，还包括：通过组合基于FFT的频率损失函数和L1损失函数来优化模型，损失函数定义如下：
8.一种图像超分辨率重建装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如
...【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述重叠交叉注意力模块的计算过程包括：
3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述双域卷积模块的空间分支的计算过程包括：
4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述双域卷积模块的频率分支的计算过程包括：
5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，在浅层特征提取的步骤中，卷积操作的卷积核大小为3×3。
<...【专利技术属性】
技术研发人员：孙叶美，徐富杰，李国栋，张艳，王娇，
申请(专利权)人：天津城建大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。