【技术实现步骤摘要】
本专利技术涉及图像处理领域，具体涉及一种基于高效频域transformer的轻量级图像超分辨率方法及装置。
技术介绍
1、单帧图像超分辨率（single image super-resolution, sisr）作为计算机视觉领域中的关键任务，其能够从退化的低分辨率图像中复原具有高保真细节的高分辨率图像。目前，图像超分辨率被广泛应用于各种实际应用中，包括智能制造、信息安全、医学诊断等领域。
2、近年，transformer作为流行的深度学习骨干网络被广泛应用于图像超分辨率领域中。transformer通过计算所有标记之间的相似度得分建模全局特征交互，并在图像超分辨率展示出良好的潜力。然而，现有的基于transformer的图像超分辨率方法难以用于高分辨率图像的复原，因为其内部的自注意力机制在计算上呈现出与token序列长度相关的二次方复杂度。因此，进一步减少自注意力计算复杂度是当前图像超分辨率方法的迫切需要。
技术实现思路
1、本申请的目的在于针对上述提到的技术问题提出一种基于高效频域transformer的轻量级图像超分辨率方法及装置。
2、第一方面，本专利技术提供了一种基于高效频域transformer的轻量级图像超分辨率方法，包括以下步骤：
3、构建基于高效频域transformer的图像超分辨率模型并训练，得到经训练的图像超分辨率模型，图像超分辨率模型包括第一卷积层、亚像素卷积层、第二卷积层以及若干个依次连接的高效频域transforme
4、获取待重建的低分配率图像和上采样因子并输入经训练的图像超分辨率模型，上采样因子为亚像素卷积层的尺度因子，待重建的低分辨率图像输入第一卷积层，得到第一卷积层的输出特征，第一卷积层的输出特征依次经过若干个高效频域transformer模块，将最后一个高效频域transformer模块的输出特征与第一卷积层的输出特征相加，得到第二相加结果，第二相加结果依次经过亚像素卷积层和第二卷积层，得到高分辨率重建图像。
5、作为优选，频域混合特征交互模块包括第一线性层、第二线性层、第三线性层、第一傅里叶变换层、第二傅里叶变换层、第三傅里叶变换层、全局滤波器、第一傅里叶逆变换层、第二傅里叶逆变换层、第三层归一化层和第四线性层，频域混合特征交互模块的输入特征为，其中c、h和w分别表示频域混合特征交互模块的输入特征的通道数量、长度和宽度，表示实数集合；
6、将频域混合特征交互模块的输入特征x分割为n个窗口尺寸为s×s的非重叠窗口，其中，s为非重叠窗口的长度和宽度，接着利用第一线性层、第二线性层和第三线性层将非重叠窗口转化为查询矩阵、键矩阵和值矩阵，如下式所示：
7、；
8、；
9、；
10、分别利用第一傅里叶变换层和第二傅里叶变换层将查询矩阵q和键矩阵k由空域转换至频域，在频域内将查询矩阵q和键矩阵k相乘，得到乘积结果，利用第一快速傅里叶逆变换层和第三层归一化层将乘积结果转换回空域，以生成相似度矩阵，如下式所示：
11、；
12、其中，表示快速傅里叶变换，表示快速傅里叶逆变换，表示层归一化操作，t表示共轭转置操作，表示温度因子；
13、将相似度矩阵m和值矩阵执行矩阵乘法并经过第四线性层，得到局部增强特征，如下式所示：
14、；
15、接着，利用第三傅里叶变换层将频域混合特征交互模块的输入特征x由空域转换至频域，得到频域混合特征交互模块的输入特征在频域上的全局频率特征，并利用全局滤波器对频域混合特征交互模块的输入特征在频域上的全局频率特征进行自适应缩放，得到缩放结果，随后利用第二快速傅里叶逆变换层将缩放结果由频域转换回空域，以获得全局增强特征，如下式所示：
16、；
17、最后，利用可学习参数和对局部增强特征和全局增强特征进行加权，以获得增强的混合增强特征，如下式所示：
18、。
19、作为优选，多尺度卷积交互前馈网络包括第三卷积层、第一深度可分离卷积层、第二深度可分离卷积层、第一gelu激活函数层、第二gelu激活函数层和第四卷积层；
20、多尺度卷积交互前馈网络的输入特征为，其中c、h和w分别表示多尺度卷积交互前馈网络的输入特征的通道数量、长度和宽度；
21、多尺度卷积交互前馈网络的输入特征经过一个卷积核大小为1×1的第三卷积层去除冗余通道特征，得到第一中间特征，如下式所示：
22、；
23、其中，表示卷积核大小为1×1的卷积操作；
24、将第一中间特征分别输入到第一深度可分离卷积层和第二深度可分离卷积层，提取得到第一尺度特征和第二尺度特征，第一尺度特征和第二尺度特征分别经过第一gelu激活函数层和第二gelu激活函数层后通过交叉相乘并相加，获得卷积交互特征，如下式所示：
25、；
26、其中，表示第一gelu激活函数层或第二gelu激活函数层对应的gelu激活函数；
27、卷积交互特征经过卷积核大小为1×1的第四卷积层，得到多尺度卷积交互前馈网络的输出特征，如下式所示：
28、。
29、作为优选，第一深度可分离卷积层和第二深度可分离卷积层的卷积核大小分别为3×3和5×5。
30、作为优选，高效频域transformer模块的表达式如下：
31、；
32、；
33、其中，表示高效频域transformer模块的输入特征，其中c、h和w分别表示高效频域transformer模块的输入特征的通道数量、长度和宽度，表示层归一化操作，表示频域混合特征交互模块对应的函数，表示多尺度卷积交互前馈网络对应的函数，表示第二中间特征，表示高效频域transformer模块的输出特征。
34、作为优选，图像超分辨率模型的计算过程如下：
35、利用一个卷积核大小为1×1的第一卷积层对待重建的低分辨率图像进行特征提取，其中h和w分别表示待重建的低分辨率图像的长度和宽度，提取得到浅层特征，其中c表示浅层特征的通道数量，如下式所示：
36、；
37、其中，表示卷积核大小为1×1的卷积操作；
38、利用a个高效频域transformer模块和一个残差连接提取得到深度特征，如下式所示：
39、本文档来自技高网...
【技术保护点】
1.一种基于高效频域Transformer的轻量级图像超分辨率方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于高效频域Transformer的轻量级图像超分辨率方法，其特征在于，所述频域混合特征交互模块包括第一线性层、第二线性层、第三线性层、第一傅里叶变换层、第二傅里叶变换层、第三傅里叶变换层、全局滤波器、第一傅里叶逆变换层、第二傅里叶逆变换层、第三层归一化层和第四线性层，所述频域混合特征交互模块的输入特征为，其中C、H和W分别表示所述频域混合特征交互模块的输入特征的通道数量、长度和宽度，表示实数集合；
3.根据权利要求1所述的基于高效频域Transformer的轻量级图像超分辨率方法，其特征在于，所述多尺度卷积交互前馈网络包括第三卷积层、第一深度可分离卷积层、第二深度可分离卷积层、第一GELU激活函数层、第二GELU激活函数层和第四卷积层；
4.根据权利要求3所述的基于高效频域Transformer的轻量级图像超分辨率方法，其特征在于，所述第一深度可分离卷积层和第二深度可分离卷积层的卷积核大小分别为3×3和5×5。
6.根据权利要求1所述的基于高效频域Transformer的轻量级图像超分辨率方法，其特征在于，所述图像超分辨率模型的计算过程如下：
7.一种基于高效频域Transformer的轻量级图像超分辨率装置，其特征在于，包括：
8.一种电子设备，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
...【技术特征摘要】
1.一种基于高效频域transformer的轻量级图像超分辨率方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于高效频域transformer的轻量级图像超分辨率方法，其特征在于，所述频域混合特征交互模块包括第一线性层、第二线性层、第三线性层、第一傅里叶变换层、第二傅里叶变换层、第三傅里叶变换层、全局滤波器、第一傅里叶逆变换层、第二傅里叶逆变换层、第三层归一化层和第四线性层，所述频域混合特征交互模块的输入特征为，其中c、h和w分别表示所述频域混合特征交互模块的输入特征的通道数量、长度和宽度，表示实数集合；
3.根据权利要求1所述的基于高效频域transformer的轻量级图像超分辨率方法，其特征在于，所述多尺度卷积交互前馈网络包括第三卷积层、第一深度可分离卷积层、第二深度可分离卷积层、第一gelu激活函数层、第二gelu激活函数层和第四卷积层；
4.根据权利要求3所述的基于高效频域tran...
【专利技术属性】
技术研发人员：曾焕强，朱显丞，朱建清，施一帆，龚鑫荣，蔡磊，陈斌，陈志达，卢伟，
申请(专利权)人：华侨大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。