基于三重注意双尺度残差网络的超分辨图像质量评价方法技术

本发明专利技术公开了基于三重注意双尺度残差网络的超分辨图像质量评价方法，首先，给定一幅超分辨图像，将超分辨图像不重叠的裁剪为超分辨图像块；然后，依次通过卷积层

【技术实现步骤摘要】
基于三重注意双尺度残差网络的超分辨图像质量评价方法


[0001]本专利技术属于图像处理
，涉及一种基于三重注意双尺度残差网络的超分辨图像质量评价方法
。

技术介绍

[0002]现有的图像质量评价方法主要分为两大类，即主观质量评价方法和客观质量评价方法
。
毫无疑问，由人眼对图像直接进行评分，是反应图像质量最为直接且有效的方法
。
但是该过程不仅耗时耗力
、
成本高
、
工作量大，且使用起来很不方便，不利于集成到真实场景下的超分辨应用系统中
。
与之相反，客观质量评价方法是由计算机根据一定的算法计算得到图像的质量指标，自动进行评价
。
评价时根据是否使用参考图像又可以分为三类：全参考
(Full reference
，
FR)、
半参考
(
部分参考
)(Reduced reference
，
RR)
和无参考
(No reference
，
NR)。
目前峰值信噪比
(PSNR)
和结构相似度
(SSIM)
被广泛应用于
FRIQA
，然而，这两个指标并不是专门针对超分辨图像设计的，导致与人类感知评价的一致性较差
。
此外，在实际应用中，很难找到原始的高分辨图像作为参考，从而阻碍了和
FRIQA
和
RRIQA<br/>的进一步发展，因此，
NRIQA
受到研究人员的广泛关注
。
[0003]目前，无参考型质量评价方法大多使用注意力机制来模拟人类视觉系统
(HSV)
，提供更多可鉴别的特征
。
然而，现有的
NRIQA
方法往往从单个分支去考虑图像中的显著区域，忽略了其之间的相互依赖关系，限制了预测的有效性
。

技术实现思路

[0004]本专利技术的目的是提供一种基于三重注意双尺度残差网络的超分辨图像质量评价方法，该方法采用三重注意力模块用于探索图像中的显著特征，同时设计了一个双尺度卷积模块
DSCM
，以捕获更加全面的图像信息，以实现更有效评价超分辨图像的目的
。
[0005]本专利技术所采用的技术方案是，基于三重注意双尺度残差网络的超分辨图像质量评价方法，首先，给定一幅超分辨图像，将超分辨图像不重叠的裁剪为超分辨图像块；然后，依次通过卷积层
、
三重注意力模块和双尺度卷积模块提取超分辨图像块的特征；最后，通过最大池化操作对特征提取阶段的输出特征进行压缩，将压缩特征送入全连接层进行非线性质量映射，输出超分辨图像块的预测质量分数
。
[0006]本专利技术的特点还在于：
[0007]具体包括如下步骤：
[0008]步骤1，对超分辨图像数据集中的所有超分辨图像进行不重叠的裁剪，获取到
32
×
32
大小的超分辨图像块，利用局部对比度归一化移除超分辨图像块中相同强度的区域并突出边缘区域；
[0009]步骤2，将超分辨图像数据集按
6:2:2
的比例划分训练集
、
测试集和验证集，其中训练集中的每个超分辨图像标签分配给对应的超分辨图像块，该标签值记作
y
m
；
[0010]步骤3，构建一个三重注意双尺度残差模型提取超分辨图像特征，该模型主要包括
三重注意力模块和双尺度卷积模块；
[0011]步骤4，基于回归映射获取超分辨图像块的质量分数；
[0012]步骤5，对步骤3构建的三重注意双尺度残差模型进行训练，得到训练后的最优模型；
[0013]步骤6，采用测试集对步骤5训练后的最优模型进行预测，输出超分辨图像块的预测质量分数
。
[0014]步骤3的具体过程为：
[0015]步骤
3.1
，将步骤2训练集中获取到的超分辨图像块和相应的标签值
y
m
输入到一个卷积核大小为3×3的卷积层
Conv
提取超分辨图像块的浅层特征，其中，第
k
层卷积层的输出表示为：
[0016]f
k
＝
wx+b
ꢀꢀꢀ
(1)
；
[0017]其中，
x
表示卷积层的输入特征，
w
和
b
是卷积层的可学习参数，
f
k
表示卷积层的输出特征；
[0018]步骤
3.2
，将步骤
3.1
输出特征
f
k
输入到三重注意力模块的三个分支中提取超分辨图像块中的显著性特征；
[0019]步骤
3.3
，使用
DSCM
模块提取超分辨图像块中的多尺度特征
。
[0020]步骤
3.2
的具体过程为：
[0021]步骤
3.2.1
，三重注意力模块的第一个分支，在
H
维度和
C
维度之间建立交互：首先输入特征张量
f
k
∈R
C
×
H
×
W
沿
H
轴逆时针旋转
90
°
，旋转后的特征张量表示为然后，将送入
Z
‑
Pool
层来执行平均池化和最大池化操作，获取到的特征表示为接着将通过卷积核大小为7×7的标准卷积层与批处理归一化层，并使用
Sigmoid
激活函数生成注意力权值，最终获取输出特征张量
f
11
，该过程表示为：
[0022][0023]其中，表示沿
H
轴旋转后的特征张量，表示经过
Z
‑
Pool
层后得到的特征张量，
Conv
表示标准卷积层，
BN
表示批处理归一化层，
σ
表示
Sigmoid
激活函数，
f
11
表示从第一个分支获得的输出特征张量；
[0024]步骤
3.2.2
，三重注意力模块的第二个分支，在
C
维度和
W
维度之间建立了交互，首先对输入特征张量
f
k
∈R
C
×
H
×
W
沿
W
轴逆时针旋转
90
°
，旋转后的特征张量表示为然后，将送入
Z
‑
Pool
层来执行平均池化和最本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于三重注意双尺度残差网络的超分辨图像质量评价方法，其特征在于：首先，给定一幅超分辨图像，将超分辨图像不重叠的裁剪为超分辨图像块；然后，依次通过卷积层
、
三重注意力模块和双尺度卷积模块提取超分辨图像块的特征；最后，通过最大池化操作对特征提取阶段的输出特征进行压缩，将压缩特征送入全连接层进行非线性质量映射，输出超分辨图像块的预测质量分数
。2.
根据权利要求1所述的基于三重注意双尺度残差网络的超分辨图像质量评价方法，其特征在于：具体包括如下步骤：步骤1，对超分辨图像数据集中的所有超分辨图像进行不重叠的裁剪，获取到
32
×
32
大小的超分辨图像块，利用局部对比度归一化移除超分辨图像块中相同强度的区域并突出边缘区域；步骤2，将超分辨图像数据集按
6:2:2
的比例划分训练集
、
测试集和验证集，其中训练集中的每个超分辨图像标签分配给对应的超分辨图像块，该标签值记作
y
m
；步骤3，构建一个三重注意双尺度残差模型提取超分辨图像特征，该模型主要包括三重注意力模块和双尺度卷积模块；步骤4，基于回归映射获取超分辨图像块的质量分数；步骤5，对步骤3构建的三重注意双尺度残差模型进行训练，得到训练后的最优模型；步骤6，采用测试集对步骤5训练后的最优模型进行预测，输出超分辨图像块的预测质量分数
。3.
根据权利要求2所述的基于三重注意双尺度残差网络的超分辨图像质量评价方法，其特征在于：所述步骤3的具体过程为：步骤
3.1
，将步骤2训练集中获取到的超分辨图像块和相应的标签值
y
m
输入到一个卷积核大小为3×3的卷积层
Conv
提取超分辨图像块的浅层特征，其中，第
k
层卷积层的输出表示为：
f
k
＝
wx+b
ꢀꢀꢀꢀꢀꢀ
(1)
；其中，
x
表示卷积层的输入特征，
w
和
b
是卷积层的可学习参数，
f
k
表示卷积层的输出特征；步骤
3.2
，将步骤
3.1
输出特征
f
k
输入到三重注意力模块的三个分支中提取超分辨图像块中的显著性特征；步骤
3.3
，使用
DSCM
模块提取超分辨图像块中的多尺度特征
。4.
根据权利要求3所述的基于三重注意双尺度残差网络的超分辨图像质量评价方法，其特征在于：所述步骤
3.2
的具体过程为：步骤
3.2.1
，三重注意力模块的第一个分支，在
H
维度和
C
维度之间建立交互：首先输入特征张量
f
k
∈R
C
×
H
×
W
沿
H
轴逆时针旋转
90
°
，旋转后的特征张量表示为然后，将送入
Z
‑
Pool
层来执行平均池化和最大池化操作，获取到的特征表示为接着将通过卷积核大小为7×7的标准卷积层与批处理归一化层，并使用
Sigmoid
激活函数生成注意力权值，最终获取输出特征张量
f
11
，该过程表示为：
其中，表示沿
H
轴旋转后的特征张量，表示经过
Z
‑
Pool
层后得到的特征张量，
Conv
表示标准卷积层，
BN
表示批处理归一化层，
σ
表示
Sigmoid
激活函数，
f
11
表示从第一个分支获得的输出特征张量；步骤
3.2.2
，三重注意力模块的第二个分支，在
C
维度和
W
维度之间建立了交互，首先对输入特征张量
f
k
∈R
C
×
H
×
W
沿
W
轴逆时针旋转
90
°
，旋转后的特征张量表示为然后，将送入
Z
‑
Pool
层来执行平均池化和最大池化操作，获取到的特征表示为接着将通过卷积核大小为7×7的标准卷积层与批处理归一化层，并使用
Sigmoid
...

【专利技术属性】
技术研发人员：张凯兵，权星，樊丹丹，何昕，陈金广，时光，孟雅蕾，师红宇，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：