基于自注意力机制GAN网络的无参考图像质量评价方法技术

本发明专利技术公开了基于自注意力机制GAN网络的无参考图像质量评价方法，具体涉及图像处理领域，由三个部分组成：生成网络，判别网络和质量评价网络；生成网络对输入的失真图像进行特征提取和恢复重构，判别网络对重构后的图像与无失真图像尽可能地进行区分。本发明专利技术通过增加自注意力模块，改进模型结构来增强对抗学习强度，输出更可靠的模拟“参考图”；在LIVE和TID2013数据集上进行实验，由结果可知本文所提出的SARAN算法在无参考失真图像的质量评价上的总体客观评价性优于当前的主流算法，且针对不同失真类型也表现了较好的性能，表明SARAN算法与主观评价结果的相关性较高，更加符合视觉感知系统(HVS)对图像质量的感知一致性。性。性。

【技术实现步骤摘要】
Attention机制，使得生成网络协调好每一个位置的局部细节和远端细节，判别网络能更准确地学习到全局图像结构的几何约束，在生成式对抗网络模型中引入self-Attention机制，让生成器和判别器可以自动学习图像中的重要目标，使得网络在每一层都能考虑全局信息，且能够很好地处理图像中长范围、多层次的依赖，在提高感受野和减小参数量之间得到了一个更好的平衡；由于人眼视觉感知系统会把目光聚集在图像的重要patch上，综合考虑图像的局部性和整体性是图像生成的关键，因此我们采用自我注意力生成对抗性网络思想来稳定对抗训练；
[0010]S2、提出的模型和学习：
[0011]S2.1、建立模型框架：框架由三个部分组成：图像感知生成网络GN、图像生成判别网络DN和质量评价网络EN；图像感知生成网络产生的幻觉参考图像作为失真图像的补偿信息，它们以对抗的方式训练判别网络DN，以帮助生成网络GN产生更合格的结果，并将不良结果的负面影响进行限制；另外，将self-Attention机制引入了生成式对抗网络模型的图像生成当中，提升生成式对抗网络模型生成更高分辨率的图片；首先对不重叠的补丁(patch)进行采样，然后对于每一个图像感知生成网络GN将其作为输入，尝试将Gx还原为对应的无畸变原始图像，图像生成判别网络DN将恢复后的D(Gx)与原始图像进行区分；
[0012]S2.2、增添自注意力模块：图像隐含层的特征x∈R
C*N
分别映射到两个特征空间f，g，计算注意力；其中：
[0013]f(x)＝W
f
x,g(x)＝W
g
x
[0014][0015]where
[0016]sij＝f(x
i
)
T
g(x
j
)
[0017]权重β
j,i
表示模型在合成j区域的时候对i区域的关注程度；其中，C是通道的数量，N是上一步隐藏层特征所处的特征位置的数量；注意层的输出为
[0018]o＝(01,02,...,0
j
,...,0
N
)∈R
C*N
[0019]其中：
[0020][0021]where
[0022]h(x
i
)＝W
h
x
i
[0023]在上式中，权重W
f
，W
g
，W
h
进行卷积核大小为1*1的卷积操作
[0024][0025]其中：
[0026][0027]将关注层的输出o乘以比例参数γ并添加到特征图，最终的输出为：
[0028]y
i
＝γo
i
+x
i
[0029]其中，y是一个可学习的标量，初始时y被设置为0，这样网络可以更多地关注邻近
区域，然后将权重分配给非邻近的线索，逐步增加任务的复杂度；
[0030]S3、基于自注意机制的恢复对抗网络：
[0031]S3.1、生成网络：在生成块中主要采用残差结构提取特征，每个生成块为2个卷积，3*3滤波器和64个特征映射，并添加频谱归一化层和批处理层，来避免GN参数过多导致梯度异常，提升生成的稳定性；
[0032]S3.2、对抗网络：感知损失和对抗损失，通过最小化对抗性损失的铰链形式以交替方式进行训练：
[0033][0034][0035]其中，z为随机采样噪声，y为输入的失真图像，x为无失真图像；
[0036]S4、评价网络：
[0037]S4.1、恢复增值：若只用图像感知生成网络GN和图像生成判别网络DN的感知差值AoR会损坏图像，所以将提取的特征和AoR进行集中保证评价网络更好学习；评价网络将恢复patch和失真patch同时作为输入，与鉴别器结构的目标相似；
[0038]S4.2、质量评估：由于图像失真不是均匀分布的，不同的局部失真影响不同，因此对每块的质量预测分数求加权和来更好地反映图像的整体感知质量；将失真patch和恢复patch提取的特征向量融合，并送入两个分支分别回归计算感知评分qk和权值wk，然后对它们进行空间汇集，得到最终的图像质量。
[0039]在一个优选地实施方式中，所述步骤S2.1中质量评价网络EN以失真图像Gx和生成图像D(Gx)为输入，以两者的感知距离AoR为指导，融合三者产生预测的质量分数加权和作为输出。
[0040]在一个优选地实施方式中，所述步骤S3.1中在第五层和第六层之后使用自注意模块，学习特征图中的长程依赖，最后输出为tanh层；生成参考图像对于失真图像的作用是弥补其缺失信息，幻像与真实参考之间的差距AoR越小，质量评价网络的评估精度相对就越高；因此图像感知生成网络GN的目标是在失真图像Gx的基础上生成高分辨率的恢复参考图像D(Gx)。
[0041]在一个优选地实施方式中，所述步骤S4.2中权重回归模块与质量回归分支并行运行并共享维度，对于图像块i，该分支的输出是，通过ReLU激活并添加一个小的稳定性项：
[0042][0043]在一个优选地实施方式中，所述步骤S4.2中整幅图像的质量q计算如下：
[0044]在一个优选地实施方式中，所述步骤S4.2中对于联合端到端训练，则要使基本事实与加权预测之间的平均误差最小化，则损失函数最小化为：
[0045][0046]本专利技术的技术效果和优点：
[0047]本专利技术在由失真图像产生高分辨率的恢复图像时加入自注意模块，获取一张图片中需要更多关注的关键细节信息，明确定义了失真图像与参考图像的差异值AoR，目标是最大化每个输入的AoR，NR-IOA的无参考性可以被巧妙地解决；通过融合输入的失真图像、恢复的参考图像以及两者之间特征差异的映射数据AoR，作为评价网络的回归学习，最终将patch加权和作为该失真图像的质量评分；在LIVE dataset和tid dataset数据集上我们提出的方法可以比传统卷积网络方法更加符合视觉感知系统(HVS)，对图像感知有着较好的一致性和准确性。
附图说明
[0048]图1为本专利技术基于不同网络深度的实验结果示意图。
具体实施方式
[0049]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0050]本专利技术提供了基于自注意力机制GAN网络的无参考图像质量评价方法，具体评价步骤如下：
[0051]S1、相关工作：
[0052]S1.1、生成式对抗网络模型：生成式对抗网络模型算法同时训练生成器和鉴别器两个模型，生成器试图绘制更真实的图像来欺骗鉴别器，输入为失真图像(Gx)，通过卷积和反卷积，生成一张复原图，并将失真图以及失真图与复原图的残差图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自注意力机制GAN网络的无参考图像质量评价方法，其特征在于：具体评价步骤如下：S1、相关工作：S1.1、生成式对抗网络模型：生成式对抗网络模型算法同时训练生成器和鉴别器两个模型，生成器试图绘制更真实的图像来欺骗鉴别器，输入为失真图像(Gx)，通过卷积和反卷积，生成一张复原图，并将失真图以及失真图与复原图的残差图作为输入输出失真图的质量分数；S1.2、自我注意力生成对抗性网络：在生成式对抗网络模型中引入了self-Attention机制，使得生成网络协调好每一个位置的局部细节和远端细节，判别网络能更准确地学习到全局图像结构的几何约束，在生成式对抗网络模型中引入self-Attention机制；S2、提出的模型和学习：S2.1、建立模型框架：框架由三个部分组成：图像感知生成网络GN、图像生成判别网络DN和质量评价网络EN；图像感知生成网络产生的幻觉参考图像作为失真图像的补偿信息；首先对不重叠的补丁(patch)进行采样，然后对于每一个图像感知生成网络GN将其作为输入，尝试将Gx还原为对应的无畸变原始图像，图像生成判别网络DN将恢复后的D(Gx)与原始图像进行区分；S2.2、增添自注意力模块：图像隐含层的特征x∈R
C*N
分别映射到两个特征空间f，g，计算注意力；其中：f(x)＝W
f
x,g(x)＝W
g
xwheres
ij
＝f(x
i
)
T
g(x
j
)权重β
j,i
表示模型在合成j区域的时候对i区域的关注程度；其中，C是通道的数量，N是上一步隐藏层特征所处的特征位置的数量；注意层的输出为o＝(01,02,...,0
j
,...,0
N
)∈R
C*N
其中：whereh(x
i
)＝W
h
x
i
在上式中，权重W
f
，W
g
，W
h
进行卷积核大小为1*1的卷积操作其中：将关注层的输出o乘以比例参数γ并添加到特征图，最终的输出...

【专利技术属性】
技术研发人员：薛思雨，惠康乐，刘顺，侯红，
申请(专利权)人：西北大学，
类型：发明
国别省市：