一种基于对抗生成网络的无参考图像质量评价方法技术

本发明专利技术公开了一种基于对抗生成网络的无参考图像质量评价方法。本发明专利技术首先要对图像进行预处理，得到失真图对应的相似图‑SSIM_MAP，然后训练一个基于densenet网络的神经网络框架，对训练后的网络输入失真图，可得到失真图的相似图，通过相似图，也就可以得到对应的质量分数。本发明专利技术针对网络中的生成器和损失函数做出创新。首先，在生成网络部分，我们采用60层的densenet网络框架。在判别网络部分，采用简单的分类网络；损失函数部分，采用判别器的交叉熵加L1范数损失的方式。最后迭代训练出一个较好的生成网络模型，通过此网络，可以对输出图片，也就是失真图片进行相似图的生成。

An evaluation method of unreferenced image quality based on adversary generation network

【技术实现步骤摘要】
一种基于对抗生成网络的无参考图像质量评价方法
本专利技术属于图像处理领域，设计图像质量评价方法，而且涉及到深度学习中的生成对抗网络在图像质量评价中的应用。
技术介绍
现如今，随着互联网技术以及通信技术的快速发展，数字图像已经成为人们日常生活中信息传递的重要方式。据统计，2011年以来，世界产生的数字照片总量达到上百亿张，而且这个数量还在逐年增长。然而，图像在采集、存储、压缩和传输等过程中容易受到不同种类的失真干扰，从而造成图像质量的降低。所以，如何准确、可靠地评价图像的质量成为当前及未来研究中一个重要的研究热点。通常，大多数图像是由人来观看，所以最可靠的图像质量评价方式是主观质量评价，即组织观看人员根据他们的经验来对图像的质量进行主观评分，然而，随着图像数量的增多，主观质量评价的实施变得困难，而且也无法应用于实时的图像处理系统中。所以，研究者们提出客观质量评价方法，通过设计客观算法来对图像的质量做出评价。根据是否参考原始图像，现有的客观质量评价方法被分为三个类别，分别是全参考，部分参考和无参考质量评价方法。尽管目前针对这三类客观图像质量评价分别提出了大量的方法，但是客观质量评价的研究仍然不够成熟，主要表现在以下几个方面，第一，由于目前对人类视觉感知机制的理解不够深入，现有的基于度量信号失真的客观质量评价方法不能准确地模拟主观质量评价；第二，在无参考质量评价方法设计中，大多数方法仍然需要利用主观质量分数来训练质量评价模型；第三，在评价真实场景中的失真图像时，现有的客观算法的表现仍然不够理想。因此，建立一套可以准确反映人眼主观感受的立体图像质量客观评价机制具有深远意义。近年来，相关研究机构对平面图像质量评价算法进行了深入研究，如峰值信噪比(PSNR)、均方误差(MSE)、结构相似度(SSIM)等评价指标。然而平面图像中包含更多的因素，如深度图等。近年来，深度学习成为机器学习和神经网络相关领域的研究热点，深度学习能够模拟人脑深层次处理数据的方式对原始数据内部结构和关系得到层次化的特征表示，因而经该预处理后的网络参数符合人脑的处理结果，训练后得到的网络稳定性和泛化能力也有一定的提高。现有的无参考质量评价方法大多数属于主观质量分数已知的评价方法，此类方法通常需要大量的训练样本图像以及对应的主观分数来训练质量预测模型，相比之下，主观质量分数未知的无参考评价方法仍然较少而且已有方法的性能仍然不能与主观质量分数已知的方法相比。
技术实现思路
本专利技术的目的是针对现有技术的不足。提出了一个利用生成对抗网络框架的主观质量分数未知的无参考评价方法，此方法针对网络中的生成器和损失函数做出创新。首先，在生成网络部分，我们采用60层的densenet网络框架。在判别网络部分，我们采用简单的分类网络，损失函数部分，我们采用判别器的交叉熵加L1范数损失的方式。最后我们迭代训练出一个较好的生成网络模型，我们通过此网络，可以对输出图片，也就是失真图片进行相似图的生成。本专利技术首先要对图像进行预处理，得到失真图对应的相似图-SSIM_MAP，然后训练一个基于densenet网络的神经网络框架，对训练后的网络输入失真图，可得到失真图的相似图，通过相似图，也就可以得到对应的质量分数。一种基于对抗生成网络的无参考图像质量评价方法，具体实现步骤如下：步骤1：预处理得到相似图；1-1.计算亮度对比：针对已经获取的失真图X和自然图像Y，用和分别代表两幅图的亮度信息：其中，xi,yi分别为失真图X和自然图像Y的像素点值，那么失真图X和自然图Y的亮度对比就表示为：其中C1是为了防止分母为0而设置的极小数。1-2.计算对比度对比：C(x,y)用σx和σy代表两幅图对比度信息：那么失真图X和自然图Y的对比度对比就可以表示为：其中C2是为了防止分母为0而设置的极小数。1-3.计算结构性对比：S(x,y)引入新公式：那么失真图X和自然图Y的对比度对比就可以表示为：其中C3是为了防止分母为0而设置的极小数。1-4.计算相似图其中，a、b、c为亮度、对比度和结构性的权重。失真图的质量分数MSSIM可以由似图SSIM_MAP求得：MSSIM＝mean(SSIM_MAP)其中mean()为取平均值操作。步骤2：将已有失真图X和相似图SSIM_MAP进行左右拼接，得到一张拼接图Z。步骤3：设计神经网络框架3-1.生成网络：3-1-1.使用拼接图Z作为输入，大小为256×256，通道数为3。3-1-2.通过一层卷积层，使大小为128×128，通道数变为64。3-1-3.通过一层池化层，使大小为64×64，通道数变为64。3-1-4.通过60层densenet网络框架提取特征，大小变为4×4，通道数为512。3-1-5.通过5层反卷积层，使大小变为256×256，通道数为8.3-1-6.通过一层卷积层，大小不变，通道数变为3。3-2.判别网络：3-2-1.把256×256的图片分为64个8×8的小块3-2-2.每一个小块都通过一层卷积层，使大小为4×4，通道数变为64。3-2-3.每一个小块都通过两层卷积层，使大小为1×1，通道数变为256。3-2-4.每一个小块都通过一层卷积层，使大小为1×1，通道数变为512。3-2-5.每一个小块都通过线性回归层，输出为预测标签。3-2-5.整副图的预测标签由64个小块的平均值决定。3-3.损失函数：其中loss_GAN表示样本标签和判别器的输出之间的交叉熵。代表生成器的预测图片和真实的相似图之间的L1距离：M表示输入的相似图，G(x)表示生成器的输出。本专利技术有益效果：首先，本方法是无参考质量评价。通过使用训练好的神经网络框架，可以在没有自然图像(原图)的条件下对失真图像进行质量评价。在无参考质量评价方法通常基于SVR(支持向量机)进行图像特征提取的情况下，本方法采用更有效的densenet神经网络进行特征提取。在判别器通常针对整副图进行判别的情况下，本方法采用更有效的块判别方法，使得训练速度刚快，实验效果更好。本方法基于对抗生成网络，更有效的实现了图到图的转换和迁移。实验结果不仅在图到图的实现中有较好的结果，而且模拟到的质量分数和真实的质量分数有强烈的相关性和较小的误差。具体实施方式下面对本专利技术作进一步说明。一种基于对抗生成网络的无参考图像质量评价方法，具体实现步骤如下：步骤1：预处理得到相似图；1-1.计算亮度对比：针对已经获取的失真图X和自然图像Y，用和分别代表两幅图的亮度信息：其中，xi,yi分别为失真图X和自然图像Y的像素点值，那么失真图X和自然图Y的本文档来自技高网...

【技术保护点】
1.一种基于对抗生成网络的无参考图像质量评价方法，其特征在于具体实现步骤如下：/n步骤1：预处理得到相似图；/n1-1.计算亮度对比：

【技术特征摘要】
1.一种基于对抗生成网络的无参考图像质量评价方法，其特征在于具体实现步骤如下：
步骤1：预处理得到相似图；
1-1.计算亮度对比：
针对已经获取的失真图X和自然图像Y，用和分别代表两幅图的亮度信息：



其中，xi,yi分别为失真图X和自然图像Y的像素点值，那么失真图X和自然图Y的亮度对比就表示为：



其中C1是为了防止分母为0而设置的极小数；
1-2.计算对比度对比：C(x,y)
用σx和σy代表两幅图对比度信息：



那么失真图X和自然图Y的对比度对比就可以表示为：



其中C2是为了防止分母为0而设置的极小数；
1-3.计算结构性对比：S(x,y)
引入新公式：
那么失真图X和自然图Y的对比度对比就可以表示为：



其中C3是为了防止分母为0而设置的极小数；
1-4.计算相似图



其中，a、b、c为亮度、对比度和结构性的权重；
失真图的质量分数MSSIM可以由似图SSIM_MAP求得：
MSSIM＝mean(SSIM_MAP)
其中mean()为取平均值操作；
步骤2：将已有失真图X和相似图SSIM_MAP进行左右拼接，得到一张拼接图Z；
步骤3：设计...

【专利技术属性】
技术研发人员：颜成钢，陈子阳，谷文玉，朱嘉凯，孙垚棋，张继勇，张勇东，沈韬，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33