基于记忆的图像质量无参评估方法技术

本发明专利技术公开了一种基于记忆的图像质量无参考评估方法。首先，通过视觉驱动的图像记忆特征预测模型提取图像记忆特征。利用基于局部协方差的显著性估计法获得失真图像的人眼感兴趣区域，对感兴趣区域使用不同尺度和方向的Gabor滤波器滤波得到感兴趣区域的GIST特征，最后进行独立成分分析得到记忆特征。然后，利用梯度域的局部二值模式（Local binary pattern on gradient domain,GLBP）描述图像的结构特征，计算图像的一阶导数熵（Entropy of first derivative,EFD）描述亮度特征。最后，采用以径向基函数为核函数的支持向量回归模型将图像特征映射到图像质量分数。本发明专利技术方法在MDID2013和LIVEMD两个通用混合失真图像数据库上进行试验，都具有较高的鲁棒性和准确性。

Memory-based image quality parametric evaluation method

【技术实现步骤摘要】
基于记忆的图像质量无参评估方法
本专利技术涉及一种图像质量评估方法，特别是涉及一种基于图像记忆性的图像质量无参考评价方法，属于图像处理、传输技术利用。
技术介绍
信息化时代，人们所接受信息的大半为视觉信息，图像和视频作为视觉信息的重要载体，是信息化时代的基本元素，具有直观、高效等优点，因此，利用图像信息直接或者间接来反应客观世界，成为众多领域不可或缺的一种手段。在图像的采集、处理、传输、存储以及显示等过程中，由于物理成像系统、处理算法、传输方法和储存设备等不够完善，难免给图像带来不同程度上的失真和退化，图像质量的退化会影响人们对信息的提取和理解。因此，对图像进行合理的评价具有重要的意义。图像质量评价可以分成主观评价和客观评价两种，客观评价模型旨在利用客观的图像特征来表征图像感知质量的变化情况，因此得到了广泛的研究。根据对原始图像的参考程度，客观质量评价可以分为全参考、半参考和无参考。全参考质量评估方法(Full-reference，FR)虽然发展得最完善且有较高的准确性，但是需要完整的原始图像，这对实际运用来说是一个巨大的限制。半参考质量评估方法(Reduced-reference，RR)则需要在传输时建立一条辅助信道，向接收端发送部分原始图像的信息，客观评价模型利用这些辅助信息进行图像质量评价。无参考质量评估方法(No-reference，NR)在评估时不需要任何的参考信息，此类方法只对接收到的失真图像进行分析和处理，模仿人眼视觉系统或者大脑内机制，提取失真图像中能够代表图像质量变化的特征，如亮度、结构、边缘等，完成对失真图像的质量评估。NR方法可方便的用于网络终端视频质量监控和评估，因此研究无参考视频质量评估对网络视频意义重大。
技术实现思路
本专利技术的目的是为了对网络终端的失真图像进行监控，利用近期对人脑记忆性的研究，提出一种基于图像记忆性的无参考图像质量评价方法，通过对失真的图像进行分析，基于图像的记忆性特征建立质量评估模型。本专利技术方法不需要发送端原始图像，属于无参考图像质量评估模型，节省了带宽的同时提高了质量评估模型的精确度。为达到上述目的，本专利技术的构思是：首先，通过基于视觉关注驱动的方法提取出图像记忆特征，然后使用梯度域的局部二值模式(Localbinarypatternongradientdomain,GLBP)算子提取结构特征，由于记忆特征和结构特征对于图像亮度信息的变化不敏感，因此进一步计算失真图像的一阶导数熵(Entropyoffirstderivative,EFD)来提高模型性能。最后，使用支持向量回归(Supportvectorregression,SVR)建立本专利技术所述的图像无参评估模型，将提取的三种特征从特征空间映射到失真图像的质量分数。根据上述构思，本专利技术采用如下技术方案：一种基于记忆的图像无参质量评估方法，其特征在于该方法的具体步骤为：a.记忆特征提取：对输入的失真图像进行显著性估计，估计出显著性图的最佳阈值，进而分离出图像的显著性区域，对显著性区域计算GIST特征，最后对所得的GIST特征进行独立成分分析，得到记忆特征；b.结构特征提取：梯度域的局部二值模式用于描述失真图像的结构特征信息变化程度；c.亮度特征提取：计算失真图像的一阶导数熵来反映亮度特征变化；d.特征训练：得到步骤a、b、c所产生的特征后，使用以径向基函数为核函数的支持向量机建立图像质量预测模型；e.质量分数估计：由步骤d训练得到的模型将失真图像的特征映射为最终的质量分数。上述步骤a的具体步骤为：由一种视觉驱动模型预测出图像中人眼更感兴趣的部分的统计特征，即为图像的记忆特征，感兴趣区域的预测使用了基于局部协方差的显著性预测法获取显著性图，使用Ostu法估计出显著性图的最佳二值化阈值，由此产生二进制图B，B中“0”表示人眼感兴趣，“1”表示人眼不感兴趣，那么对图像I来说，人眼感兴趣的区域Im可以定义为：Im＝I*B其中I表示失真图像，接着对所提取的感兴趣区域计算全局特征，使用不同尺度和方向的Gabor滤波器对原图进行滤波得到不同尺度和方向上的特征图，再将特征图分成4*4的块，计算所有块的平均值即可得到GIST特征；最后对感兴趣区域的GIST特征进行独立成分分析得到记忆特征，计算过程为：fM＝W·G其中W矩阵由FastICA模型进行估计，G为感兴趣区域的GIST特征，fM为记忆特征。上述步骤b的具体步骤为：图像的结构特征fS由梯度域的局部二值模式描述，利用P算子获得失真图像的梯度图像，计算梯度图像中每一个元素的局部二值模式，即可得到梯度域的局部二值模式，计算公式为：P表示中心点像素周围的元素个数，R表示周围像素选取的半径，gi表示周围像素点的梯度幅值，gc表示中心像素点的梯度幅值，其中：g0表示周围像素点的起始位置的梯度幅值，gP-1为周围像素点的结束位置的梯度幅值，u是均匀尺度，它的计算逐比特进行的，即二进制序列从0到1、从1到0的跳变不超过2次；GLBP描述了图像中心像素点和周围像素点的关系，这些图像的局部结构模式可以有效地描述不同失真原因引起的图像混合失真；然后对图像的GLBP进行统计，并且以梯度幅值作为权值：其中：N是像素的个数，k为GLBP的取值情况，ωi为每个像素点的梯度幅值，hglbp即结构特征fS。考虑到人眼视觉系统在不同的图像尺度上可以捕捉不同的信息，对失真图像进行4次下采样，获得不同尺度上的结构特征。上述步骤c的具体步骤为：计算图像的一阶导数熵以描述图像亮度特征fL，由于记忆特征和结构特征对于图像亮度变化不敏感，因此亮度特征的引入可以进一步完善模型，失真图像的一阶导数熵为：I(x,y)为失真图像，为失真图像的一阶导数，pi表示灰度级i出现的概率，通过下式计算：N表示像素总个数，Ni表示灰度级为i的像素个数，EFD即所求亮度特征fL，亮度越高，EFD值越大。上述步骤d的具体步骤为：得到三种特征之后，使用支持向量回归建立起失真图像的质量预测模型，使用LIBSVM工具箱，使用径向基函数为核函数，每次取数据集中的80％作为训练集训练出一个预测模型，剩下的20％作为测试集，训练测试过程重复1000次，最后取实验结果的中值。上述步骤e的具体步骤为：支持向量回归将特征映射到图像的质量分数空间，利用训练出的预测模型得到失真图像的质量分数为：Q＝SVR(fM,fS,fL)fM,fS,fL分别为记忆特征、结构特征和亮度特征。最后计算预测分数与实际主观分数之间的相似度以判断模型的准确性。本专利技术方法主要考虑了图像的记忆特性与其质量变化的关系，越容易被人脑记忆的部分，其失真对图像的整体质量有更大的影响，因此建立了基于记忆的无参考图像质量评估模型，该模型能够有效地提取记忆特征，并且结构特征与亮度特征的引入可以有效的提高模型的性能。通过在两个公开的混合失真图像数据集上的实验，证明了本专利技术提出的模型比当前的一些无参考模型性能更优良。本专利技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：1、本专利技术方法充分考虑了人类视觉系统的特点，验证了图像的记忆特性与图像的质量变化之间存在紧密联系，失真如果发生在更容易被人记住的区域，那么对图像质量的影响越大。2、本专利技术方法利用了另外两种高效的特征进一步提高了模型的性能本文档来自技高网...

【技术保护点】
1.一种基于记忆的图像无参质量评估方法，其特征在于该方法的具体步骤为：a.记忆特征提取：对输入的失真图像进行显著性估计，估计出显著性图的最佳阈值，进而分离出图像的显著性区域，对显著性区域计算GIST特征，最后对所得的GIST特征进行独立成分分析，得到记忆特征；b.结构特征提取：梯度域的局部二值模式用于描述失真图像的结构特征信息变化程度；c.亮度特征提取：计算失真图像的一阶导数熵来反映亮度特征变化；d.特征训练：得到步骤a、b、c所产生的特征后，使用以径向基函数为核函数的支持向量机建立图像质量预测模型；e.质量分数估计：由步骤d训练得到的模型将失真图像的特征映射为最终的质量分数。

【技术特征摘要】
1.一种基于记忆的图像无参质量评估方法，其特征在于该方法的具体步骤为：a.记忆特征提取：对输入的失真图像进行显著性估计，估计出显著性图的最佳阈值，进而分离出图像的显著性区域，对显著性区域计算GIST特征，最后对所得的GIST特征进行独立成分分析，得到记忆特征；b.结构特征提取：梯度域的局部二值模式用于描述失真图像的结构特征信息变化程度；c.亮度特征提取：计算失真图像的一阶导数熵来反映亮度特征变化；d.特征训练：得到步骤a、b、c所产生的特征后，使用以径向基函数为核函数的支持向量机建立图像质量预测模型；e.质量分数估计：由步骤d训练得到的模型将失真图像的特征映射为最终的质量分数。2.根据权利要求1所述的基于记忆的图像无参质量评估方法，其特征在于所述步骤a的具体步骤为：由一种视觉驱动模型预测出图像中人眼更感兴趣的部分的统计特征，即为图像的记忆特征，感兴趣区域的预测使用了基于局部协方差的显著性预测法获取显著性图，使用Ostu法估计出显著性图的最佳二值化阈值，由此产生二进制图B，B中“0”表示人眼感兴趣，“1”表示人眼不感兴趣，那么对图像I来说，人眼感兴趣的区域Im定义为：Im＝I*B其中I表示失真图像，接着对所提取的感兴趣区域计算全局特征，使用不同尺度和方向的Gabor滤波器对原图进行滤波得到不同尺度和方向上的特征图，再将特征图分成4*4的块，计算所有块的平均值即得到GIST特征；最后对感兴趣区域的GIST特征进行独立成分分析得到记忆特征，计算过程为：fM＝W·G其中W矩阵由FastICA模型进行估计，G为感兴趣区域的GIST特征，fM为记忆特征。3.根据权利要求1所述的基于记忆的图像无参质量评估方法，其特征在于所述步骤b的具体步骤为：图像的结构特征fS由梯度域的局部二值模式描述，利用P算子获得失真图像的梯度图像，计算梯度图像中每一个元素的局部二值模式，即得到梯度域的局部二值模式，计算公式为：P表示中心点像素周围的元素个数，R表示周围像素选取的半径，gi表示...

【专利技术属性】
技术研发人员：王永芳，夏雨蒙，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31