一种基于卡通纹理分解的超分辨率重建图像质量评价方法技术

本发明专利技术涉及一种基于卡通纹理分解的超分辨率重建图像质量评价方法，属于数字图像处理、计算机视觉、图像质量评价等领域。本发明专利技术利用卡通纹理分解将参考图像和超分辨率重建图像分解成卡通部分和纹理部分，从亮度、对比度、结构三个方面进行卡通部分的比较分析，用低频信息表征亮度、标准差表征对比度、梯度表征结构得到其各自的相似性的评价度量，然后将之作为加权函数的变量进行加权处理得到卡通部分的卡通相似性。从纹理和高频两个方面进行纹理部分的比较分析，得到纹理相似性和高频相似性的评价度量。本发明专利技术得到的最终质量评价与人眼视觉感知一致，弥补了现有图像质量评价方法的不足，在图像处理、图像质量评价等领域具有很好的应用价值。好的应用价值。好的应用价值。

【技术实现步骤摘要】
一种基于卡通纹理分解的超分辨率重建图像质量评价方法


[0001]本专利技术属于数字图像处理和计算机视觉领域，具体属于图像质量评价
，具体涉及一种基于卡通纹理分解的超分辨率重建图像质量评价方法。

技术介绍

[0002]随着互联网和多媒体技术的迅猛发展，促使人们的生活方式和信息获取的途径发生了翻天覆地的变化，数字化的时代已经到来，因此数字图像在整个社会中扮演了特殊的角色。它能给人们传递各种海量的信息，小到柴米油盐酱醋茶，大到国家大事。比如，购买生活必需品时查看配料表和保质期、出门旅游时查看景点攻略和路线图等细小生活琐事，病人CT拍片检测病灶、航天探测器传回的实时太空图等关乎国计民生的大事。然而，在数字图像的采集与处理的过程中，有许多因素会导致图像分辨率的下降，从而造成图像在视觉感受上的美感不足和图像内容信息上的缺失。因此，在图像的使用和处理过程中，人们都倾向于获取高分辨率的图像。在实际生产中，考虑到设备成本和制造工艺，便通过人工手段即利用超分辨率重建算法来获取高分辨率图像。
[0003]近年来，超分辨率重建算法被许多学者广泛研究，提出了大量的超分辨率重建算法，但如何有效的对这些重建后的图像进行质量评价是一直存在的问题。从最客观的角度来解决这个问题，就是有必要研究一种用于超分辨率重建图像的质量评价方法。目前，大多数学者用的是现有的客观的图像质量评价指标对超分辨率重建图像进行质量评价，如结构相似性(SSIM)、均方误差(MSE)、峰值信噪比(PSNR)、特征相似性(FSIM)等。AT&T实验室的Reibman等人在比较了不同的放大倍数对超分辨率重建算法的影响，以及主、客观评价的对比，其结果表明现有的SSIM、MSE、模糊(Blur)等客观指标不能正确评估超分辨率重建图像，且与人类视觉主观的一致性低(Reibman A R，Bell R M，Gray S.Quality assessment for super
‑
resolution image enhancement，IEEE)。滑铁卢大学的Wang等人提出了一种无参考的超分辨率图像质量评价方法，以自然统计特性的方法，分别从频域能量的衰减和空间连续性统计上对超分辨率图像质量进行度量，但该方法仅适用于插值因子为2的情况(Yeganeh H，Rostami M，Zhou W.Objective quality assessment for image super
‑
resolution：A natural scene statistics approach，IEEE)。Lukes等人采用6种超分辨率重建算法对图像进行处理，并利用现有的客观的图像质量评价指标对超分辨率重建图像进行质量评价，其实验结果表明视觉信噪比(VSNR)、SSIM、PSNR等9种评价指标与主观评分(MOS)的相关性都很低(Lukes T，Fliegel K，Klima M.Performance evaluation of image quality metrics with respect to their use for super
‑
resolution enhancement，IEEE)。Ma等人利用9种超分辨率重建算法建立了超分辨率重建图像数据库(简称MY)，并提出了超分辨率重建图像的无参考质量评价方法，该方法是利用机器学习的方法建立回归模型预测超分辨率重建图像的质量，具有较高的鲁棒性，但图像数据训练的时间长(Chao，Ma，Chih
‑
Yuan，et al.Learning a no
‑
reference quality metric for single
‑
image super
‑
resolution，Computer Vision&Image Understanding)。针对超分辨率的感知图像
复原与处理挑战研讨会与ECCV联合举行，在PIRM挑战赛中发现，学者们虽然已经提出了很多先进的SR重建算法，但是大多数常见的图像质量评价指标不能正确的评估超分辨率重建图像的质量，且质量评价指标与MOS的相关性很低(Blau Y，Mechrez R，Timofte R，et al.2018PIRM Challenge on Perceptual Image Super
‑
resolution)。Zhou等人利用21种超分辨率重建算法建立了超分辨率重建图像数据库(简称QADS)，并提出了超分辨率重建图像的完全参考质量评价方法(简称SIS)，该方法从图像的结构、纹理、高频信息3个方面对超分辨率重建图像进行质量评价，主客观具有较高的一致性，但进行质量评价时程序运行时间长(Zhou F，Yao R，Liu B，et al.Visual Quality Assessment for Super
‑
Resolved Images：Database and Method.IEEE Transactions on Image Processing)。
[0004]综上所述，现有图像质量评价指标对超分辨率重建图像进行质量评价时存在的问题有：
[0005]1.现有有图像质量评价指标评价的图像和超分辨率重建的失真类型不同，其原因是超分辨率重建图像是由低分辨率图像经过超分辨率重建算法处理后获得的图像，而低分辨率图像大多都是人工手段获取，即对高分辨率图像进行降质后得到的。
[0006]2.现有的图像质量指标忽略了超分辨率重建图像更注重高频和细节信息，客观的评价指标不能正确评估超分辨率重建图像的质量，且与人类视觉感知的一致性较低。
[0007]3.常见的图像质量评价方法并不适合超分辨率重建图像质量的评价，且与人类视觉感知的一致性较低。常见的图像质量评价方法所评价的图像和超分辨率重建图像的失真情况不同。前者主要针对的是高斯模糊、加性高斯白噪声、jpeg压缩、对比度变化等失真情况，而后者更加注重的是经过超分辨率算法处理后图像的模糊、高频和细节信息等失真情况。
[0008]4.和深度学习相关的超分辨率重建图像质量评价方法，在对超分辨率重建图像进行质量评价时都需要大量的图像进行数据训练，数据的计算量大且运行时间长。关于超分辨率重建图像的质量评价方法，大多数是部分参考的和无参考的超分辨率重建图像质量评价方法，而全参考的超分辨率重建图像质量评价方法很少。

技术实现思路

[0009]本专利技术旨在克服上述现有图像质量评价指标的问题，目的在于提出一种基于卡通纹理分解的超分辨率重建图像质量评价方法，它能够有效的评价超分辨率重建图像的质量，能使其与人眼的视觉感知效果一致，且能弥补目前针对超分辨率重建算法的全参考的图像质量评价方法研究较少的不足。
[0010]为了实现上述目的，本专利技术提出了一种技术方案，一种基于卡通纹理分解的超分辨率重建图像质量评价方法，其特征在于，包括以下步骤：
[0011]步骤1.1：对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卡通纹理分解的超分辨率重建图像质量评价方法，其特征在于，包括以下步骤：步骤1.1：对参考图像I
ref
和超分辨率重建图像I
sr
分别进行颜色空间转换，将RGB彩色图像转换成灰度图像并对之进行卡通纹理分解，分别得到图像I
ref
的卡通部分I
ref_u
和纹理部分I
ref_v
，以及图像I
sr
的卡通部分I
sr_v
和纹理部分I
sr_v
；步骤1.2：采用低频信息表征亮度，标准差表征对比度，梯度表征结构，分别从亮度、对比度、结构3个方面对卡通部分进行相似性度量；获得局部质量映射后，使用低频信息、标准差、梯度作为加权函数的变量，计算其质量分数并将之进行融合得到卡通部分的相似性度量；步骤1.3：从纹理、高频2个方面进行纹理部分的相似性度量，获得纹理特征的相似性和高频信息之间的相似性度量；步骤1.4：将卡通部分的相似性度量和纹理部分的相似性度量进行融合处理，得到最终的超分辨率重建图像的质量评价标准。2.根据权利要求1所述的一种基于卡通纹理分解的超分辨率重建图像质量评价方法，其特征在于，步骤1.1所述的卡通纹理分解，是指利用空间刻画、稀疏表示等将图像分解成卡通部分和纹理细节，卡通部分主要包含图像的结构，纹理部分主要包含图像的细节；所述卡通纹理分解的分解模型为：u(x)＝w(λ(x))(L
σ
×
f)(x)+(1
‑
w(λ(x)))f(x)v(x)＝f(x)
‑
u(x)其中，f(x)、u(x)和v(x)分别为所述的灰度图、卡通部分和纹理部分；λ(x)是用局部全变分LTV的相对衰减率来刻画像素x是属于卡通部分还是纹理部分的度量，w(x)是用来优化卡通纹理分解的最佳分解的度量，它们分别为卡通纹理分解的最佳分解的度量，它们分别为其中的G
σ
是标准差为σ的高斯卷积核，是图像f梯度的模长；所述的卡通纹理分解，包括以下步骤：步骤2.1：对步骤1.1得到的灰度图像f进行低通滤波的模板卷积得到L
σ
×
f图像；步骤2.2：分别计算步骤1.1得到的灰度图f和步骤2.1得到的L
σ
×
f图像的梯度的欧几里得范数，也就是梯度的模长；步骤2.3：将步骤2.2所得到的梯度的模长与高斯卷积核G
σ
进行卷积，得到灰度图像f和L
σ
×
f图像的局部全变分LTV；步骤2.4：根据步骤2.3得到的局部全变分LTV，利用所述的卡通纹理分解的分解模型，得到图像f和L
σ
×
f图像的每一像素x的局部全变分的相对衰减率λ(x)的值；步骤2.5：根据步骤2.4得到的图像f和L
σ
×
f图像的λ(x)值，利用所述的卡通纹理分解的分解模型，得到图像f的所述卡通纹理分解的卡通部分u(x)以及纹理部分v(x)。3.根据权利要求1
‑
2所述的一种基于卡通纹理分解的超分辨率重建图像质量评价方法，其特征在于，步骤1.2所述的卡通部分的相似性度量，包括以下步骤：
步骤3.1：参考图像的卡通部分ref_u和超分辨率重建图像的卡通部分sr_u通过步骤2.1所述的低通滤波可得到ref_u的低频信息lf
ref_u
和sr_u的低频信息lf
sr_u
，用之分别表征ref_u和sr_u的亮度信息；然后利用关系式ref_u和sr_u的亮度信息；然后利用关系式获得所述的卡通部分ref_u和sr_u之间的亮度相似性的度量S
l
，C1是不为0的正常数，w
l
(ref_u，sr_u)为加权函数，用于对所述的亮度信息进行加权处理；步骤3.2：参考图像的卡通部分ref_u和超分辨率重建图像的卡通部分sr_u通过步骤2.3所述的高斯卷积核G
σ
进行高斯滤波得到ref_u的均值和sr_u的均值，然后利用关系式得到ref_u的标准差σ
ref_u
和sr_u的标准差σ
sr_u
，用之分别表征sr_u和sr_u的对比度信息，σ
x
表示图像的标准差，x
i
表示图像x的第i个像素，μ
x
表示图像x的均值，N为图像x的总像素数；再利用关系式素数；再利用关系式获得所述的卡通部分ref_u和sr_u之间的对比度相似性的度量S
c
，C2...

【专利技术属性】
技术研发人员：范艳，陈永利，周艳华，苏艳红，盛增彪，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：