一种基于多特征融合的全参考超高清视频质量客观评价方法技术

本发明专利技术公开了一种基于多特征融合的全参考超高清视频质量客观评价方法，该方法首先对超高清源视频和失真视频进行抽帧并计算Y、U、V分量，然后分别计算亮度梯度相似度特征、视觉感知特征以及色度相似度特征等，接下来将特征组合成一维特征向量，利用支持向量回归模型对特征进行融合并回归得到各帧的质量分数，最后通过平均池化方式计算各帧质量分数的平均值，得到失真视频的质量分数。本发明专利技术利用支持向量回归模型对多个特征进行融合并完成图像质量预测任务，在提高视频质量分数预测精度的同时，降低了算法的复杂度。实验表明，本方法的性能优于目前已有的大部分全参考视频质量评价方法。方法。方法。

【技术实现步骤摘要】
一种基于多特征融合的全参考超高清视频质量客观评价方法


[0001]本专利技术属于数字图像及数字视频处理
，尤其涉及一种基于多特征融合的全参考超高清视频质量客观评价方法。

技术介绍

[0002]超高清视频作为视觉信息的一种复杂来源,蕴含了大量有价值的信息。近年来，随着超高清视频业务的逐步展开，对超高清视频质量评价技术的需求也越来越迫切。超高清视频经过采集、压缩、存储、传输、显示等处理环节后会引入不同类型和不同程度的失真，从而导致视频质量的下降。高效且准确的视频质量评价方法对于超高清视频业务的质量监控以及对于相关系统或设备的研发都具有重要意义。
[0003]视频质量评价方法可以分为主观评价方法和客观评价方法。主观评价是由观察者对视频质量进行主观评分，虽然评分结果符合人的主观感受但同时具有工作量大、耗时长等缺点。客观评价方法是由计算机根据一定算法计算得到视频的质量指标，与主观评价方法相比，有更多的应用场景和更广泛的应用需求。根据评价时是否需要参考视频，客观评价方法可分为全参考、半参考和无参考三类评价方法。
[0004](1)全参考视频质量评价方法是指在给定无失真视频作为参考视频的情况下，比较被测视频与参考视频之间的差异，分析被测视频的失真程度，从而得到被测视频的质量评估结果。
[0005](2)半参考视频质量评价方法是指提取参考视频的部分特征信息作为参考，对被测视频进行比较分析，从而得到视频的质量评估结果。
[0006](3)无参考视频质量评价方法是指在没有参考视频的情况下，对被测视频进行质量评估。
[0007]由于全参考方法可以充分利用参考视频的所有信息，因此评价性能要优于其他两类客观评价方法，在某些应用场合可以代替主观评价方法来完成视频质量评价任务。常见的全参考方法的有：基于像素统计的视频质量评价(主要有峰值信噪比PSNR和均方误差MSE等)、基于特征提取的视频质量评价、基于深度学习的视频质量评价等。其中，基于像素统计的方法计算量少，便于实现，但其结果与主观评价结果相关度较低；基于深度学习的方法可以取得较好性能，但模型训练成本较高，且泛化性能的好坏对训练集的依赖度较大。相对而言，基于特征提取的方法计算量较低，泛化能力较好。

技术实现思路

[0008]本专利技术结合超高清视频的特点，提出了一种基于特征提取的全参考评价方法，即一种基于多特征融合的全参考超高清视频质量客观评价方法。该方法首先对超高清源视频(即参考视频)和失真视频进行抽帧并计算Y、U、V分量，然后分别计算亮度梯度相似度特征、视觉感知特征以及色度相似度特征等，接下来将特征组合成一维特征向量，利用支持向量回归(Support Vector Regression，SVR)模型对特征进行融合并回归得到各帧的质量分
数，最后通过平均池化方式计算各帧质量分数的平均值，得到失真视频的质量分数。具体包括以下步骤：
[0009]步骤1，选取超高清视频质量评价数据库。
[0010]数据库由源视频(即参考视频)及失真视频构成。源视频为无失真的超高清视频，不少于20段，每段时长不少于10秒，帧频f
F
不低于50赫兹。失真视频是对源视频进行压缩、加噪等处理后得到的，每个失真视频须有主观评价MOS值。视频内容应尽可能包括室内、室外、建筑物、人物、自然景物、体育比赛、文艺表演、大型群众活动等典型场景。
[0011]步骤2，对源视频和失真视频进行抽帧。
[0012]对每个源视频及其对应的失真视频进行抽帧，抽帧率f
S
不低于1：50，得到源视频及对应失真视频的抽帧图像序列。
[0013]步骤3，计算Y、U、V分量。
[0014]计算源视频抽帧图像序列及对应失真视频抽帧图像序列中每一帧的Y、U、V分量，计算方法见公式(1)(注：如视频本身为YUV格式，则无需此步骤)。
[0015][0016]步骤4，计算亮度梯度相似度特征。
[0017]步骤4.1，计算源视频抽帧图像序列和失真视频抽帧图像序列中每一帧的亮度梯度幅度GM(x，y)，该值代表了图像的对比度信息，采用Scharr算子计算，计算方法见公式(2)(3)。
[0018][0019][0020]公式(3)中，G
x
(x，y)和G
y
(x，y)为图像的水平和垂直梯度；Y(x，y)为图像的亮度矩阵，即Y矩阵。
[0021]步骤4.2，计算源视频抽帧图像序列中的每一帧与失真视频抽帧图像序列中对应帧之间的亮度梯度相似度特征S
GM
，计算方法见公式(4)。
[0022][0023]公式(4)中，GM
S
(x，y)、GM
D
(x，y)分别表示源视频和失真视频中抽帧图像在(x，y)处的亮度梯度幅度；T1为常数，取值160；L和N分别为图像的水平和垂直像素数。
[0024]步骤5，计算视觉感知特征。
[0025]步骤5.1，计算源视频视觉感知特征I
S
，该值代表源视频抽帧图像序列中每一帧图像与人眼感知到的该帧图像之间的互信息，计算方法见公式(5)。
[0026][0027]公式(5)中，为视觉噪声方差，取值为2。D
S
(x，y)的计算方法见公式(6)。
[0028][0029]公式(6)中，Y
S
(x，y)表示源视频抽帧图像的亮度矩阵；G
17*17
为方差取2.56时的17*
17高斯滤波器模板。
[0030]步骤5.2，计算失真视频视觉感知特征I
D
，该值代表失真视频抽帧图像序列中每一帧图像与人眼感知到的该帧图像之间的互信息，计算方法见公式(7)。
[0031][0032]公式(7)中，M的计算方法见公式(8)，失真方差的计算方法见公式(9)。
[0033][0034][0035]公式(8)和公式(9)中，C
S，D
(x，y)和D
D
(x，y)的计算方法分别见公式(10)和(11)，其中Y
D
(x，y)为失真视频抽帧图像的亮度矩阵。
[0036]C
S，D
(x，y)＝G
17*17
*[Y
S
(x，y)
·
Y
D
(x，y)]‑
[G
17*17
*Y
S
(x，y)]·
[G
17*17
*Y
D
(x，y)]ꢀꢀꢀ
(10)
[0037][0038]步骤5.3，计算视觉感知特征比I，即失真视频抽帧图像序列中每一帧的视觉感知特征I
D
与源视频抽帧图像序列中对应帧的视觉感知特征I
S
的比值I
D
/I
S
，计算方法见公式(12)。
[0039][00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的全参考超高清视频质量客观评价方法，其特征在于：该方法包括以下步骤：步骤1，选取超高清视频质量评价数据库；数据库由源视频即参考视频及失真视频构成；源视频为无失真的超高清视频，不少于20段，每段时长不少于10秒，帧频f
F
不低于50赫兹；失真视频是对源视频进行压缩、加噪处理后得到的，每个失真视频须有主观评价MOS值；视频内容包括室内、室外、建筑物、人物、自然景物、体育比赛、文艺表演、大型群众活动场景；步骤2，对源视频和失真视频进行抽帧；对每个源视频及其对应的失真视频进行抽帧，抽帧率f
S
不低于1:50，得到源视频及对应失真视频的抽帧图像序列；步骤3，计算Y、U、V分量；计算源视频抽帧图像序列及对应失真视频抽帧图像序列中每一帧的Y、U、V分量，计算方法见公式(1)；如源视频为YUV格式，则无需计算Y、U、V分量；步骤4，计算亮度梯度相似度特征；步骤5，计算视觉感知特征；步骤6，计算色度相似度特征；步骤7，进行特征融合和分数回归；步骤8，对被测超高清视频进行全参考视频质量评价。2.根据权利要求1所述的一种基于多特征融合的全参考超高清视频质量客观评价方法，其特征在于：计算亮度梯度相似度特征，步骤如下：步骤4.1，计算源视频抽帧图像序列和失真视频抽帧图像序列中每一帧的亮度梯度幅度GM(x，y)，该值代表了图像的对比度信息，采用Scharr算子计算，计算方法见公式(2)、(3)；(3)；公式(3)中，G
x
(x，y)和G
y
(x，y)为图像的水平和垂直梯度，Y(x，y)为图像的亮度矩阵，即Y矩阵；步骤4.2，计算源视频抽帧图像序列中的每一帧与失真视频抽帧图像序列中对应帧之间的亮度梯度相似度特征S
GM
，计算方法见公式(4)；公式(4)中，GM
S
(x，y)、GM
D
(x，y)分别表示源视频和失真视频中抽帧图像的亮度梯度幅度，T1为常数，取值160；L和N分别为图像的水平和垂直像素数。3.根据权利要求1所述的一种基于多特征融合的全参考超高清视频质量客观评价方
法，其特征在于：计算视觉感知特征，步骤如下：步骤5.1，计算源视频视觉感知特征I
S
，该值代表源视频抽帧图像序列中每一帧图像与人眼感知到的该帧图像之间的互信息，计算方法见公式(5)；公式(5)中，为视觉噪声方差，取值为2；D
S
(x，y)的计算方法见公式(6)；公式(6)中，Y
S
(x，y)表示源视频抽帧图像的亮度矩阵；G
17*17
为方差取2.56时的17*17高斯滤波器模板；步骤5.2，计算失真视频视觉感知特征I
D
，失真视频视觉感知特征I
D
代表失真视频抽帧图像序列中每一帧图像与人眼感知到的该帧图像之间的互信息，计算方法见公式(7)；公式(7)中，M的计算方法见公式(8)，失真方差的计算方法见公式(9)；的计算方法见公式(9)；公式(8)和公式(9)中，C
S，D
(x，y)和D
D
(x，y)的计算方法分别...

【专利技术属性】
技术研发人员：史萍，耿仪，王雪婷，潘达，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：