基于时空稀疏字典的全参考屏幕视频质量评价方法及系统技术方案

本发明专利技术公开一种基于时空稀疏字典的全参考屏幕视频质量评价方法及系统，包括：将输入参考和失真屏幕视频进行预处理分割成屏幕视频块；采用两种不同尺度的3D

【技术实现步骤摘要】
基于时空稀疏字典的全参考屏幕视频质量评价方法及系统


[0001]本专利技术涉及图像处理领域，特别是指一种基于时空稀疏字典的全参考屏幕视频质量评价方法及系统。

技术介绍

[0002]随着移动互联网和便携式通讯设备的快速发展，屏幕视频的相关应用场景越来越广泛。屏幕视频被广泛应用于如游戏直播、在线会议、在线教育等场景中，有关于屏幕视频质量评价相关的研究也一直是计算机视觉领域里的热点问题。与传统的自然视频不同，屏幕视频从生成方式来讲，主要是指由计算机生成的视频，通常包含计算机图形文本、自然场景与图形文本的混合场景以及由计算机生成的动画等场景。相比于传统的自然视频，屏幕视频通常不包含噪声，色调离散、线条细腻等。
[0003]屏幕视频在采集、传输和显示等过程中通常会产生各种失真，导致视频质量受到影响。这些失真会影响到用户体验，降低主观感知的视觉效果。因此提出一种结合人眼视觉特性并能准确快速的对屏幕视频的质量做出评价的算法是非常重要的。
[0004]现阶段大部分视频质量评价算法都主要集中于自然视频领域，但屏幕视频特性和自然视频特性的差异导致了自然视频相关的质量评价算法在迁移到屏幕视频上表现相对较差。因此设计符合人类视觉特性和屏幕视频特点的质量评价算法具有重要的理论研究意义和实际应用价值。

技术实现思路

[0005]本专利技术的主要目的在于提出一种符合人类视觉系统主观感知和屏幕视频特点的全参考屏幕视频质量评价方法，该方法通过对屏幕视频进行分割并使用不同尺度的3D
‑
DOG滤波器进行数据预处理，继而训练两种不同尺度的稀疏字典用于提取符合人类视觉系统主观感知的时空稀疏特征计算相应屏幕视频质量分数，具有较好的屏幕视频质量评价效果。
[0006]本专利技术采用如下技术方案：
[0007]一方面，一种基于时空稀疏字典的全参考屏幕视频质量评价方法，包括如下步骤：
[0008]S101，将输入的参考和失真屏幕视频序列SCV按照连续的三帧进行组合划分，形成屏幕视频块SCVV；
[0009]S102，采用两种不同尺度的3D
‑
DOG滤波器对SCVV进行处理，分别提取两种尺度的3D
‑
DOG特征；
[0010]S103，将处理过的SCVV进行划分得到视频像素单元VPU，并选取一定数量的VPU进行处理并构建矩阵，然后利用奇异值分解K
‑
TSVD对矩阵进行处理，从而得到两种尺度的稀疏字典D1和D2；
[0011]S104，使用稀疏字典D1和D2分别对小尺度视频像素单元和大尺度视频像素单元进行特征提取，得到大小两种不同尺度的时空稀疏特征；
[0012]S105，基于两种不同尺度的时空稀疏特征获得两种不同尺度的失真屏幕视频稀疏
特征和参考屏幕视频稀疏特征进行相似度度量，并计算视频像素单元VPU的质量分数；
[0013]S106，基于视频像素单元VPU的质量分数和人类视觉特性，使用时空池化策略计算屏幕视频质量分数。
[0014]优选的，所述S102，具体包括：
[0015]获取两种不同尺度的三维高斯差分滤波器，分别如下；
[0016][0017][0018][0019][0020][0021][0022]其中，和表示两种不同尺度的高斯差分滤波器，对应参数为δ1＝0.4，δ2＝0.5被定义为小尺度滤波器，对应参数为δ3＝1.8，δ4＝2.0被定义为大尺度滤波器；G(x,y,t,δ1)，G(x,y,t,δ2)，G(x,y,t,δ3)和G(x,y,t,δ4)表示四种不同尺度的高斯滤波器；(x,y,t)表示对应像素点的空间坐标；δ1、δ2、δ3、δ4为标准差参数，分别设为0.4，0.5，1.8，2.0；
[0023]使用上述两种滤波器对屏幕视频块SCVV的亮度分量进行处理，以提取对于人眼视觉系统敏感的边缘信息，分别如下：
[0024][0025][0026]其中，表示卷积运算；I(x,y,t)表示SCVV的亮度分量；SSDF(x,y,t)表示小尺度三维高斯差分滤波器所提取的特征；LSDF(x,y,t)表示大尺度三维高斯差分滤波器所提取的特征。
[0027]优选的，所述S103，具体包括：
[0028]将经过处理的屏幕视频块SCVV切分成视频像素单元VPU，将视频像素单元VPU中的每一个视频帧内每一行的像素进行拼接组成一个行向量，从所有的行向量中随机选取10000个VPU组合形成张量矩阵和然后使用张量奇异值分解K
‑
TSVD模型将其分解为
完备字典D1和D2，如下：
[0029][0030][0031][0032][0033]其中，λ＝0.1是稀疏参数，|| ||
F
Frobenius范数，使用|| ||
1,1,2
范数作为tubal sparsity的凸关系；是经过处理后的SCVV形成的张量矩阵；D1表示完备字典1，对应于小尺度滤波器也被定义为小尺度稀疏字典；x1表示K
‑
TSVD模型中由矩阵得到的三阶张量；x1(i,j,:)表示张量的切片；i和j表示对应的维度；是经过处理后的SCVV形成的张量矩阵；D2表示完备字典2，对应于大尺度滤波器也被定义为大尺度稀疏字典；x2表示K
‑
TSVD模型中由矩阵得到的三阶张量；x2(i,j,:)表示张量的切片；i和j表示对应的维度。
[0034]优选的，所述S104，具体包括：
[0035][0036][0037]其中，SSVPU
ξ
(x,y,t)表示小尺度高斯差分滤波器特征分解出的张量；LSVPU
ξ
(x,y,t)表示大尺度高斯差分滤波器特征分解出的张量；表示完备字典D1和小尺度视频像素单元分解出的小尺度时空稀疏特征；表示完备字典D2和大尺度视频像素单元分解出的大尺度时空稀疏特征；ξ:＝{r,d}分别表示参考屏幕视频序列和失真屏幕视频序列的统一表示，r表示参考序列，d表示失真序列，具体为：
[0038][0039][0040][0041][0042]其中，分别表示参考视频序列小尺度时空稀疏特征、失真视频序列小尺度时空稀疏特征、参考视频序列大尺度时空稀疏特征、失真视频序列大尺度时空稀疏特征；SSVPU
r
(x,y,t)表示小尺度高斯差分滤波器处理参考视频序列分解出的张量，SSVPU
d
(x,y,t)表示小尺度高斯差分滤波器处理失真视频序列分解出的张量；LSVPU
r
(x,y,t)表示大尺度高斯差分滤波器处理参考视频序列分解出的
张量，LSVPU
d
(x,y,t)表示大尺度高斯差分滤波器处理失真视频序列分解出的张量。
[0043]优选的，所述S105中，基于两种不同尺度的时空稀疏特征获得两种不同尺度的失真屏幕视频稀疏特征和参考屏幕视频稀疏特征进行相似度度量，如下：
[0044][0045][00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空稀疏字典的全参考屏幕视频质量评价方法，其特征在于，包括如下步骤：S101，将输入的参考和失真屏幕视频序列SCV按照连续的三帧进行组合划分，形成屏幕视频块SCVV；S102，采用两种不同尺度的3D
‑
DOG滤波器对SCVV进行处理，分别提取两种尺度的3D
‑
DOG特征；S103，将处理过的SCVV进行划分得到视频像素单元VPU，并选取一定数量的VPU进行处理并构建矩阵，然后利用奇异值分解K
‑
TSVD对矩阵进行处理，从而得到两种尺度的稀疏字典D1和D2；S104，使用稀疏字典D1和D2分别对小尺度视频像素单元和大尺度视频像素单元进行特征提取，得到大小两种不同尺度的时空稀疏特征；S105，基于两种不同尺度的时空稀疏特征获得两种不同尺度的失真屏幕视频稀疏特征和参考屏幕视频稀疏特征进行相似度度量，并计算视频像素单元VPU的质量分数；S106，基于视频像素单元VPU的质量分数和人类视觉特性，使用时空池化策略计算屏幕视频质量分数。2.根据权利要求1所述的基于时空稀疏字典的全参考屏幕视频质量评价方法，其特征在于，所述S102，具体包括：获取两种不同尺度的三维高斯差分滤波器，分别如下；获取两种不同尺度的三维高斯差分滤波器，分别如下；获取两种不同尺度的三维高斯差分滤波器，分别如下；获取两种不同尺度的三维高斯差分滤波器，分别如下；获取两种不同尺度的三维高斯差分滤波器，分别如下；获取两种不同尺度的三维高斯差分滤波器，分别如下；其中，和表示两种不同尺度的高斯差分滤波器，对应参数为δ1＝0.4，δ2＝0.5被定义为小尺度滤波器，对应参数为δ3＝1.8，δ4＝2.0被定义为大尺度滤波器；G(x,y,t,δ1)，G(x,y,t,δ2)，G(x,y,t,δ3)和G(x,y,t,δ4)表示四种不同尺度的高斯滤波器；(x,y,t)表示对应像素点的空间坐标；δ1、δ2、δ3、δ4为标准差参数，分别设为0.4，0.5，1.8，2.0；
使用上述两种滤波器对屏幕视频块SCVV的亮度分量进行处理，以提取对于人眼视觉系统敏感的边缘信息，分别如下：统敏感的边缘信息，分别如下：其中，表示卷积运算；I(x,y,t)表示SCVV的亮度分量；SSDF(x,y,t)表示小尺度三维高斯差分滤波器所提取的特征；LSDF(x,y,t)表示大尺度三维高斯差分滤波器所提取的特征。3.根据权利要求2所述的基于时空稀疏字典的全参考屏幕视频质量评价方法，其特征在于，所述S103，具体包括：将经过处理的屏幕视频块SCVV切分成视频像素单元VPU，将视频像素单元VPU中的每一个视频帧内每一行的像素进行拼接组成一个行向量，从所有的行向量中随机选取10000个VPU组合形成张量矩阵Y1和Y2；然后使用张量奇异值分解K
‑
TSVD模型将其分解为完备字典D1和D2，如下：，如下：，如下：，如下：其中，λ＝0.1是稀疏参数，|| ||
F
Frobenius范数，使用|| ||
1,1,2
范数作为tubal sparsity的凸关系；Y1是经过处理后的SCVV形成的张量矩阵；D1表示完备字典1，对应于小尺度滤波器也被定义为小尺度稀疏字典；x1表示K
‑
TSVD模型中由矩阵Y1得到的三阶张量；x1(i,j,:)表示张量的切片；i和j表示对应的维度；Y2是经过处理后的SCVV形成的张量矩阵；D2表示完备字典2，对应于大尺度滤波器也被定义为大尺度稀疏字典；x2表示K
‑
TSVD模型中由矩阵Y2得到的三阶张量；x2(i,j,:)表示张量的切片；i和j表示对应的维度。4.根据权利要求3所述的基于时空稀疏字典的全参考屏幕视频质量评价方法，所述S104，具体包括：SF
ξS
(x,y,t)＝SSVPU
ξ
(x,y,t)
·
D1SF
ξL
(x,y,t)＝LSVPU
ξ
(x,y,t)
·
D2其中，SSVPU
ξ
(x,y,t)表示小尺度高斯差分滤波器特征分解出的张量；LSVPU
ξ
(x,y,t)表示大尺度高斯差分滤波器特征分解出的张量；SF
ξS
(x,y,t)表示完备字典D1和小尺度视频像素单元分解出的小尺度时空稀疏特征；SF
ξL
(x,y,t)表示完备字典D2和大尺度视频像素单元
分解出的大尺度时空稀疏特征；ξ:＝{r,d}分别表示参考屏幕视频序列和失真屏幕视频序列的统一...

【专利技术属性】
技术研发人员：曾焕强，文豪，朱建清，黄德天，程姗，侯军辉，
申请(专利权)人：华侨大学，
类型：发明
国别省市：