一种边缘加强的视频质量评估方法技术

本发明专利技术提供了一种边缘加强的视频质量评估方法，包括S1，分别对输入视频的每一帧视频帧进行拆分处理；S2，通过边缘检测算法对R、G、B三通道的图像进行边缘检测；S3，合并R、G、B三通道的图像的边缘图，得到视频帧的边缘图；S4，获得每一帧视频帧的内容依赖特征M

【技术实现步骤摘要】
一种边缘加强的视频质量评估方法


[0001]本专利技术涉及视频质量评估领域，尤其涉及一种边缘加强的视频质量评估方法。

技术介绍

[0002]随着手机和平板电脑等移动设备的迅速发展，人们已经不仅仅满足于图片浏览，而更加倾向于视频服务。同时随着网络技术的逐步发展，如今大多数电子设备已可以支持接收和播放高清视频。相比于图片，视频在采集、传输、和储存的过程更容易被引入失真。因此，视频质量评估成为了当今计算机视觉中一个重要的研究课题。同时由于在实际应用中，人们在互联网上浏览的视频都是没有原始视频作参考的，这就促进了无参考视频质量评估的发展。
[0003]通常，失真包括自然的真实失真和人工的合成失真。真实失真是在拍摄过程中由于曝光不足、过度曝光或欠曝、拍摄者运动导致的模糊以及压缩误差等自然失真的混合。合成失真是指由人工添加的诸如白噪声、高斯模糊、JPEG2000、椒盐噪声、全局对比度降低等引起的失真。无论是真实失真还是合成失真都广泛的出现在视频中。因此，能专利技术一种可以评估任意类型的视频质量的方法具有重大意义。
[0004]现有技术方案1：李鼎权，野外视频的质量评估，2019。
[0005]该方法用到了人眼视觉系统中的内容依赖以及时间迟滞效应，利用 ResNet
‑
50网络提取视频每一帧的内容感知特征，对卷积层顶层输出的语义特征进行全局平均池化和全局标准差池化得到视频每一帧的特征。之后利用门控循环单元(GRU)对视频进行长期依赖的建模，最后通过一个可微分的主观时间池化层得到视频的最终分数。
[0006]现有技术方案2：朱泽，基于空时特征和注意力机制的无参考视频质量评价， 2020。
[0007]该专利技术的作者基于卷积神经网络和循环神经网络并结合注意力机制，提出了一种无参考视频质量评价算法。首先利用Visual Geometry Group(VGG)网络提取视频的空域特征，然后通过神经网络提取的时域特征，结合注意力机制对空时特征进行重要度计算，根据重要度得到视频的整体特征，最后通过全连接层回归得到视频质量的最终分数。
[0008]对于现有技术方案1，该方案存在的缺点是：该方法将视频每一帧都直接放入深度学习网络中提取特征，没有通过一定的预处理，可能会使后续网络提取的特征不够全面，导致性能降低。
[0009]对于现有技术方案2，该方案存在的缺点是：在建立短期模型时，为了量化帧间的变化，使用了光流的方法来描述物体的运动，但光流的计算量十分大，即使是平衡运算量和精度后同样有些得不偿失。

技术实现思路

[0010]本专利技术的目的在于公开一种边缘加强的视频质量评估方法，解决现有技术中存在的视频帧未经过处理会降低神经网络性能、使用光流法计算量大、测试样本数量少，导致模
型适用性低的问题。
[0011]为了达到上述目的，本专利技术采用如下技术方案：
[0012]一种边缘加强的视频质量评估方法，包括：
[0013]S1，分别对输入视频的每一帧视频帧进行拆分处理，将视频帧拆分成R、G、 B三通道的图像；
[0014]S2，通过边缘检测算法对R、G、B三通道的图像进行边缘检测，得到R、G、 B三通道的图像的边缘图；
[0015]S3，合并R、G、B三通道的图像的边缘图，得到视频帧的边缘图；
[0016]S4，将输入视频的视频帧输入到预设的深度神经网络中，获得每一帧视频帧的内容依赖特征M
t1
；将视频帧对应的边缘图输入到预设的双流网络得到每一幅边缘图的边缘特征M
t2
；
[0017]S5，对S4得到的内容依赖特征和边缘特征分别进行全局平均池化和全局标准差池化降维后通过合并函数得到每一帧视频帧的特征V
t
；t表示视频帧的编号；
[0018]S6，将V
t
输入到全连接层中进行降维处理，获得质量特征q
t
；
[0019]S7，基于质量特征q
t
计算输入视频的视频质量分数。
[0020]优选地，所述S1包括：
[0021]将每一视频帧由RGB图像F拆分为对应的R、G、B三通道图F_R，F_G，F_B：
[0022]F(x,y)＝F_B(x,y)+F_G(x,y)+F_R(x,y)
[0023]其中，F(x,y)表示F中坐标为(x,y)的像素点，F_B(x,y)、F_G(x,y)、F_R(x,y) 分别表示坐标为(x,y)的像素点的蓝、绿、红三通道像素点的数值。
[0024]优选地，所述S2包括：
[0025]将转换后的三通道图像利用Canny算子进行转换，得到每一视频帧的边缘图：
[0026]首先分别对输入的三通道图像进行高斯模糊处理，获得高斯模糊图像；
[0027]之后使用边缘检测Canny算子来检测高斯模糊图像的水平、垂直和对角边缘，返回水平和垂直方向上的一阶导数值G
x
和G
y
，以确定像素点的梯度G和方向θ；
[0028][0029][0030]接下来对像素点进行非极大值抑制，将当前进行非极大值抑制的像素点的梯度强度与沿正负梯度方向上的两个像素点进行比较，如果当前进行非极大值抑制的像素点的梯度强度大于沿正负梯度方向上的两个像素点的梯度强度，则当前进行非极大值抑制的像素点保留为可能存在的边缘点，否则该像素点将被抑制为非边缘点；
[0031]之后利用双阈值确定最终的边缘点，由所有的边缘点组成边缘图。
[0032]优选地，所述S3包括：
[0033]通过合并视频帧的R、G、B三通道边缘图即可得视频帧的边缘图：
[0034]L(x,y)＝L_B(x,y)+L_G(x,y)+L_R(x,y)
[0035]其中L(x,y)表示为最终视频帧的边缘图L坐标为(x,y)的像素点,L_B(x,y)， L_G(x,y)，L_R(x,y)分别表示B、G、R三通道图像经过Canny算子后得到的边缘图在(x,y)的像素
点，将三通道的边缘图重新合并为RGB图像即得到边缘图L。
[0036]优选地，所述S5包括：
[0037]对内容依赖特征和边缘特征分别进行全局平均池化GP
mean
和全局标准差池化GP
std
降维后通过合并函数Concat得到每一帧图像的特征V
t
[0038][0039][0040][0041][0042][0043]优选地，所述S7包括：
[0044]首先定义记忆质量元素x
t
为视频当前帧t的前τ帧中质量最差帧的分数；
[0045][0046]其中V
pre
＝{max(1,t
‑
τ),...,t
‑
2,t
‑
1}，表示前τ帧的取值集合，q
n
表示第n帧的帧质量；q
k
表示第k帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘加强的视频质量评估方法，其特征在于，包括：S1，分别对输入视频的每一帧视频帧进行拆分处理，将视频帧拆分成R、G、B三通道的图像；S2，通过边缘检测算法对R、G、B三通道的图像进行边缘检测，得到R、G、B三通道的图像的边缘图；S3，合并R、G、B三通道的图像的边缘图，得到视频帧的边缘图；S4，将输入视频的视频帧输入到预设的深度神经网络中，获得每一帧视频帧的内容依赖特征M
t1
；将视频帧对应的边缘图输入到预设的双流网络得到每一幅边缘图的边缘特征M
t2
；S5，对S4得到的内容依赖特征和边缘特征分别进行全局平均池化和全局标准差池化降维后通过合并函数得到每一帧视频帧的特征V
t
,t表示视频帧的编号；S6，将V
t
输入到全连接层中进行降维处理，获得质量特征q
t
；S7，基于质量特征q
t
计算输入视频的视频质量分数。2.根据权利要求1所述的一种边缘加强的视频质量评估方法，其特征在于，所述S1包括：将每一视频帧由RGB图像F拆分为对应的R、G、B三通道图F_R，F_G，F_B：F(x,y)＝F_B(x,y)+F_G(x,y)+F_R(x,y)其中，F(x,y)表示F中坐标为(x,y)的像素点，F_B(x,y)、F_G(x,y)、F_R(x,y)分别表示坐标为(x,y)的像素点的蓝、绿、红三通道像素点的数值。3.根据权利要求1所述的一种边缘加强的视频质量评估方法，其特征在于，所述S2包括：将转换后的三通道图像利用Canny算子进行转换，得到每一视频帧的边缘图：首先分别对输入的三通道图像进行高斯模糊处理，获得高斯模糊图像；之后使用边缘检测Canny算子来检测高斯模糊图像的水平、垂直和对角边缘，返回水平和垂直方向上的一阶导数值G
x
和G
y
，以确定像素点的梯度G和方向θ；，以确定像素点的梯度G和方向θ；接下来对像素点进行非极大值抑制，将当前进行非极大值抑制的像素点的梯度强度与沿正负梯度方向上的两个像素点进行比较，如果当前进行非极大值抑制的像素点的梯度强度大于沿正负梯度方向上的两个像素点的梯度强度，则当前进行非极大值抑制的像素点保留为可能存在的边缘点，否则该像素点将被抑制为非边缘点；之后利用双阈值确定最终的边缘点，由所有的边...

【专利技术属性】
技术研发人员：滕建新，刘勤山，何杰锋，袁锦春，梁谦亢，
申请(专利权)人：广州市广播电视台，
类型：发明
国别省市：