一种基于时空域结构的高效视频质量客观评价方法技术

本发明专利技术公开了一种基于时空域结构的高效视频质量客观评价方法，其首先通过时空域梯度结合颜色信息计算时空域局部相似度，然后在空域融合阶段采用方差融合，将时空域局部相似度融合成帧级的客观质量值，再通过模拟人类视觉系统中三个重要的全局时域效应，即平滑效应、不对称追踪效应和时近效应，建立时域融合模型，对帧级的客观质量值进行时域融合，最终得到失真视频序列的客观质量值，通过对人类视觉时域效应建模，使得本发明专利技术的时域加权方法可以准确高效的评价失真视频的客观质量。

【技术实现步骤摘要】

本专利技术涉及一种视频质量评价方法，尤其是涉及一种基于时空域结构的高效视频质量客观评价方法。
技术介绍
视频质量评价(Video Quality Assessment，VQA)在视频相关应用的快速发展中起着关键作用，常用于各种各样视频服务的质量控制和各种视频处理算法的性能比较。视频质量客观评价研究通过算法估计视频质量，去逼近人类视觉系统感受到的视频质量。根据原始无失真视频的可用情况，视频质量客观评价方法通常可划分为三类：全参考(Full Reference，FR)、半参考和无参考视频质量评价方法。由于全参考视频质量评价方法(FR-VQA)的准确性更高，因此在感知视频处理中得到了广泛应用，如视频压缩中的编码模块选择、量化参数配置、码率控制、错误隐藏等等。全参考视频质量评价方法要求能够快速准确的评价视频的客观质量，实时处理能力就显得非常重要，如源端在线视频质量监控和率失真优化视频编码器的失真度量，同时，在其他的应用场合中，低复杂度也是全参考视频质量评价方法的一项非常重要的性能要求。像素级的全参考评价方法峰值信噪比(peak signal-to-noise ratio，PSNR)是视频处理领域目前应用最广的性能量化指标，由于峰值信噪比具有易于实现、评价速度快、性能稳定、物理意思明确等优势，因此在目前应用最广泛的视频编码标准H.264/AVC和最新的H.265/HEVC中，峰值信噪比依然是最主要的客观评价方法，然而，平等对待每个像素点的失真而没有考虑人类视觉系统的感知特性，这使得峰值信噪比与主观质量感受的一致性较低，从而阻碍了视频处理技术的进步，尤其是阻碍了视频压缩效率的进一步提升。现有的全参考视频质量评价方法可以分为两类：第一类最直接的视频质量评价方法就是独立帧使用顶尖的图像质量评价方法，然后平均或者加权平均得到视频的质量，但是这类视频质量评价方法缺乏时域信息，评价效果较差；第二类方法分别考察空域和时域失真得到视频质量，或直接根据时空域信息进行评估，虽然这类视频质量评价方法的评价效果优于峰值信噪比，但是这类视频质量评价方法的复杂度都较高，部分需要非常耗时的运动估计，存在实现复杂、无法实时处理、不易集成等缺点而阻碍了这类视频质量评价方法的推广应用。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于时空域结构的高效视频质量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性，且计算复杂度低。本专利技术解决上述技术问题所采用的技术方案为：一种基于时空域结构的高效视频质量客观评价方法，其特征在于包括以下步骤：①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H；②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，Fx、Fy、Ft对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板；③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为Gsim(x,y,t)，其中，c1为防止分式无意义的正常数；④计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为Csim(x,y,t)，其中，Ur(x,y,t)表示Ur中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vr(x,y,t)表示Vr中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，Ud(x,y,t)表示Ud中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vd(x,y,t)表示Vd中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c2和c3为防止分式无意义的正常数；⑤根据Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，及Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为QLS(x,y,t)，QLS(x,y,t)＝Gsim(x,y,t)×(Csim(x,y,t))λ，其中，λ用于调整颜色分量所占的权重，λ>0；⑥采用方差融合方法计算Sd中的每帧图本文档来自技高网...

【技术保护点】
一种基于时空域结构的高效视频质量客观评价方法，其特征在于包括以下步骤：①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H；②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，Fx、Fy、Ft对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板；③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为Gsim(x,y,t)，其中，c1为防止分式无意义的正常数；④计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为Csim(x,y,t)，其中，Ur(x,y,t)表示Ur中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vr(x,y,t)表示Vr中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，Ud(x,y,t)表示Ud中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vd(x,y,t)表示Vd中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c2和c3为防止分式无意义的正常数；⑤根据Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，及Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为QLS(x,y,t)，QLS(x,y,t)＝Gsim(x,y,t)×(Csim(x,y,t))λ，其中，λ用于调整颜色分量所占的权重，λ>0；⑥采用方差融合方法计算Sd中的每帧图像的客观质量值，将Sd中的第t帧图像的客观质量值记为Qframe(t)，...

【技术特征摘要】
1.一种基于时空域结构的高效视频质量客观评价方法，其特征在于包括以下步骤：①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H；②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，Fx、Fy、Ft对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板；③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置...

【专利技术属性】
技术研发人员：郁梅，吕亚奇，陈芬，刘姗姗，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33