一种基于时域失真波动和感兴趣区域的视频质量评价方法技术

本发明专利技术公开了一种基于时域失真波动和感兴趣区域的视频质量评价方法，步骤如下：对参考序列关键帧t帧的Y分量做运动估计；对原始序列和测试序列当前t帧进行运动补偿；计算视频序列在视觉暂留时间内的帧数；计算帧级的权值；计算t帧(m,n)位置的时域失真变化；计算t帧(m,n)位置和暂留效应时间内的失真波动程度；计算当前帧t帧的邻近帧的感知失真；计算当前帧t帧的邻近帧内受暂留效应影响帧的感知失真；计算t帧的失真和掩蔽效应调整后的时域感知失真；根据纹理掩蔽调整后的时域感知失真和时域失真波动确定感兴趣区域；根据感兴趣区域的影响，将时域失真和感兴趣区域融合为；处理，使其在特定范围内；将像素级的失真融合为帧级值。

【技术实现步骤摘要】

本专利技术属于视频处理
，涉及视频质量评价、时域失真测量、HVS特性、视频感兴趣区域等，可用于视频压缩、视频质量评价和视频显著性区域提取及其相关的装置和。
技术介绍
随着网络及媒体技术的快速发展，人们对视频的质量提出来更高的要求，视频质量评价的研究意义就显得尤为重要。人眼是视频的最终评判者，视频质量评价的直接方法是进行主观评测，但是这种方法在实际应用中将花费大量时间和费用，代价很高。客观评价方法以其低复杂度和简单清楚的物理意义而广泛地应用在视频评价领域。客观质量评价的最终目的是能够得到与主观评测的很好的一致性。目前存在很多种基于人眼视觉特性的图片质量评价算法(IQA)算法。基于块的空域分割的SVD模型，ZhouWang提出的基于结构相似性的SSIM算法，基于视觉交互信息的VIF算法和基于可视对比度的VSNR模型，这些都是基于人眼空域特性的IQA算法。相对于IQA算法，HVS中的时域特征在VQA客观算法中占有重要作用。由于运动矢量在一定程度上反映了视频的时域特征，在对视频评价时，会考虑到视频的每帧的运动矢量信息。除了运动矢量，时域失真的变化在视频质量评价中占有重要作用。近年来，越来越多的学者致力于HVS特性的时域分析。VQA算法中时域分析主要由运动信息和HVS特性组成。目前很多视频质量评价算法都要考虑到HVS特性。空时域CSF特性、时域掩蔽、运动分解、非对称行为、感知饱和度等都是常用的HVS特性模型。在视频质量评价中融合这些特性评价视频的感知失真是研究的主要内容。除了上述提到的特性，时域失真的波动是视频时域分析的重要部分。在一定的时间内，失真的连续性会影响人眼的感知失真。闪烁，蚊噪等是由时域失真变化引起的。这些都会严重影响人眼对视频序列的感知评价。因此，在研究视频质量评价算法时必须要着重考虑到时域失真。同时，视频质量评价模型对于感知视频编码有着重要意义。观察者对于视频场景中不同区域有不同的视觉兴趣性。度量不同区域人眼感兴趣程度，对于构建高性能视频质量评价模型非常重要。本专利技术最接近的算法为崔力在文章中“基于时域处理的视频质量评价方法”提出的一种利用人眼视觉系统时域处理机制开发视频质量评价算法，该算法利用人眼视觉系统的饱和与不对称感应原理，对连续帧质量变化进行限制，然后对单帧质量进行时域处理产生视频质量指标。具体步骤如下：1.给定参考视频的任一帧和它在测试视频中的对应帧，利用单帧质量估计的方法获得单帧质量为，。2.考虑到人眼在视觉感知的饱和行为(连续两帧差异大于门限D时，人眼对帧间差异的敏感度开始下降)和不对称行为(人眼对质量恶化反应迅速，而对质量提高容易忽略)对单帧质量进行限制，，和是大于零的常数，且，。3.描述视频质量序列的统计特性，包括了常见的求均值、最后M帧均值、百分位数、明可夫斯基(Minkowski)求和、加权明可夫斯基求和、本地L帧的最小值和最大值，，，，，，其中是用来控制权重的时间常数，m是明可夫斯基求和的指数，。4.对所提出的84个视频质量评价指标（12种单帧估计×7种时域处理方法）进行了性能分析：1)首先，利用基于方差的logistic拟合将客观视频质量转变为主观视频质量预测值(MOSp)，然后利用加权相关系数(WCC)描述MOSp与主观测试得到的视频质量(MOS)之间的一致程度，，其中是模型所需的参数，，，，是观察值的方差；2)直接利用logistic拟合将客观视频质量转变为主观视频质量预测值，并计算下述指标:相关系数(CC)、斯皮尔曼等级相关(SROCC)和outlierratio(OR)。已有技术的缺陷：没有考虑到视频每帧的运动矢量信息对视频质量评价的影响；没有考虑失真的连续性对人眼感知失真的重要性；没有充分考虑到HVS特性对时域失真的影响；没有考虑到不同区域人眼感兴趣程度对于构建高性能视频质量评价模型的重要性。
技术实现思路
为了解决现有技术中存在的以下问题：（1）基于运动分析得出计算时域失真的方法；（2）在视频质量评价中融合HVS的一些特性来评价视频的感知失真；（3）依据HVS特性对时域失真的进行调整；（4）根据不同区域人眼感兴趣程度构建视频质量评价模型。本专利技术提供了一种基于时域失真波动和感兴趣区域的视频质量评价方法，其具体步骤如下：(1)对参考序列关键帧t帧的Y分量做运动估计；(2)对原始序列和测试序列当前t帧进行运动补偿；(3)计算视频序列在视觉暂留时间内的帧数；(4)计算帧级的权值；(5)计算t帧(m,n)位置的时域失真变化；(6)计算t帧(m,n)位置和暂留效应时间内的失真波动程度；(7)计算当前帧t帧的邻近帧的感知失真；(8)计算当前帧t帧的邻近帧内受暂留效应影响帧的感知失真；(9)计算t帧的失真和掩蔽效应调整后的时域感知失真；(10)根据纹理掩蔽调整后的时域感知失真和时域失真波动确定感兴趣区域；(11)根据感兴趣区域的影响，将时域失真和感兴趣区域融合为；(12)处理，使其在特定范围内；(13)将像素级的失真融合为帧级值。进一步的，其中步骤(1)所述的对参考序列关键帧t帧的Y分量做运动估计，按如下步骤进行：(21)提取测试序列关键帧t帧的原始图像及其前后各10帧的原始图像；(22)对t帧的Y分量，I_reft，作基于16x16块的运动估计，参考帧为前后邻近10帧，得到20帧的运动矢量数据。进一步的，其中步骤(2)所述的对原始序列和测试序列当前t帧进行运动补偿，按如下步骤进行：(31)根据步骤(22)得到的运动矢量数据，对原始序列和测试序列当前t帧进行运动补偿；(32)分别得到20帧的重建帧I_reft+i和It+i,i∈[-10,0)∪(0,10]。进一步的，其中步骤(3)所述的计算视频序列在视觉暂留时间内的帧数，按如下步骤进行：(41)人眼视觉暂留一般取0.1s，根据视频序列的帧率framerate，计算0.1s内的帧数，stf。进一步的，其中步骤(4)所述的计算帧级的权值，按如下步骤进行：(51)融合中心凹特性(foveal)和视觉暂留效应(visual_staying)得到帧级的权值ωi，权值主要反映邻近帧与当前帧的敏感程度；其中步骤(5)所述的计算t帧(m,n)位置的时域失真变化，按如下步骤进行：(61)将补偿后得到20帧的重建帧I_reft+i和It+i之间的对应差值作为t帧(m,n)位置的时域失真变化。进本文档来自技高网...

【技术保护点】
一种基于时域失真波动和感兴趣区域的视频质量评价方法，其具体步骤如下：对参考序列关键帧t帧的Y分量做运动估计；对原始序列和测试序列当前t帧进行运动补偿；计算视频序列在视觉暂留时间内的帧数；计算帧级的权值；计算t帧(m,n)位置的时域失真变化；计算t帧(m,n)位置和暂留效应时间内的失真波动程度；计算当前帧t帧的邻近帧的感知失真；计算当前帧t帧的邻近帧内受暂留效应影响帧的感知失真；计算t帧的失真和掩蔽效应调整后的时域感知失真；根据纹理掩蔽调整后的时域感知失真和时域失真波动确定感兴趣区域；根据感兴趣区域的影响，将时域失真和感兴趣区域融合为；处理，使其在特定范围内；将像素级的失真融合为帧级值。

【技术特征摘要】
1.一种基于时域失真波动和感兴趣区域的视频质量评价方法，其具体步骤如下：
对参考序列关键帧t帧的Y分量做运动估计；
对原始序列和测试序列当前t帧进行运动补偿；
计算视频序列在视觉暂留时间内的帧数；
计算帧级的权值；
计算t帧(m,n)位置的时域失真变化；
计算t帧(m,n)位置和暂留效应时间内的失真波动程度；
计算当前帧t帧的邻近帧的感知失真；
计算当前帧t帧的邻近帧内受暂留效应影响帧的感知失真；
计算t帧的失真和掩蔽效应调整后的时域感知失真；
根据纹理掩蔽调整后的时域感知失真和时域失真波动确定感兴趣区域；
根据感兴趣区域的影响，将时域失真和感兴趣区域融合为；
处理，使其在特定范围内；
将像素级的失真融合为帧级值。
2.根据权利要求1所述的一种基于时域失真波动和感兴趣区域的视频质量评价方法，
其中步骤(1)所述的对参考序列关键帧t帧的Y分量做运动估计，按如下步骤进行：
(21)提取测试序列关键帧t帧的原始图像及其前后各10帧的原始图像；
(22)对t帧的Y分量，I_reft，作基于16x16块的运动估计，参考帧为前后邻近10帧，得到
20帧的运动矢量数据。
3.根据权利要求2所述的一种基于时域失真波动和感兴趣区域的视频质量评价方法，
其中步骤(2)所述的对原始序列和测试序列当前t帧进行运动补偿，按如下步骤进行：
(31)根据步骤(22)得到的运动矢量数据，对原始序列和测试序列当前t帧进行运动补
偿；
(32)分别得到20帧的重建帧I_reft+i和It+i,i∈[-10,0)∪(0,10]。
4.根据权利要求3所述的一种基于时域失真波动和感兴趣区域的视频质量评价方法，
其中步骤(3)所述的计算视频序列在视觉暂留时间内的帧数，按如下步骤进行：
(41)人眼视觉暂留一般取0.1s，根据视频序列的帧率framerate，计算0.1s内的帧数，
stf。
5.根据权利要求4所述的一种基于时域失真波动和感兴趣区域的视频质量评价方法，
其中步骤(4)所述的计算帧级的权值，按如下步骤进行：
(51)融合中心凹特性(foveal)和视觉暂留效应(visual_staying)得到帧级的权值
ωi，权值主要反映邻近帧与当前帧的敏感程度；
其中步骤(5)所述的计算t帧(m,n)位置的时域失真变化，按如下步骤进行：
(61)将补偿后得到20帧的重建帧I_reft+i和It+i之间的对应差值作为t帧(m,n)位置的
时域失真变化。
6.根据权利要求5所述的一种基于时域失真波动和感兴趣区域的视频质量评价方法，...

【专利技术属性】
技术研发人员：殷海兵，李瑞阳，蔡浩，
申请(专利权)人：中国计量学院，
类型：发明
国别省市：浙江;33