基于时空多尺度分析的无参考视频质量评价方法技术

本发明专利技术提出了一种基于时空多尺度分析的无参考视频质量评价方法，实现步骤为：获取训练样本集和测试样本集；构建基于时空多尺度分析的无参考视频质量评价模型；对无参考视频质量评价模型进行迭代训练；获取无参考视频的质量评价结果。本发明专利技术在对无参考视频质量评价模型进行训练和获取质量评价结果的过程中，时空多尺度模块通过下采样得到不同尺度的帧序列局部时空失真特征，时空注意力分析模块对得到的时空失真特征的显著性进行分析，进而获取更为准确待测视频的全局质量表示，避免了现有技术中因为缺失帧序列的失真信息导致视频质量评价准确度较低的技术问题，有效地提高了复杂的无参考多种帧率视频质量评价准确度。

【技术实现步骤摘要】
基于时空多尺度分析的无参考视频质量评价方法
本专利技术属于视频处理
，涉及一种视频质量评价方法，具体涉及一种基于时空多尺度分析的无参考视频质量评价方法，可用于对视频质量的改善进行指导。
技术介绍
近几年，随着视频技术的飞速发展，数字视频已越来越多地进入人们的工作和日常生活中。通常，视频需经过采集、压缩、传输和解压缩等处理阶段，而在这些处理阶段中，视频往往会产生一些失真现象，这些失真都会造成视频质量的降低。因此，寻找一个准确有效的视频质量评价方法，以指导改善视频质量变得尤为重要。视频质量评价方法根据对原始视频信息的依赖程度可分为三种：全参考视频质量评价方法、部分参考视频质量评价方法和无参考视频质量评价方法。全参考视频质量评价方法是指把原始参考视频与失真视频在每一个对应帧中的每一个对应像素之间进行比较。部分参考视频质量评价方法则是针对一个视频传输系统，在发送端提取原始视频的一些统计特征，将其通过辅助信道传送到该系统的接收端，并与接收端得到的失真视频的对应特征进行比较，以获得相应的视频质量评价分数。无参考视频质量评价方法则不需要原始视频的任何先验信息，通常使用参考视频或者相应特征的估计值，直接对失真视频进行质量评价，这种方法体现了人类的智能。无参考视频质量评价方法由于具有灵活性高、实时性好、成本低且不需要任何原始视频信息等优点，成为了视频质量评价领域的研究热点，也是目前发展空间最大、最具实际应用价值的评价方法。传统的无参考视频质量评价方法在面对传统的标准24帧/秒或30帧/秒的视频时有着较好的评价效果，但因为其并未考虑帧速率对人类视频质量感知的影响，使得视频质量评价模型在面对多种帧率视频尤其是高帧率视频的时候，评价效果大打折扣。为了避免忽略时域失真特征，导致传统的无参考视频质量评价方法无法很好地面对多种帧率视频，基于时空特征信息的无参考视频质量评价方法应运而生，例如，申请公布号为CN112784698A，名称为“一种基于深层次时空信息的无参考视频质量评价方法”的专利申请，该专利技术利用Resnet-50预训练的深度神经网络，提取顶层的语义层特征后对特征图进行均值聚合与标准差聚合，然后分别从两个方面对时间记忆效应进行建模，在特征整合方面，采用GRU网络对长期依赖关系进行建模，在质量聚合方面，提出主观启发的时间池化模型并将其嵌入到网络中。但是其存在的缺陷在于，该专利技术仅提取了一个尺度的时空失真特征，获取的失真信息并不足够丰富，导致对于复杂的多种帧率视频的评价准确度仍有所欠佳。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷，提出一种基于时空多尺度分析的无参考视频质量评价方法，用于解决现有技术中存在的失真信息不够丰富导致视频质量评价准确度较低的技术问题。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)获取训练样本集Xtrain和测试样本集Xtest：获取自然视频公知数据集中的V个失真视频的帧序列F＝{fv|1≤v≤V}，并随机选取F中半数以上的帧序列及其对应的真实质量分数组成训练样本集Xtrain＝(Ftrain；Ytrain)，将剩余的帧序列及其对应的真实质量分数组合成测试样本集Xtest＝(Ftest；Ytest)，其中，fv表示数据集中的第v个帧序列，Ftrain表示训练帧序列集合，表示第v1个训练帧序列，Ytrain表示对应的真实质量分数集合，表示对应的真实质量分数，Ftest表示测试帧序列集合，表示第v2个测试帧序列，Ytest表示对应的真实质量分数集合，表示对应的真实质量分数，V≥150，V2＝V-V1；(2)构建基于时空多尺度分析的无参考视频质量评价模型H：构建包括顺次连接的局部失真特征编码模块Henc、时空多尺度模块Hmul和时空注意力分析模块Hpool的无参考视频质量评价模型H，其中，局部失真特征编码模块Henc采用去除最后一个全连接层的VGG-16网络结构；时空多尺度模块Hmul包括并行排布的两个平均池化层及一个由多个平均池化层组成的下采样模块；时空注意力分析模块Hpool包括顺次连接的注意力分析器、归一化层和全连接层，注意力分析器包括多个全连接层；(3)对无参考视频质量评价模型H进行迭代训练：(3a)设迭代次数为t，最大迭代次数为T，T≥50，第t次迭代的无参考视频质量评价模型为Ht，并令t＝1，Ht＝H；(3b)将训练样本集Xtrain作为无参考视频质量评价模型Ht的输入，局部失真特征编码模块对Ftrain中的每个帧序列逐个进行空间失真特征提取，得到空间失真特征(3c)时空多尺度模块中的两个下采样层及下采样模块分别对提取的进行下采样，得到每个帧序列在不同时空尺度上的局部失真特征表示组合成的局部失真信息其中，表示第v1个帧序列的第i个图像帧的第j个局部失真特征，表示第v1个帧序列包含的图像帧个数，N表示从每个图像帧中提取的局部失真特征个数；(3d)时空注意力分析模块中的注意力分析器对所采集的进行显著性评估得到注意力权重并通过归一化层对进行归一化,得到最终注意力权重利用对进行加权得到全局失真特征最后利用全连接层对进行回归得到的预测质量分数则Ftrain的预测质量分数为其中，表示第v1个帧序列的第i个图像帧的第j个局部失真特征对应的注意力权重，表示第v1个帧序列的第i个图像帧的第j个局部失真特征对应的归一化后的注意力权重；(3e)采用最小绝对误差LAE的公式，通过和Ytrain计算时空注意力分析模块的损失值Lt，并采用反向传播方法，通过损失值Lt计算的权值参数梯度dωt，然后采用随机梯度下降法，通过dωt对的权值参数ωt进行更新；(3f)判断t≥T是否成立，若是，得到训练好的无参考视频质量评价模型H′，否则，令t＝t+1，并执行步骤(3b)；(4)获取无参考视频的质量评价结果：将测试样本集Xtest作为无参考视频质量评价模型H′的输入进行前向传播，得到Xtest的预测质量分数集合其中，表示第v2个帧序列的预测质量分数。本专利技术与现有技术相比较，具有以下优点：本专利技术在对无参考视频质量评价模型进行训练和获取质量评价结果的过程中，时空多尺度模块中的多个分支对提取的帧序列的空间失真特征进行下采样，得到不同尺度的帧序列局部时空失真特征，时空注意力分析模块中的多层感知器对得到的时空失真特征的显著性进行分析，从而得到局部时空失真特征所对应的注意力权重，然后对局部时空失真特征进行加权，获取更为准确待测视频的全局质量表示，避免了现有技术中因为缺失帧序列的失真信息导致视频质量评价准确度较低的技术问题，有效地提高了复杂的无参考多种帧率视频质量评价准确度。附图说明图1是本专利技术的实现流程图。具体实施方式以下结合附图和具体实施例，对本专利技术作进一步详细描述。参照图1，本专利技术包括如下步骤：步骤1)获取训练样本集Xtrain和测试样本集Xtest：获取自然视频公知数据集中的V个失真视频的帧序列F＝{fv|1≤v≤V}，并随机本文档来自技高网...

【技术保护点】
1.一种基于时空多尺度分析的无参考视频质量评价方法，其特征在于，包括如下步骤：/n(1)获取训练样本集X

【技术特征摘要】
1.一种基于时空多尺度分析的无参考视频质量评价方法，其特征在于，包括如下步骤：
(1)获取训练样本集Xtrain和测试样本集Xtest：
获取自然视频公知数据集中的V个失真视频的帧序列F＝{fv|1≤v≤V}，并随机选取F中半数以上的帧序列及其对应的真实质量分数组成训练样本集Xtrain＝(Ftrain；Ytrain)，将剩余的帧序列及其对应的真实质量分数组合成测试样本集Xtest＝(Ftest；Ytest)，其中，fv表示数据集中的第v个帧序列，Ftrain表示训练帧序列集合，表示第v1个训练帧序列，Ytrain表示对应的真实质量分数集合，表示对应的真实质量分数，Ftest表示测试帧序列集合，表示第v2个测试帧序列，Ytest表示对应的真实质量分数集合，表示对应的真实质量分数，V≥150，V2＝V-V1；
(2)构建基于时空多尺度分析的无参考视频质量评价模型H：
构建包括顺次连接的局部失真特征编码模块Henc、时空多尺度模块Hmul和时空注意力分析模块Hpool的无参考视频质量评价模型H，其中，局部失真特征编码模块Henc采用去除最后一个全连接层的VGG-16网络结构；时空多尺度模块Hmul包括并行排布的两个平均池化层及一个由多个平均池化层组成的下采样模块；时空注意力分析模块Hpool包括顺次连接的注意力分析器、归一化层和全连接层，注意力分析器包括多个全连接层；
(3)对无参考视频质量评价模型H进行迭代训练：
(3a)设迭代次数为t，最大迭代次数为T，T≥50，第t次迭代的无参考视频质量评价模型为Ht，并令t＝1，Ht＝H；
(3b)将训练样本集Xtrain作为无参考视频质量评价模型Ht的输入，局部失真特征编码模块对Ftrain中的每个帧序列逐个进行空间失真特征提取，得到空间失真特征
(3c)时空多尺度模块中的两个下采样层及下采样模块分别对提取的进行下采样，得到每个帧序列在不同时空尺度上的局部失真特征表示组合成的局部失真信息其中，表示第v1个帧序列的第i个图像帧的第j个局部失真特征，表示第v1个帧序列包含的图像帧个数，N表示从每个图像帧中提取的局部失真特征个数；
(3d)时空注意力分析模块中的注意力分析器对所采集的局部失真信息进行显著性评估得到注意力权重并通过归一化层对进行归一化,得到最终注意力权重利用对进行加权得到全局失真特征最后利用全连接层对进行回归得到的预测质量分数则Ftrain的预测质量分数为其中，表示第v1个帧序列的第i个图像帧的第j个局部失真特征对应的注意力权重，表示第v1个帧序列的第i个图像帧的第j个局部失真特征对应的归一化后的注意力权重；
(3e)采用最小绝对误差LAE的公式，通过和Ytrain计算时空注意力分析模块的损失值Lt，并采用反向传播方法，通过损失值Lt计算的权值参数梯度d...

【专利技术属性】
技术研发人员：何立火，汤可凡，高帆，柯俊杰，高新波，路文，张超仑，甘海林，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61