基于脑电信号和目标显著特性的视频质量评价方法技术

本发明专利技术提出了一种基于脑电信号和目标显著特性的视频质量评价方法，实现步骤为：采集受试者的眼动数据；计算所有受试者观看每个视频时的目标区域注视信息；获取显著目标视频和非显著目标视频，并对其进行失真处理；采集每位受试者重复观看显著目标失真视频和非显著目标失真视频的脑电信号；获取每位受试者的单次脑电信号片段；获取训练样本集和测试样本集；对支持向量机分类器进行迭代训练；获取显著目标失真视频和非显著目标失真视频的质量评价结果。本发明专利技术在视频质量评价过程中，通过对显著目标视频和非显著目标视频所诱发的脑电信号进行分类，解决了现有技术中未考虑视频的目标显著特性对失真感知影响的问题，提高了视频质量评价的准确性。

【技术实现步骤摘要】
基于脑电信号和目标显著特性的视频质量评价方法
本专利技术属于视频处理
，涉及一种视频质量评价方法，具体涉及一种基于脑电信号和目标显著特性的视频质量评价方法，可用于评价视频质量及对心理生理学行为进行研究。
技术介绍
视频作为视觉信息的重要来源，因其丰富性和多样性，为人类的生活增添了一份多姿多彩。随着现代科学技术的不断发展以及人们生活水平的不断提高，视频的产出量日益激增。因此，在对视频的采集、处理、压缩、传输等过程中，会在不同程度上产生各种类型的失真造成视频质量下降的问题，这会对视频中视觉信息的分析、理解和应用带来了一定的困难，也影响着人们对于视频的观看体验和视频中视觉信息的感知。因此，为了获得满意的视频质量，对于视频质量评价方法的研究逐渐成为一个广泛而基本的问题。视频质量评价方法分为主观视频质量评价方法和客观视频质量评价方法。主观视频质量评价方法通过人眼直接观看，对视频的质量进行主观打分，其评价结果因观察者的主观感受而存在差异，且具有耗时较长，成本较高等缺点。客观视频质量评价方法根据其评价过程是否参考原视频分为全参考视频质量评价方法、部分参考视频质量评价方法以及无参考视频质量评价方法。全参考视频质量评价方法参考原视频，通过对比原视频和待测失真视频的差异进行视频质量评价，部分参考视频质量评价方法只提取原视频的部分信息作为参考，通过比较提取到的原视频的部分信息与待测失真视频之间的差异进行视频质量评价，无参考视频质量评价方法不需要利用原视频的参考信息，通过提取待测失真视频中的失真特征，构建与该失真特征相对应的数学模型进行视频质量评价。客观视频质量评价方法依靠算法或数学模型进行评价，虽然具有评价效率高，评价时长短，成本低廉等优点，然而仍然存在一些争议，即由于人眼感知的复杂性，通过数学模型得到的视频质量分数是否能代表真实情况下人观看视频所得到的感知质量。因此，基于脑电信号的视频质量评价方法因运而生，通过采集受试者观看视频时的脑电信号对视频质量进行评价，相比于客观方法能够直接反应观察者的真实感受，同时也克服了主观方法耗时长、成本高等缺点。西安电子科技大学在其申请的专利文献“基于脑电信号和时空失真的视频质量评价方法”(专利申请号：CN202010341014.5，授权公告号：CN111510710B)中公开了一种基于脑电信号和时空失真的视频质量评价方法，该方法首先生成时空失真的模拟水面波动视频，然后采集受试者观看时空失真的模拟水面波动视频的脑电信号和主观评价，并计算受试者主观评价的检测率，接着，对脑电信号进行分段并对分段后的脑电信号进行分类，计算脑电信号的分类准确率，最后通过主观评价的检测率和脑电信号的分类准确率的映射曲线评价时空失真视频的质量，但是其存在的缺陷在于，该专利技术仅考虑了失真视频的时空特性，没有考虑视频中的目标显著特性对视频失真感知的影响，导致该方法的评价结果不够准确。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷，提出一种基于脑电信号和目标显著特性的视频质量评价方法，用于解决现有技术中存在的未考虑视频中的目标显著特性对视频失真的影响而导致的评价结果不够准确的技术问题。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)采集受试者的眼动数据：从L个不同的自然纪录片中截取包含θ个目标类别，且时长为d帧率为B的N个单一目标视频V＝{V1,V2,…,Vn,…,VN}，并通过眼动仪采集M位受试者观看每个视频Vn时的眼动数据，得到眼动数据集合W＝{W1,W2,…,Wn,…,WN}，其中，L≥4，θ≥8，0＜d＜6s，25帧/s≤B≤30帧/s，N≥20，Vn表示第n个视频，M≥5，Wn表示M位受试者观看视频Vn时的眼动数据集，表示第m位受试者观看视频Vn时的眼动数据；(2)计算所有受试者观看每个视频时的目标区域注视信息：统计每个受试者的眼动数据中的人眼注视每个视频Vn中目标所覆盖的区域内的注视点的个数得到视频V对应的目标区域注视信息集合I＝{I1,I2,…,In,…,IN}，并计算M位受试者观看视频Vn时的目标区域注视信息的均值得到M位受试者观看视频V时的目标区域注视信息均值集合其中，In表示Wn对应的目标区域注视信息集合，表示对应的目标区域注视信息；(3)获取显著目标视频和非显著目标视频，并对其进行失真处理：选取目标区域注视信息均值集合I中数值最大的均值对应的视频Vsal作为显著目标视频，同时选取I中数值最小的均值对应的视频Vnsal作为非显著目标视频，并以K个视频失真等级q＝{q1,q2,…,qk,…,qK}对t时刻以后的Vsal和Vnsal分别进行失真处理，得到Vsal对应的失真视频集合以及Vnsal对应的失真视频集合其中，1s≤t≤3s，表示第k个视频失真等级qk对应的显著目标失真视频，表示视频失真等级为qk对应的非显著目标失真视频，4≤K≤6，0≤qk≤100；(4)采集每位受试者重复观看显著目标失真视频和非显著目标失真视频的脑电信号：通过脑电信号采集器，并以α为采样频率，以β为采样通道数，采集R位受试者重复S次观看每个显著目标失真视频时的脑电信号，以及R位受试者重复S次观看每个非显著目标失真视频时的脑电信号，得到R位受试者重复S次观看时的脑电信号集合以及观看时的脑电信号集合其中，α≥1000Hz，16≤β≤64，R≥10，S≥50，和分别表示R位受试者重复S次观看每个显著目标失真视频和每个非显著目标失真视频时的脑电信号集合，表示所对应的第r位受试者的脑电信号集合，表示所对应的第r位受试者的脑电信号集合，表示所对应的第s次观看的单次脑电信号，表示所对应的第s次观看的单次脑电信号；(5)获取每位受试者的单次脑电信号片段：采用截止频率下限和上限分别为f1和f2的带通滤波器，对第r位受试者一次观看每个显著目标失真视频时的单次脑电信号以及一次观看每个非显著目标失真视频时的单次脑电信号进行带通滤波，得到带通滤波后的单次脑电信号和并截取和在t时刻以后时长为τ的单次脑电信号片段和其中，0.25Hz≤f1≤0.35Hz，7Hz≤f2≤30Hz，800ms≤τ≤1000ms；(6)获取训练样本集Ztrain和测试样本集Ztest：(6a)以σ为采样点数，分别对每一个单次脑电信号片段和中的每一个通道进行重采样，得到对应的特征矩阵和对应的特征矩阵并采用PCA算法对和分别进行降维，得到对应的降维后的特征矩阵和对应的降维后的特征矩阵其中，10≤η≤15；(6b)对每个降维后的特征矩阵和进行标注，得到标注样本集，并将其中u％的标注样本作为训练样本集Ztrain，将剩余的标注样本作为测试样本集Ztest，其中，70≤u≤80；(7)对支持向量机分类器O进行迭代训练：(7a)初始化迭代次数为，最大迭代次数为Φ，Φ≥50，当前支持向量机分类器O为并令(7b)将训练样本集Ztrain作为的输入，并采用SMO训练算法对进行训练，得到第次迭代训练后的支持向量机分类器(7c)判断是否成立，若是，得到训本文档来自技高网...

【技术保护点】
1.一种基于脑电信号和目标显著特性的视频质量评价方法，其特征在于，包括如下步骤：/n(1)采集受试者的眼动数据：/n从L个不同的自然纪录片中截取包含θ个目标类别，且时长为d帧率为B的N个单一目标视频V＝{V

【技术特征摘要】
1.一种基于脑电信号和目标显著特性的视频质量评价方法，其特征在于，包括如下步骤：
(1)采集受试者的眼动数据：
从L个不同的自然纪录片中截取包含θ个目标类别，且时长为d帧率为B的N个单一目标视频V＝{V1,V2,…,Vn,…,VN}，并通过眼动仪采集M位受试者观看每个视频Vn时的眼动数据，得到眼动数据集合W＝{W1,W2,…,Wn,…,WN}，其中，L≥4，θ≥8，0＜d＜6s，25帧/s≤B≤30帧/s，N≥20，Vn表示第n个视频，M≥5，Wn表示M位受试者观看视频Vn时的眼动数据集，表示第m位受试者观看视频Vn时的眼动数据；
(2)计算所有受试者观看每个视频时的目标区域注视信息：
统计每个受试者的眼动数据中的人眼注视每个视频Vn中目标所覆盖的区域内的注视点的个数得到视频V对应的目标区域注视信息集合I＝{I1,I2,…,In,…,IN}，并计算M位受试者观看视频Vn时的目标区域注视信息的均值得到M位受试者观看视频V时的目标区域注视信息均值集合其中，In表示Wn对应的目标区域注视信息集合，表示对应的目标区域注视信息；
(3)获取显著目标视频和非显著目标视频，并对其进行失真处理：
选取目标区域注视信息均值集合I中数值最大的均值对应的视频Vsal作为显著目标视频，同时选取I中数值最小的均值对应的视频Vnsal作为非显著目标视频，并以K个视频失真等级q＝{q1,q2,…,qk,…,qK}对t时刻以后的Vsal和Vnsal分别进行失真处理，得到Vsal对应的失真视频集合以及Vnsal对应的失真视频集合其中，1s≤t≤3s，表示第k个视频失真等级qk对应的显著目标失真视频，表示视频失真等级为qk对应的非显著目标失真视频，4≤K≤6，0≤qk≤100；
(4)采集每位受试者重复观看显著目标失真视频和非显著目标失真视频的脑电信号：
通过脑电信号采集器，并以α为采样频率，以β为采样通道数，采集R位受试者重复S次观看每个显著目标失真视频时的脑电信号，以及R位受试者重复S次观看每个非显著目标失真视频时的脑电信号，得到R位受试者重复S次观看时的脑电信号集合以及观看时的脑电信号集合其中，α≥1000Hz，16≤β≤64，R≥10，S≥50，和分别表示R位受试者重复S次观看每个显著目标失真视频和每个非显著目标失真视频时的脑电信号集合，表示所对应的第r位受试者的脑电信号集合，表示所对应的第r位受试者的脑电信号集合，表示所对应的第s次观看的单次脑电信号，表示所对应的第s次观看的单次脑电信号；
(5)获取每位受试者的单次脑电信号片段：
采用截止频率下限和上限分别为f1和f2的带通滤波器，对第r位受试者一次观看每个显著目标失真视频时的单次脑电信号以及一次观看每个非显著目标失真视频时的单次脑电信号进行带通滤波，得到带通滤波后的单次脑电信号和并截取和在t时刻以后时长为τ的单次脑电信号片段和其中，0.25Hz≤f1≤0.35Hz，7Hz≤f2≤30Hz，800ms≤τ≤1000ms；
(6)获取训练样本集Ztrain和测试样本集Ztest：
(6a)以σ为采样点数，分别对每一个单次脑电信号片段和中的每一个通道进行重采样，得到对应的特征矩阵和对应的特征矩阵并采用PCA算法对和分别进行降维，得到对应的降维后的特征矩阵和对应的降维后的特征矩阵其中，10≤η≤15；
(6b)对每个降维后的特征矩阵和进行标注，得到标注样本集，并将其中u％的标注样本作为训练样本集Ztrain，将剩余的标注样本作为测试样本集Ztest，其中，70≤u≤80；...

【专利技术属性】
技术研发人员：何立火，孙羽晟，蔡虹霞，徐海鹏，陈欣雷，钟斌，高帆，高新波，路文，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61