一种全景视频质量评价方法技术

本发明专利技术公开了一种全景视频质量评价方法，其将原始全景视频和待评价的全景视频分成若干个帧组，并采用立方体投影方法投影到立方体的六个平面上，然后计算在每个帧组和每个投影面的空域相似性和频域相似性，并根据所有帧组和所有投影面的空域相似性和频域相似性，融合得到待评价的全景视频的客观评价值，由于立方体投影避免了复杂的视口预测，且提取的空域和时域特征具有较强的稳定性且能够较好地反映全景视频的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。

【技术实现步骤摘要】
一种全景视频质量评价方法
本专利技术涉及一种视频质量评价技术，尤其是涉及一种全景视频质量评价方法。
技术介绍
全景视频是虚拟现实(VR)的一个重要发展方向，其可以为人们提供360°的感受野(FOV)。随着头戴式显示设备的发展，沉浸式甚至是交互式视觉经验可以通过全景视频实现。然而，全景视频的体验质量(QoE)会由于压缩失真及低分辨率而动态变化，因此，对失真全景视频进行质量评价十分必要。现有的全景视频质量评价方法主要基于传统的2D图像和视频质量评价方法，例如，基于球的峰值信噪比(S-PSNR)，根据在球体上的均匀采样点计算PSNR，而不是矩形映射像素。对于全景视频，如何避免在评价过程中对不同视口进行预测，即只对用户观看时的视口进行评价，如何更好地提取全景视频的空域和时域特征，使得客观评价结果更加感觉符合人类视觉系统，都是在对全景视频进行客观质量评价过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种全景视频质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。本专利技术解决上述技术问题所采用的技术方案为：一种全景视频质量评价方法，其特征在于包括以下步骤：步骤一：设定原始全景视频由若干个帧组的全景图像组成，并设定待评价的全景视频为原始全景视频对应的失真全景视频；将原始全景视频中的第u个帧组中的第t帧全景图像记为将待评价的全景视频中的第u个帧组中的第t帧全景图像记为其中，u和t均为正整数，u和t的初始值均为1，1≤u≤U，U为原始全景视频中包含的帧组的总个数，1≤t≤T，T为原始全景视频中的每个帧组中包含的全景图像的总帧数；步骤二：采用立方体投影方法，将原始全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将在第v个投影面上的图像记为将中坐标位置为(x,y)的像素点的像素值记为同样，采用立方体投影方法，将待评价的全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到待评价的全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将在第v个投影面上的图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，v为正整数，v的初始值均为1，1≤v≤6，1≤x≤W，1≤y≤H，W表示和的宽度，H表示和的高度；步骤三：计算原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像与待评价的全景视频中对应帧组中的对应全景图像在对应投影面上的图像的空域相似性，将与的空域相似性记为ηu,v,t；然后计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的空域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的空域相似性记为ηu,v，步骤四：计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的频域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的频域相似性记为ρu,v；步骤五：根据原始全景视频与待评价的全景视频在所有帧组和所有投影面的空域相似性和频域相似性，计算待评价的全景视频的客观评价值，记为q，所述的步骤三中的ηu,v,t的获取过程为：步骤A1、采用Log-Gabor滤波器对中的每个像素点进行滤波处理，得到中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为将中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为同样，采用Log-Gabor滤波器对中的每个像素点进行滤波处理，得到中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为将中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为其中，1≤x≤W，1≤y≤H，W表示和的宽度，H表示和的高度，α表示Log-Gabor滤波器的尺度因子，α∈Ωα，Ωα＝{1.74,2.47,3.49,4.93,6.98,9.87}，θ表示Log-Gabor滤波器的方向因子，θ∈Ωθ，Ωθ＝{0°,45°,90°,135°}；步骤A2、计算中的每个像素点在不同方向的相位一致性特征，将中坐标位置为(x,y)的像素点在方向因子为θ的相位一致性特征记为同样，计算中的每个像素点在不同方向的相位一致性特征，将中坐标位置为(x,y)的像素点在方向因子为θ的相位一致性特征记为其中，步骤A3、根据中的所有像素点在不同方向的相位一致性特征，获取的相位一致性图，记为将中坐标位置为(x,y)的像素点的像素值记为同样，根据中的所有像素点在不同方向的相位一致性特征，获取的相位一致性图，记为将中坐标位置为(x,y)的像素点的像素值记为步骤A4、采用Sobel算子对进行水平方向和垂直方向的边缘检测，得到的水平梯度图和垂直梯度图，对应记为和同样，采用Sobel算子对进行水平方向和垂直方向的边缘检测，得到的水平梯度图和垂直梯度图，对应记为和然后计算的梯度幅值图，记为将中坐标位置为(x,y)的像素点的像素值记为同样，计算的梯度幅值图，记为将中坐标位置为(x,y)的像素点的像素值记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤A5、将从RGB颜色空间转化为YIQ颜色空间，得到的亮度分量、第一色度分量和第二色度分量，对应记为和同样，将从RGB颜色空间转化为YIQ颜色空间，得到的亮度分量、第一色度分量和第二色度分量，对应记为和步骤A6、根据和和和和计算与的空域相似性其中，其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，C1和C2为控制参数，λ为加权参数。所述的步骤四中的ρu,v的获取过程为：步骤B1、将原始全景视频中同一个帧组中投影到同一个投影面的所有全景图像中的像素点构成一个三维向量矩阵，将原始全景视频中的第u个帧组中投影到第v个投影面的所有全景图像中的像素点构成的三维向量矩阵记为同样，将待评价的全景视频中同一个帧组中投影到同一个投影面的所有全景图像中的像素点构成一个三维向量矩阵，将待评价的全景视频中的第u个帧组中投影到第v个投影面的所有全景图像中的像素点构成的三维向量矩阵记为其中，表示中下标位置为(x,y,t)的元素的值，表示中下标位置为(x,y,t)的元素的值，和中的“＝”为赋值操作符号；步骤B2、对进行三维离散傅立叶变换，得到的频率系数矩阵，记为同样，对进行三维离散傅立叶变换，得到的频率系数矩阵，记为其中，1≤h≤W，1≤k≤H，1≤s≤T，表示中下标位置为(h,k,s)的频率系数值，表示中下标位本文档来自技高网...

【技术保护点】
1.一种全景视频质量评价方法，其特征在于包括以下步骤：/n步骤一：设定原始全景视频由若干个帧组的全景图像组成，并设定待评价的全景视频为原始全景视频对应的失真全景视频；将原始全景视频中的第u个帧组中的第t帧全景图像记为

【技术特征摘要】
1.一种全景视频质量评价方法，其特征在于包括以下步骤：
步骤一：设定原始全景视频由若干个帧组的全景图像组成，并设定待评价的全景视频为原始全景视频对应的失真全景视频；将原始全景视频中的第u个帧组中的第t帧全景图像记为将待评价的全景视频中的第u个帧组中的第t帧全景图像记为其中，u和t均为正整数，u和t的初始值均为1，1≤u≤U，U为原始全景视频中包含的帧组的总个数，1≤t≤T，T为原始全景视频中的每个帧组中包含的全景图像的总帧数；
步骤二：采用立方体投影方法，将原始全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将在第v个投影面上的图像记为将中坐标位置为(x,y)的像素点的像素值记为同样，采用立方体投影方法，将待评价的全景视频中的每个帧组中的每帧全景图像投影到立方体的六个作为投影面的平面上，得到待评价的全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像，将在第v个投影面上的图像记为将中坐标位置为(x,y)的像素点的像素值记为其中，v为正整数，v的初始值均为1，1≤v≤6，1≤x≤W，1≤y≤H，W表示和的宽度，H表示和的高度；
步骤三：计算原始全景视频中的每个帧组中的每帧全景图像在各个投影面上的图像与待评价的全景视频中对应帧组中的对应全景图像在对应投影面上的图像的空域相似性，将与的空域相似性记为ηu,v,t；然后计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的空域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的空域相似性记为ηu,v，
步骤四：计算原始全景视频与待评价的全景视频在每个帧组和每个投影面的频域相似性，将原始全景视频与待评价的全景视频在第u个帧组和第v个投影面的频域相似性记为ρu,v；
步骤五：根据原始全景视频与待评价的全景视频在所有帧组和所有投影面的空域相似性和频域相似性，计算待评价的全景视频的客观评价值，记为q，


2.根据权利要求1所述的一种全景视频质量评价方法，其特征在于所述的步骤三中的ηu,v,t的获取过程为：
步骤A1、采用Log-Gabor滤波器对中的每个像素点进行滤波处理，得到中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为将中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为同样，采用Log-Gabor滤波器对中的每个像素点进行滤波处理，得到中的每个像素点在不同尺度和不同方向的偶对称频率响应和奇对称频率响应，将中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的偶对称频率响应记为将中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ的奇对称频率响应记为其中，1≤x≤W，1≤y≤H，W表示和的宽度，H表示和的高度，α表示Log-Gabor滤波器的尺度因子，α∈Ωα，Ωα＝{1.74,2.47,3.49,4.93,6.98,9.87}，θ表示Log-Gabor滤波器的方向因子，θ∈Ωθ，Ωθ＝{0°,45°,90°,135°}；
步骤A2、计算中的每个像素点在不同方向的相位一致性特征，将中坐标位置为(x,y)的像素点在...

【专利技术属性】
技术研发人员：邵枫，柴雄力，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33