一种对全景图像感知质量的计算方法技术

本发明专利技术提供一种对全景图像感知质量的计算方法，包括获取全景图像的观看轨迹，结合采样率与观看视野范围，利用直线投影提取观看视口，获得一组沿观看路径采样得到的视频序列；将视频序列作为虚拟相机拍摄的二维视频数据，利用二维图像质量评价方法计算二维视频数据中每帧图像的质量；通过时态加权方法融合所有帧图像的质量分数，得到最终的全局感知质量分数。本发明专利技术可以将现有的传统视频质量评价方法应用到沉浸式场景中，能有效地、客观的对全景图像的视觉质量进行预测。

【技术实现步骤摘要】
一种对全景图像感知质量的计算方法
本专利技术涉及图像数据处理的
，具体的，涉及一种对全景图像感知质量的计算方法。
技术介绍
虚拟现实(VR)成像是一种可以捕获和创建完整自然场景的技术，它通常拍摄形成单个全向图像，这种图像也一般称为静态360°全景图。由于人们可以自由探索在沉浸式虚拟环境中，全景图像提供的观看体验与传统的多媒体数据有很大不同。因此，鉴于其对全景图像获取，压缩，存储，传输和重现的重要性，了解人类如何感知全景视觉失真已成为一个新的研究方向。由于全景图像通常要投影到2D平面后进行存储，因此现有尝试运用2D图像质量评价模型来量化投影中的感知失真的方法。然而，不同的几何投影存在着不同的失真问题，例如，等距柱状投影会在两极区域产生严重的形变失真，而立方体投影相比于球面有超过190％以上的采样率。并且在2D平面度量的失真与观察者在球面看到的感知失真之间并没有很大的联系。为了消除这种平面与球面之间的不匹配性，有些全景图像质量评价模型先在平面上进行局部质量测量，然后利用球面区域作为权重将局部的质量进行加权得到最终的一个质量分数。同时，与之有异曲同工之妙的方法是在球面上计算整个图像的质量。在2D图像质量评价中，实验人员的行为在实验室环境中可以得到很好的控制，并且在没有显式建模时，实验人员的行为通常被认为是相似的。但是，这种假设并不适用于全景式图像质量评价。在佩戴头戴显示器(HMD)的情况下，人们可以尽可能的通过头和眼睛的移动来探索场景中的有趣之处。这样导致不同的人对同一全景图像有不同的关注区域，然而现在没有质量评价模型可以在预测全景图像的感知质量时对观看行为给出很好的解决方法。为了形成一个有效可靠的全景图像质量评价模型，在质量评估过程中，对视觉探索行为建模非常重要。然而，由于现有的方法并没有对全景图像的感知质量进行评价，导致无法形成一个有效可靠的全景图像质量评价模型。
技术实现思路
针对现有技术的不足，本专利技术提供一种能够有效对全景图像感觉质量进行评价的对全景图像感知质量的计算方法。为实现上述目的，本专利技术通过以下技术方案予以实现：一种对全景图像感知质量的计算方法，包括：获取全景图像的观看轨迹，结合采样率与观看视野范围，利用直线投影提取观看视口，获得一组沿观看路径采样得到的视频序列；将视频序列作为虚拟相机拍摄的二维视频数据，利用二维图像质量评价方法计算二维视频数据中每帧图像的质量；通过时态加权方法融合所有帧图像的质量分数，得到最终的全局感知质量分数。优选的，获取全景图像的观看轨迹包括：设定观看起始点P0(φ0，θ0)，其中φ0和θ0分别代表起始点的经度和纬度；设定观看时间T以及观看路径P(t)：对任意一个时刻t∈[0，T]，获得相应的球面坐标(φ，θ)，其中P(0)＝(0，0)，则该路径在时刻t的采样点坐标为P(t)+P(0)。优选的，观看路径为从起始点(φ0，0)开始观看，逐渐沿着赤道区域转动到(φ0-π/2，0)的区域；然后，顺时针转动从(φ0-π/2，0)到(φ0+π/2，0)的区域，最后返回起始点位置。优选的，利用直线投影提取观看视口，获得一组沿观看路径采样得到的视频序列包括：获取观看路径中的采样点(φC，θC)，通过旋转矩阵Rot将球面旋转至Z轴指向采样点的状态；确定以采样点为中心、视野范围为大小的视口中所有像素点的值，对于视口的像素坐标(m，n)，计算该像素相应的采样点坐标(u，v)；根据采样点坐标(u，v)，计算该采样点相应的球面笛卡尔坐标(x，y，z)；通过旋转矩阵计算球面旋转后的采样点坐标；通过等距柱状投影公式获得采样点2D平面坐标(x2D，y2D)，得到相应的像素值。优选的，计算像素相应的采样点坐标(u，v)时，采用如下公式进行计算：其中，F为视野范围角度大小，Wv和Hv分别为视口的长与宽。优选的，获取全景图像的观看轨迹后，还设置采样率和观看视野范围，其中，设置采样率和观看视野范围包括：设置全景图像转换成视频序列的采样率R，其中Ret是头戴式显示器所设定的采样频率，s1为调节参数；设置采样时的观看视野范围：当前的采样点P(t)+P(0)为中心，在经度和纬度方向上设定[-π/6，π/6]大小的观看视野范围F。优选的，将视频序列作为虚拟相机拍摄的二维视频数据，利用二维图像质量评价方法计算二维视频数据中每帧图像的质量包括：采用二维图像质量评价方法评估视频帧的质量；计算视频单帧的质量，使用下面的公式进行计算：Qij＝D(Xij，Yij)，其中Yij代表从第i个用户的观看路径采样获得的第j帧视口图像，Xij代表该图像的无损质量版本，D表示采用的二维图像质量评价模型。优选的，通过时态加权方法融合所有帧图像的质量分数，得到最终的全局感知质量分数包括：定义质量记忆单元：在每个视频帧中定义一个质量记忆单元，质量记忆单元采用下面公式计算：其中k＝2×R是模拟短期记忆相关参数；调整受近因效应影响的视频帧质量，采用下面公式进行计算：其中，sort()表示对数组{Qj，...，Qmin{j+K，N}}进行升序排序变成新的数组w是由高斯函数下降部分指定的归一化加权向量；调整后的时间变换质量分数Qj由记忆和当前因素经线性组合计算得到，采用下面的公式进行调整计算：其中，α是预设的加权参数；平均所有视频帧的质量分数，作为该视频的质量分数，并作为全景图像质量分数的表征，采用下面的公式计算：计算所有视频的质量分数的平均值：与现有技术相比，本专利技术的有益效果是：因此本专利技术结合用户真实观看行为，通过结构化观看路径，结合采样率与观看视野范围，利用直线投影提取用户观看视口，获得一组沿观看路径采样得到的视频序列。对于不同的观看者，本专利技术提出用不同的运动拍摄视频来代表他们所观看到的全景图像，这种新颖的表征方法可以将现有的传统视频质量评价方法应用到沉浸式场景中，能有效地、客观的对全景图像的视觉质量进行预测。附图说明图1是实现本专利技术对全景图像感知质量的计算方法实施例的框架图。图2是本专利技术对全景图像感知质量的计算方法实施例的流程图；图3是应用本专利技术对全景图像感知质量的计算方法实施例的显著性检验的效果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术是一种对全景图像感知质量的计算方法，本专利技术的方法可以应用计算机装置实现，例如，计算机装置包括处理器以及存储器，存储器上存储有计算机程序，计算机程序可以实现本专利技术的对全景图像感知质量的计算方法。由于全景图像提供的视觉体验和传统的多媒体数据大不相同，人类探索沉浸式环境的观看行为对感知质量起着很重要的作用，因此本专利技术对视觉探索行为建模，设计了一种全新的全景图本文档来自技高网...

【技术保护点】
1.一种对全景图像感知质量的计算方法，其特征在于，包括：/n获取全景图像的观看轨迹，结合采样率与观看视野范围，利用直线投影提取观看视口，获得一组沿所述观看路径采样得到的视频序列；/n将所述视频序列作为虚拟相机拍摄的二维视频数据，利用二维图像质量评价方法计算二维视频数据中每帧图像的质量；/n通过时态加权方法融合所有帧图像的质量分数，得到最终的全局感知质量分数。/n

【技术特征摘要】
1.一种对全景图像感知质量的计算方法，其特征在于，包括：
获取全景图像的观看轨迹，结合采样率与观看视野范围，利用直线投影提取观看视口，获得一组沿所述观看路径采样得到的视频序列；
将所述视频序列作为虚拟相机拍摄的二维视频数据，利用二维图像质量评价方法计算二维视频数据中每帧图像的质量；
通过时态加权方法融合所有帧图像的质量分数，得到最终的全局感知质量分数。


2.根据权利要求1所述的一种对全景图像感知质量的计算方法，其特征在于：
获取全景图像的观看轨迹包括：
设定观看起始点P0(φ0，θ0)，其中Φ0和θ0分别代表起始点的经度和纬度；
设定观看时间T以及观看路径P(t)：对任意一个时刻t∈[0，T]，获得相应的球面坐标(φ，θ)，其中P(0)＝(0，0)，则该路径在时刻t的采样点坐标为P(t)+P(0)。


3.根据权利要求2所述的一种对全景图像感知质量的计算方法，其特征在于：
所述观看路径为从起始点(φ0，0)开始观看，逐渐沿着赤道区域转动到(φ0-π/2，0)的区域；然后，顺时针转动从(φ0-π/2，0)到(φ0+π/2，0)的区域，最后返回所述起始点位置。


4.根据权利要求3所述的一种对全景图像感知质量的计算方法，其特征在于：
利用直线投影提取观看视口，获得一组沿所述观看路径采样得到的视频序列包括：
获取所述观看路径中的采样点(φC，θC)，通过旋转矩阵Rot将球面旋转至Z轴指向采样点的状态；
确定以所述采样点为中心、视野范围为大小的视口中所有像素点的值，对于所述视口的像素坐标(m，n)，计算该像素相应的采样点坐标(u，v)；
根据所述采样点坐标(u，v)，计算该采样点相应的球面笛卡尔坐标(x，y，z)；
通过所述旋转矩阵计算球面旋转后的采样点坐标；
通过等距柱状投影公式获得所述采样点2D平面坐标(x2D，y2D)，得到相应的像素值。


5.根据权利要求4所述的一种对全景图像感知质量的计算方法，其特征在于：
计算像素相应的采样点坐标(u，v)时，采用如下公式进行计算：



其中，...

【专利技术属性】
技术研发人员：方玉明，眭相杰，姚怡茹，左一帆，
申请(专利权)人：方玉明，
类型：发明
国别省市：江西;36