【技术实现步骤摘要】
本专利技术涉及视频传输，尤其涉及一种体积视频流式调度方法、装置、终端及介质。
技术介绍
1、体积视频技术，作为一种尖端的多媒体技术，具有深远的应用价值，其中以点云视频最为受业界关注。然而，对点云视频的传输调度仍然存在数据规模大、可视化效果差等难点。针对此痛点，目前研究都考虑使用分区域的思想对点云视频瓦块的不同区域实现自适应的码率选取，但却没有从用户的观看行为与点云视频内容对用户注意力分配的影响出发，考虑一个基于视觉注意力的传输方案。
技术实现思路
1、本专利技术提供一种体积视频流式调度方法、装置、终端及介质，采用基于人眼注视点与显著性场结合分析，有效利用用户观看行为与先验显著感知信息进行视频传输决策，从而给用户带来更高的视觉体验。
2、为了实现上述目的，第一方面，本专利技术实施例提供了一种体积视频流式调度方法，包括：
3、接收到目标点云视频时，对所述目标点云视频的点云序列进行分块和编码处理，得到mpd文件和每个质量等级下的全局失真比；
4、根据用户行为数据的用户视口和眼睛注视信息，结合参考点的显著性场分析所述mpd文件确定每个瓦块的码流、基于眼睛注视点效用和基于显著性效用；
5、将所述基于眼睛注视点效用和基于显著性效用结合所述全局失真比，得到所述每个瓦块的质量价值函数；
6、采用ges算法求解所述质量价值函数和所述码流，得到所述每个瓦块选定的质量等级，从而重组所述每个瓦块的第二码流进行视频传输。
7、进一步的，
8、根据所述质量价值函数和所述码流之间的约束关系，生成线性规划问题；
9、采用ges算法求解所述线性规划问题得到所述每个瓦块选定的质量等级，从而重组所述每个瓦块的第二码流进行视频传输；
10、其中，所述线性规划问题的公式为：
11、，
12、，
13、式中，表示所有瓦块选定的质量级别的合集，，表示瓦块的数量，表示对瓦块定义的所述质量价值函数，用于估计在时刻下选定用户视口时，所述瓦块以质量级别传输的价值；表示在所述质量级别下所述瓦块的码流，为预设的带宽预算。
14、具体的，所述质量价值函数的表达式为：
15、，
16、式中，为基于眼睛注视点效用函数，用于表示在时刻时根据用户视口和屏幕上的眼睛注视像素预测所述每个瓦块的效用值，为基于显著性效用函数，用于表示在所述时刻从用户视点处观看时所述每个瓦块的显著性效用值，表示所述质量级别的全局失真比。
17、具体的，所述基于眼睛注视点效用函数的表达式为：
18、，
19、式中，表示视网膜偏心率的指数函数，为所述瓦块的质心坐标；表示1级虚拟视口内可见的所有瓦块的集合，表示2级虚拟视口内可见的所有瓦块的集合，表示所述视网膜偏心率的最小指数函数。
20、进一步的，所述接收到目标点云视频时，对所述目标点云视频的点云序列进行分块和编码处理，得到mpd文件和每个质量等级下的全局失真比，具体包括：
21、接收到目标点云视频时，将所述目标点云视频的点云序列均匀地划分成若干个互不重叠的瓦块；
22、对每个瓦块进行独立编码，得到mpd文件和每个质量等级下的全局失真比。
23、第二方面，本专利技术实施例提供了一种体积视频流式调度装置，包括：
24、预处理模块，用于接收到目标点云视频时，对所述目标点云视频的点云序列进行分块和编码处理，得到mpd文件和每个质量等级下的全局失真比；
25、数据分析模块，用于根据用户行为数据的用户视口和眼睛注视信息，结合参考点的显著性场分析所述mpd文件确定每个瓦块的码流、基于眼睛注视点效用和基于显著性效用；
26、价值函数模块，用于将所述基于眼睛注视点效用和基于显著性效用结合所述全局失真比，得到所述每个瓦块的质量价值函数；
27、质量等级模块，用于采用ges算法求解所述质量价值函数和所述码流，得到所述每个瓦块选定的质量等级，从而重组所述每个瓦块的第二码流进行视频传输。
28、作为上述方案的改进，所述质量等级模块，具体用于：
29、根据所述质量价值函数和所述码流之间的约束关系，生成线性规划问题；
30、采用ges算法求解所述线性规划问题得到所述每个瓦块选定的质量等级，从而重组所述每个瓦块的第二码流进行视频传输；
31、其中，所述线性规划问题的公式为：
32、，
33、，
34、式中，表示所有瓦块选定的质量级别的合集，，表示瓦块的数量，表示对瓦块定义的所述质量价值函数，用于估计在时刻下选定用户视口时，所述瓦块以质量级别传输的价值；表示在所述质量级别下所述瓦块的码流，为预设的带宽预算。
35、作为上述方案的改进，所述预处理模块，具体用于：
36、接收到目标点云视频时，将所述目标点云视频的点云序列均匀地划分成若干个互不重叠的瓦块；
37、对每个瓦块进行独立编码，得到mpd文件和每个质量等级下的全局失真比。
38、第三方面，本专利技术实施例对应提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述体积视频流式调度方法。
39、此外，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述体积视频流式调度方法。
40、与现有技术相比，本专利技术实施例公开的一种体积视频流式调度方法、装置、终端及介质，通过接收到目标点云视频时，对所述目标点云视频的点云序列进行分块和编码处理，得到mpd文件和每个质量等级下的全局失真比；根据用户行为数据的用户视口和眼睛注视信息，结合参考点的显著性场分析所述mpd文件确定每个瓦块的码流、基于眼睛注视点效用和基于显著性效用；将所述基于眼睛注视点效用和基于显著性效用结合所述全局失真比，得到所述每个瓦块的质量价值函数；采用ges算法求解所述质量价值函数和所述码流，得到所述每个瓦块选定的质量等级，从而重组所述每个瓦块的第二码流进行视频传输。因此，本专利技术实施例能够将人眼注视点信息与显著性场引入体积视频流式调度问题，建模成线性规划问题，有效利用用户观看行为与先验显著感知信息进行视频传输决策，从而给用户带来更高的视觉体验。
本文档来自技高网...【技术保护点】
1.一种体积视频流式调度方法，其特征在于，包括：
2.如权利要求1所述的体积视频流式调度方法，其特征在于，所述采用GES算法求解所述质量价值函数和所述码流，得到所述每个瓦块选定的质量等级，从而重组所述每个瓦块的第二码流进行视频传输，具体包括：
3.如权利要求2所述的体积视频流式调度方法，其特征在于，所述质量价值函数的表达式为：
4.如权利要求3所述的体积视频流式调度方法，其特征在于，所述基于眼睛注视点效用函数的表达式为：
5.如权利要求1所述的体积视频流式调度方法，其特征在于，所述接收到目标点云视频时，对所述目标点云视频的点云序列进行分块和编码处理，得到MPD文件和每个质量等级下的全局失真比，具体包括：
6.一种体积视频流式调度装置，其特征在于，包括：
7.如权利要求6所述的体积视频流式调度装置，其特征在于，所述质量等级模块，具体用于：
8.如权利要求6所述的体积视频流式调度装置，其特征在于，所述预处理模块，具体用于：
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-5中任意一项所述的体积视频流式调度方法。
...【技术特征摘要】
1.一种体积视频流式调度方法，其特征在于，包括：
2.如权利要求1所述的体积视频流式调度方法，其特征在于，所述采用ges算法求解所述质量价值函数和所述码流，得到所述每个瓦块选定的质量等级，从而重组所述每个瓦块的第二码流进行视频传输，具体包括：
3.如权利要求2所述的体积视频流式调度方法，其特征在于，所述质量价值函数的表达式为：
4.如权利要求3所述的体积视频流式调度方法，其特征在于，所述基于眼睛注视点效用函数的表达式为：
5.如权利要求1所述的体积视频流式调度方法，其特征在于，所述接收到目标点云视频时，对所述目标点云视频的点云序列进行分块和编码处理，得到mpd文件和每个质量等级下的全局失真比，具体包括：
6...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。