一种全景视频显示方法及显示设备技术

本申请涉及全景视频技术领域，提供一种全景视频显示方法及显示设备，具体的，响应于全景视频播放请求，获取目标全景视频以及所述目标全景视频的配置信息；针对所述目标全景视频中的每一目标全景视频帧，根据第一视点位置和第二视点位置各自对应的所述目标全景视频帧中各个高清视频分块的标识，确定至少一个目标高清视频分块的标识；根据所述配置信息以及所述至少一个目标高清视频分块的标识，获取至少一个目标高清视频分块，结合低清全景视频帧，渲染预先创建的球面网格，得到渲染后的全景视频帧并显示，该方法可以减少FOV传输方案中高清视频分块占用的网络带宽，并保证第二视点转动时视野内的区域显示为高清图像。

【技术实现步骤摘要】
一种全景视频显示方法及显示设备
本申请涉及全景视频
，尤其涉及一种全景视频显示方法及显示设备。
技术介绍
全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(QualityofService，QoS)需求。全景视频相对于传统视频有着分辨率高、数据量大、码率高的特点，对网络带宽的要求很高。近几年来，全景视频向着更高分辨率不断发展，需求逐渐由4K转向8K，甚至12K和16K，现有网络条件很难满足这样的发展趋势。为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，在全景视频传输方面多采用视场角(FieldofView，FOV)传输方案。基于FOV的全景视频传输方案通过将高分辨率的原始全景视频帧按区域切分为视频块，有选择的显示视野内视频块的方式实现高分辨率全景视频的播放。但是人眼的视域范围有限，处于视场角外围的图像人眼看不清楚，如果整个视野内都采用高清视频块进行显示，会造成资源浪费，增加网络带宽压力。专利技术内容本申请提供了一种全景视频显示方法及显示设备，用以减少全景视频传输的数据量，降低带宽压力。第一方面，本申请实施例提供一种转换全景视频投影格式显示设备，包括：显示器，与图形处理器连接，被配置为显示全景视频；存储器，与图形处理器连接，被配置为存储计算机指令；所述图形处理器，被配置为根据所述计算机指令执行以下操作：响应于全景视频播放请求，获取目标全景视频以及所述目标全景视频的配置信息，所述配置信息包含所述目标全景视频中每一目标全景视频帧包含的高清视频分块的地址信息；针对所述目标全景视频中的每一目标全景视频帧，获取第一视点位置以及第二视点位置，根据所述第一视点位置对应的所述目标全景视频帧中各个第一高清视频分块的标识，以及所述第二视点位置对应的所述目标全景视频帧中各个第二高清视频分块的标识，确定至少一个目标高清视频分块的标识；根据所述目标全景视频帧包含的高清视频分块的地址信息，以及所述至少一个目标高清视频分块的标识，获取至少一个目标高清视频分块；根据获取的至少一个目标高清视频分块以及低清全景视频帧，渲染预先创建的球面网格，得到渲染后的全景视频帧并显示，所述低清全景视频帧是对所述目标全景视频帧降采样得到的。第二方面，本申请实施例提供一种全景视频显示方法，包括：响应于全景视频播放请求，获取目标全景视频以及所述目标全景视频的配置信息，所述配置信息包含所述目标全景视频中每一目标全景视频帧包含的高清视频分块的地址信息；针对所述目标全景视频中的每一目标全景视频帧，获取第一视点位置以及第二视点位置，根据所述第一视点位置对应的所述目标全景视频帧中各个第一高清视频分块的标识，以及所述第二视点位置对应的所述目标全景视频帧中各个第二高清视频分块的标识，确定至少一个目标高清视频分块的标识；根据所述目标全景视频帧包含的高清视频分块的地址信息，以及所述至少一个目标高清视频分块的标识，获取至少一个目标高清视频分块；根据获取的至少一个目标高清视频分块以及低清全景视频帧，渲染预先创建的球面网格，得到渲染后的全景视频帧并显示，所述低清全景视频帧是对所述目标全景视频帧降采样得到的。本申请的上述实施例中，通过交互获取用户选择的目标全景视频，针对目标全景视频中的每一目标全景视频帧，获取第一视点位置(显示设备的视点位置)对应的目标全景视频帧中各个第一高清视频分块的标识，以及获取第二视点位置(用户视点位置)对应的目标全景视频帧中各个第二高清视频分块的标识，并根据各个第一高清视频分块的标识和各个第二高清视频分块的标识确定至少一个目标高清视频分块的标识，以及结合获取的目标全景视频帧的配置信息获取至少一个目标高清视频分块，由于目标全景视频分块是根据显示设备的视点位置与用户视点位置对应的高清视频分块联合确定的，与传统FOV方案中以显示设备的视点位置确定的高清视频分块进行显示相比，可以减少高清目标视频分块的传输数量，从而减少高清视频分块占用的网络带宽；在渲染时，根据至少一个目标高清视频分块以及降采样得到的低清全景视频进行高低清区域的渲染显示，由于目标高清视频分块考虑了用户视点位置，保证在眼球在转动过程人眼看到的区域显示为高清，提升了用户体验。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1示例性示出了本申请的实施例提供的VR头戴显示设备100的结构图；图2示例性示出了本申请的实施例提供的人眼视场角的可视范围示意图；图3示例性示出了本申请的实施例提供的VR设备的视场角与人眼的视场角的平面关系图；图4示例性示出了本申请的实施例提供的高清全景视频的划分方式示意图；图5示例性示出了本申请的实施例提供的创建的球面网格；图6示例性示出了本申请的实施例提供的可视区域的划分方式示意图；图7中示例性示出了本申请实施例提供的全景视频显示方法流程图；图8中示例性示出了本申请实施例提供的目标高清视频分块确定方式示意图；图9示例性示出了本申请实施例提供的显示全景视频的完整流程图；图10示例性示出了本申请实施例提供的显示设备的结构功能图；图11示例性示出了本申请实施例提供的显示设备的硬件结构图。具体实施方式为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺本文档来自技高网...

【技术保护点】
1.一种显示全景视频的显示设备，其特征在于，包括：/n显示器，与图形处理器连接，被配置为显示全景视频；/n存储器，与图形处理器连接，被配置为存储计算机指令；/n所述图形处理器，被配置为根据所述计算机指令执行以下操作：/n响应于全景视频播放请求，获取目标全景视频以及所述目标全景视频的配置信息，所述配置信息包含所述目标全景视频中每一目标全景视频帧包含的高清视频分块的地址信息；/n针对所述目标全景视频中的每一目标全景视频帧，获取第一视点位置以及第二视点位置，根据所述第一视点位置对应的所述目标全景视频帧中各个第一高清视频分块的标识，以及所述第二视点位置对应的所述目标全景视频帧中各个第二高清视频分块的标识，确定至少一个目标高清视频分块的标识；/n根据所述目标全景视频帧包含的高清视频分块的地址信息，以及所述至少一个目标高清视频分块的标识，获取至少一个目标高清视频分块；/n根据获取的至少一个目标高清视频分块以及低清全景视频帧，渲染预先创建的球面网格，得到渲染后的全景视频帧并显示，所述低清全景视频帧是对所述目标全景视频帧降采样得到的。/n

【技术特征摘要】
1.一种显示全景视频的显示设备，其特征在于，包括：
显示器，与图形处理器连接，被配置为显示全景视频；
存储器，与图形处理器连接，被配置为存储计算机指令；
所述图形处理器，被配置为根据所述计算机指令执行以下操作：
响应于全景视频播放请求，获取目标全景视频以及所述目标全景视频的配置信息，所述配置信息包含所述目标全景视频中每一目标全景视频帧包含的高清视频分块的地址信息；
针对所述目标全景视频中的每一目标全景视频帧，获取第一视点位置以及第二视点位置，根据所述第一视点位置对应的所述目标全景视频帧中各个第一高清视频分块的标识，以及所述第二视点位置对应的所述目标全景视频帧中各个第二高清视频分块的标识，确定至少一个目标高清视频分块的标识；
根据所述目标全景视频帧包含的高清视频分块的地址信息，以及所述至少一个目标高清视频分块的标识，获取至少一个目标高清视频分块；
根据获取的至少一个目标高清视频分块以及低清全景视频帧，渲染预先创建的球面网格，得到渲染后的全景视频帧并显示，所述低清全景视频帧是对所述目标全景视频帧降采样得到的。


2.如权利要求1所述的显示设备，其特征在于，所述图像处理器根据所述第一视点位置对应的所述目标全景视频帧中各个第一高清视频分块的标识，以及所述第二视点位置对应的所述目标全景视频帧中各个第二高清视频分块的标识，确定至少一个目标高清视频分块的标识，具体被配置为：
将所述第一视点位置对应的所述目标全景视频帧中各个第一高清视频分块的标识中，与所述第二视点位置对应的所述目标全景视频帧中各个第二高清视频分块的标识中相同的至少一个高清视频分块的标识，确定至少一个目标高清视频分块的标识。


3.如权利要求1所述的显示设备，其特征在于，所述图像处理器在获取第一视点位置和第二视点位置之后，还被配置为：
根据所述第一视点位置以及显示设备的视场角大小和方向确定的第一可视范围内包含的高清视频分块，确定所述第一视点位置对应的所述目标全景视频帧中各个第一高清视频分块的标识，以及根据所述第二视点位置以及人眼的视场角大小和方向确定的第二可视范围内包含的高清视频分块，确定所述第二视点位置对应的所述目标全景视频帧中各个第二高清视频分块的标识；或者
根据所述第一视点位置所在的预先划分的第一子区域，从预先生成的第一视点映射数据中获取所述第一子区域对应的各个高清视频分块的标识，将所述第一子区域对应的各个高清视频分块的标识，确定为所述第一视点位置对应的所述目标全景视频帧中各个第一高清视频分块的标识，以及根据所述第二视点位置所在的预先划分的第二子区域，从预先生成的第二视点映射数据中获取所述第二子区域对应的各个高清视频分块的标识，将所述第二子区域对应的各个高清视频分块的标识，确定为所述第二视点位置对应的所述目标全景视频帧中各个第二高清视频分块的标识。


4.如权利要求1所述的显示设备，其特征在于，所述图形处理器根据获取的至少一个目标高清视频分块以及低清全景视频帧，渲染预先创建的球面网格，具体被配置为：
针对所述球面网格光栅化生成的各个片元，若所述各个片元位于所述目标高清视频分块中，则根据所述各个片元的局部UV坐标从所述高清视频分块中获取相应片元的颜色值，否则根据所述各个片元的全局UV坐标从所述低清全景视频帧中获取所述各个片元的颜色值；其中，所述局部UV坐标由所述全局UV坐标转换得到的，所述全局UV坐标是根据所述各个片元的三维坐标转换得到的或由所述球面网格中各个子网格顶点的UV坐标插值得到的；
根据各个片元的颜色值，渲染所述球面网格。


5.如权利要求1-4中任一项所述的显示设备，其特征在于，所述显示设备包含设备视线追踪装置、眼球追踪装置，所述设备视线追踪装置被配置为获取显示设备的视线朝向，所述眼球追踪装置被配置为获取人眼的视线朝向；
所述图像处理器获取第一视点位置以及第二视点位置，具体被配置为：
将...

【专利技术属性】
技术研发人员：任子健，刘帅，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：山东;37