多服务器云虚拟现实(VR)流式传输制造技术

一种分割层次图形处理器系统包括主节点，所述主节点响应于通过网络接收到的来自客户端装置的输入而执行虚拟现实(VR)应用，以生成用于VR环境中的图元。所述图形处理器系统包括渲染节点，所述渲染节点基于从所述VR环境中的位置获取的所述VR环境中的视图的图元来执行渲染，所述视图对应于所述VR环境的网格图。所述渲染节点中的每一者将相应视图的相应帧序列渲染、编码和流式传输到所述客户端装置。所述处理器系统包括资产库，所述资产库存储用于构建所述VR环境的对象的输入几何形状，其中所述资产库中的所述对象能够由所述主节点和所述渲染节点访问。述渲染节点访问。述渲染节点访问。

【技术实现步骤摘要】
【国外来华专利技术】多服务器云虚拟现实(VR)流式传输


[0001]本公开涉及计算机生成的图像，且更具体来说涉及计算机生成的图形的实时渲染。

技术介绍

[0002]渲染管道中虚拟现实(VR)场景的计算机渲染需要中央处理单元(CPU)和图形处理单元(GPU)资源。VR场景可以在宽观看范围内渲染，但仅显示所述观看范围的较小部分。此外，VR场景可能比传统场景更复杂，并且还可能需要更高的帧速率来进行图像处理，以避免用户晕动病。
[0003]VR场景可以被生成为例如立方体贴图，所述立方体贴图用于将VR场景从给定位置投影到立方体的侧面上。立方体围绕着生成视图的位置。特别地，立方体贴图的每一侧面通过渲染VR环境中所述位置的相应视图的VR场景而生成。立方体贴图查看器会将给定视点的一个或多个视图混合到VR环境中。
[0004]通常，包括CPU和GPU的单个计算资源被用于执行立方体贴图的视图的渲染。然而，计算资源可能无法在不引起用户晕动病的情况下处理VR场景，而在处理能力方面也没有实现一些成本节省措施。例如，立方体贴图中的不用于生成用户在VR环境中的视点的视图可以以比用于生成视点的那些视图更低的分辨率生成。也就是说，如果用户在280度到40度(向前)的范围之间查看VR环境(例如，对应于角色的位置)，则以低分辨率渲染对应于180度(向后)的立方体贴图视图。然而，当用户物理地转动他的头来查看VR环境的其他区域时(例如，向后朝向180度旋转)，展示在头戴式显示器(HMD)上的视图是从低分辨率图像生成的。在所述情况下，当从高分辨率视图转到低分辨率视图时，用户可能非常容易有晕动病。
[0005]正是在这种情况下，出现了本公开的实施方案。

技术实现思路

[0006]本公开的实施方案涉及一种分割层次图形处理器系统，其在云系统中实现以用于执行VR内容的多服务器云VR流式传输。例如，分割层次图形处理系统被配置成执行VR内容的流式传输，如通过在单独的渲染节点/服务器上生成网格图的每一侧面来实现的，其中所述渲染节点由执行应用逻辑(例如，执行游戏应用)的主节点控制。下文描述本公开的若干专利技术实施方案。
[0007]在一个实施方案中，在云系统中实现的分割层次图形处理器系统包括主节点，所述主节点响应于通过网络接收到的来自用户的客户端装置的输入而执行虚拟现实(VR)应用以生成VR环境中的多个对象的多个图元。所述图形处理器系统包括多个渲染节点，所述多个渲染节点基于从所述VR环境中的位置获取的所述VR环境中的多个视图的多个图元来执行渲染，所述多个视图对应于所述VR环境的网格图，其中所述渲染节点中的每一者将相应视图的相应帧序列渲染、编码和流式传输到所述客户端装置。所述图形处理器系统包括资产库，所述资产库存储用于构建所述VR环境的多个对象的输入几何形状，其中所述资产
库中的所述多个对象可由所述主节点和所述多个渲染节点访问。
[0008]在一个实施方案中，公开了一种用于使用云系统的分割层次图形处理器系统来执行图形处理的方法。所述方法包括响应于来自用户的客户端装置的输入在云系统的主节点处执行VR应用以生成所述VR应用的VR环境中的多个对象的多个图元。所述方法包括基于从所述VR环境中的位置获取的所述VR环境中的多个视图的多个图元在多个渲染节点处渲染多个帧序列，所述多个视图对应于所述VR环境的网格图，其中相应的帧序列与相应的视图相关联。所述方法包括将所述多个对象的输入几何形状存储在资产库中，所述多个对象用于构建所述VR环境，其中所述资产库中的所述多个对象可由所述主节点和所述多个渲染节点访问。所述方法包括在每一渲染节点处编码相应的帧序列。所述方法包括从每一渲染节点将相应的帧序列流式传输到所述客户端装置。
[0009]在另一实施方案中，一种存储计算机程序的非暂时性计算机可读介质，所述计算机程序用于使用云系统的分割层次图形处理器系统来执行图形处理。所述计算机可读介质包括用于响应于来自用户的客户端装置的输入在云系统的主节点处执行VR应用以生成所述VR应用的VR环境中的多个对象的多个图元的程序指令。所述计算机可读介质包括用于基于从所述VR环境中的位置获取的所述VR环境中的多个视图的多个图元来在多个渲染节点处渲染多个帧序列的程序指令，所述多个视图对应于所述VR环境的网格图，其中相应的帧序列与相应的视图相关联。所述计算机可读介质包括用于将所述多个对象的输入几何形状存储在资产库中的程序指令，所述多个对象用于构建所述VR环境，其中所述资产库中的所述多个对象可由所述主节点和所述多个渲染节点访问。所述计算机可读介质包括用于在每一渲染节点处编码相应的帧序列的程序指令。所述计算机可读介质包括用于从每一渲染节点流式传输相应的帧序列的程序指令。
[0010]从以下结合附图的详细描述中，本公开的其他方面将变得显而易见，附图以示例的方式示出了本公开的原理。
附图说明
[0011]通过结合附图参考以下描述，可以最好地理解本公开，在附图中：
[0012]图1A示出根据本公开的一个实施方案的被配置用于提供与VR内容的交互式体验的系统，所述VR内容使用云系统的多个服务器和/或计算节点而生成，其中一些输入控制可以通过手持式控制器来提供，并且一些输入控制可以通过如经由相机实现的对身体部位的跟踪来管理。
[0013]图1B示出根据本公开的一个实施方案的被配置用于提供与VR内容的交互式体验的系统，所述VR内容使用云系统的多个服务器和/或计算节点而生成，其中用于编辑的一些输入控制可以通过手持式控制器来提供，并且一些输入控制可以通过如经由相机实现的对身体部位的跟踪来管理，其中所述相机还跟踪HMD的移动，以用于对向HMD传输数据的RF发射器进行射束跟踪的目的。
[0014]图1C示出根据本公开的一个实施方案的被配置用于提供与VR内容的交互式体验的系统，所述VR内容使用云系统的多个服务器和/或计算节点而生成，其中用于编辑的一些输入控制可以通过手持式控制器来提供，并且一些输入控制可以通过如经由磁源部分地实现的对身体部位的磁跟踪来管理。
[0015]图2概念性地示出了根据本公开的实施方案的与正在执行的视频游戏结合并且用于显示VR内容的HMD的功能，所述VR内容使用云系统的多个服务器和/或计算节点而生成。
[0016]图3是示出根据本公开的一个实施方案的使用云系统的多个服务器和/或计算节点在云系统处生成VR内容以实现分割层次图形处理器系统的数据流程图。
[0017]图4是示出根据本公开的一个实施方案的使用云系统的多个服务器和/或计算节点在云系统处生成VR内容的数据流程图，所述多个服务器和/或计算节点包括用以生成立方体贴图的六个侧面的视图的六个渲染节点，以及用于执行游戏应用的游戏逻辑和管理渲染节点的同步的主节点。
[0018]图5示出根据本公开的一个实施方案的被配置成实现图形管道的分割层次处理器系统，所述分割层次跨云系统的多个服务器和/或计算节点而实现，以执行中央处理单元(CPU)和/或图形处理单元(GPU)的功能，从而执行游戏逻辑并独立地为网格图的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种云系统中的分割层次图形处理器系统，其包括：主节点，其响应于通过网络接收到的来自用户的客户端装置的输入而执行虚拟现实(VR)应用，以生成VR环境中的多个对象的多个图元；多个渲染节点，其基于从所述VR环境中的位置获取的所述VR环境中的多个视图的多个图元来执行渲染，所述多个视图对应于所述VR环境的网格图，其中所述渲染节点中的每一者将相应视图的相应帧序列渲染、编码和流式传输到所述客户端装置；以及资产库，其存储用于构建所述VR环境的所述多个对象的输入几何形状，其中所述资产库中的所述多个对象能够由所述主节点和所述多个渲染节点访问。2.根据权利要求1所述的分割层次图形处理器系统，其中被流式传输的相应帧序列中的帧各自与识别符相关联，并且被配置成基于一个或多个帧序列和所述VR环境中的视点被解码和组装为所述VR环境的3D视图。3.根据权利要求1所述的分割层次图形处理器系统，其中所述主节点被配置成向所述多个渲染节点中的每一者同时广播所述多个图元。4.根据权利要求1所述的分割层次图形处理器系统，其中所述网格图包括立方体贴图，所述立方体贴图包括对应于所述多个视图的六个侧面。5.根据权利要求1所述的分割层次图形处理器系统，其中每一渲染节点专用于以一对一关系渲染所述网格图的相应视图。6.根据权利要求1所述的分割层次图形处理器系统，其中所述主节点包括物理模拟建模器，以用于将自然或所定义的物理定律的模拟应用于所述多个对象。7.根据权利要求1所述的分割层次图形处理器系统，其中每一渲染节点被配置成执行光栅化、片段着色、输出合并和帧缓冲。8.根据权利要求1所述的分割层次图形处理器系统，其中所述客户端装置包括一个或多个解码器，所述解码器被配置用于解码和缓冲从所述多个渲染节点接收的经编码流，并且其中所述客户端装置被配置用于基于所述VR环境中的视图的一个或多个经解码的经编码帧序列来生成在所述VR环境中的所述位置处的视点。9.根据权利要求1所述的分割层次图形处理器系统，其中所述渲染节点中的每一者被配置成将时间戳或帧号附加到相应帧序列的帧，以用于在所述客户端装置处同步来自不同帧序列的帧。10.根据权利要求1所述的分割层次图形处理器系统，其中所述渲染节点中的每一者在UDP广播中将相应视图的相应帧序列流式传输到所述客户端装置。11.根据权利要求1所述的分割层次图形处理器系统，其中所述渲染节点中的每一者以全分辨率生成相应视图的相应帧序列。12.一种用于使用云系统的分割层次图形处理器系统来执行图形处理的方法，其包括：响应于来自用户的客户端装置的输入，在云系统的主节点处执行虚拟现实(VR)应用以生成所述VR应用的VR环境中的多个对象的多个图元；基于从所述VR环境中的位置获取的所述VR环境中的多个视图的多个图元，在多个渲染节点处渲染多个帧序列，所述多个视图对应于所述VR环境的网格图，其中相应的帧序列与相应的视图相关联；
将所述多个对象的输入几何形状存储在资产库中，所述多个对象用于构建所述VR环境，其中所述资产库中的所述多个对象能够由所述主节点和所述多个渲染节点访问；以及在每一渲染节点处编码相应的帧序列；以及从每一渲染节点将相应的帧序列流式传输到所述...

【专利技术属性】
技术研发人员：T哈格兰德，
申请(专利权)人：索尼互动娱乐有限责任公司，
类型：发明
国别省市：