渲染视频帧的方法、计算机可读存储介质和计算机系统技术方案

一种用于更新图形管道的信息的方法包括：在第一帧周期中在CPU上执行应用以生成第一视频帧的场景的图元。在第二帧周期中接收用户的眼睛的视线跟踪信息。在第二帧周期中在CPU处至少基于视线跟踪信息在HMD显示器上预测着陆点。在第二帧周期中将预测着陆点后期更新到GPU可访问的缓冲器。在第二帧周期中在GPU中执行着色器操作，以基于图元并基于预测着陆点生成像素数据，其中像素数据存储在帧缓冲器中。在第三帧周期中将像素数据从帧缓冲器扫描输出到HMD。出到HMD。出到HMD。

【技术实现步骤摘要】
渲染视频帧的方法、计算机可读存储介质和计算机系统
[0001]专利技术人：安德鲁
·
扬(Andrew Young)和哈维尔
·
费尔南德斯
·
里科(Javier Fernandez Rico)
[0002]本分案申请是申请日为2019年5月7日、申请号为201980046421.9、专利技术名称为“为在HMD环境中进行快速中央凹渲染利用预测和对GPU的后期更新做出的眼睛跟踪”的分案申请。


[0003]本公开涉及计算机生成的图像，并且更具体地涉及计算机生成的图形的实时渲染。

技术介绍

[0004]在渲染管道中对虚拟现实(VR)场景进行计算机渲染需要中央处理单元(CPU)和图形处理单元(GPU)资源。尽管仅显示了宽观看范围的一小部分，但可以在该观看范围内渲染VR场景。另外，VR场景可能比传统场景更复杂，并且可能还需要更高的帧速率来进行图像处理以避免晕动病，所有这些都导致高功耗率。
[0005]为了节省功率，可以以比其他部分更高的分辨率呈现显示器的部分。例如，用户可能注视的屏幕部分可以以比用户未注视的其他部分(诸如外围的那些区域)更高的分辨率呈现。在外围中显示器的较低分辨率部分处进行的渲染可以节省处理资源，并且由于用户不关注外围，因此低分辨率不会降低用户的观看体验。然而，观看VR场景的用户的眼睛的运动可能比通过渲染管道更新帧更快。这样，因为眼睛比计算机渲染管道快，所以当用户运动到场景的之前可能在外围中的一部分时，该部分仍可能以低分辨率呈现，直到更新赶上眼动为止。这导致图像对用户来说是模糊的。
[0006]正是在这种背景下，出现了本公开的实施方案。

技术实现思路

[0007]本公开的实施方案涉及预测与观看头戴式显示器(HMD)的显示器的用户相关联的扫视(saccade)的着陆点，并且通过将预测着陆点后期更新到GPU可访问的缓冲器以供立即使用而更新包括中央处理单元(CPU)和图形处理单元(GPU)的渲染管道中的信息。下文描述了本公开的若干专利技术实施方案。
[0008]在一个实施方案中，公开了一种用于预测HMD中的眼动的方法。所述方法包括利用布置在所述HMD中的视线跟踪系统在多个样本点处跟踪用户的眼睛的运动。所述方法包括基于所述眼睛的所述运动确定所述运动的速度。所述方法包括在所述速度达到阈值速度时确定所述用户的眼睛处于扫视状态。所述方法包括在所述HMD的显示器上预测与所述扫视的眼睛方向相对应的着陆点。
[0009]在一个实施方案中，公开了一种用于更新包括CPU和GPU的渲染管道的信息的方法。所述方法包括在第一帧周期中在所述CPU上执行应用以生成第一视频帧的场景的图元。
帧周期对应于渲染管道的操作频率，所述渲染管道被配置用于在将对应视频帧扫描输出到显示器之前，由所述CPU和所述GPU在连续帧周期中执行顺序操作。所述方法包括在第二帧周期中在所述CPU处接收经历扫视的用户的眼睛的视线跟踪信息。所述方法包括在所述第二帧周期中在所述CPU处至少基于所述视线跟踪信息在头戴式显示器(HMD)的显示器上预测与所述扫视的眼睛视线方向相对应的着陆点。所述方法包括在所述第二帧周期中由所述CPU通过将预测着陆点传送到所述GPU可访问的缓冲器来执行后期更新操作。所述方法包括在所述第二帧周期中在所述GPU中执行一个或多个着色器操作以基于所述第一视频帧的所述场景的所述图元并基于所述预测着陆点生成所述HMD的像素的像素数据，其中所述像素数据至少包括颜色和纹理信息，其中所述像素数据存储在帧缓冲器中。所述方法包括在第三帧周期中将所述像素数据从所述帧缓冲器扫描输出到所述HMD。
[0010]在另一个实施方案中，公开了一种非暂时性计算机可读介质，其存储用于更新包括CPU和GPU的渲染管道的信息的计算机程序。所述计算机可读介质包括用于在第一帧周期中在所述CPU上执行应用以生成第一视频帧的场景的图元的程序指令。帧周期对应于渲染管道的操作频率，所述渲染管道被配置用于在将对应视频帧扫描输出到显示器之前，由所述CPU和所述GPU在连续帧周期中执行顺序操作。所述计算机可读介质包括用于在第二帧周期中在所述CPU处接收经历扫视的用户的眼睛的视线跟踪信息的程序指令。所述计算机可读介质包括用于在所述第二帧周期中在所述CPU处至少基于所述视线跟踪信息在头戴式显示器(HMD)的显示器上预测与所述扫视的眼睛视线方向相对应的着陆点的程序指令。所述计算机可读介质包括用于在所述第二帧周期中由所述CPU通过将预测着陆点传送到所述GPU可访问的缓冲器来执行后期更新操作的程序指令。所述计算机可读介质包括用于在所述第二帧周期中在所述GPU中执行一个或多个着色器操作以基于所述第一视频帧的所述场景的所述图元并基于所述预测着陆点生成所述HMD的像素的像素数据的程序指令，其中所述像素数据至少包括颜色和纹理信息，其中所述像素数据存储在帧缓冲器中。所述计算机可读介质包括用于在第三帧周期中将所述像素数据从所述帧缓冲器扫描输出到所述HMD的程序指令。
[0011]在又一个实施方案中，公开了一种计算机系统，所述计算机系统具有处理器和耦接到所述处理器的存储器，所述存储器中存储有指令，所述指令如果由所述计算机系统执行则使所述计算机系统执行用于更新包括CPU和GPU的渲染管道的信息的方法。所述方法包括在第一帧周期中在所述CPU上执行应用以生成第一视频帧的场景的图元。帧周期对应于渲染管道的操作频率，所述渲染管道被配置用于在将对应视频帧扫描输出到显示器之前，由所述CPU和所述GPU在连续帧周期中执行顺序操作。所述方法包括在第二帧周期中在所述CPU处接收经历扫视的用户的眼睛的视线跟踪信息。所述方法包括在所述第二帧周期中在所述CPU处至少基于所述视线跟踪信息在头戴式显示器(HMD)的显示器上预测与所述扫视的眼睛视线方向相对应的着陆点。所述方法包括在所述第二帧周期中由所述CPU通过将预测着陆点传送到所述GPU可访问的缓冲器来执行后期更新操作。所述方法包括在所述第二帧周期中在所述GPU中执行一个或多个着色器操作以基于所述第一视频帧的所述场景的所述图元并基于所述预测着陆点生成所述HMD的像素的像素数据，其中所述像素数据至少包括颜色和纹理信息，其中所述像素数据存储在帧缓冲器中。所述方法包括在第三帧周期中将所述像素数据从所述帧缓冲器扫描输出到所述HMD。
[0012]从以下结合附图的详细描述中，本公开的其他方面将变得显而易见，附图以示例的方式示出了本公开的原理。
附图说明
[0013]通过结合附图参考以下描述，可以最好地理解本公开，在附图中：
[0014]图1A示出了根据本公开的一个实施方案的被配置用于提供与VR内容的交互式体验并且用于预测与观看HMD的显示器的用户相关联的扫视的着陆点的系统，其中可以通过手持式控制器提供一些输入控制，并且可以通过跟踪身体部位(如通过相机实现的)来管理一些输入控制。
[0015]图1B示出了根据本公开的一个实施方案的被配置用于提供与VR内容的交互式体验并且用于预测与观看HMD的显示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：生成视频帧的场景的图元；在帧周期中接收用户的至少一只眼睛的视线跟踪信息；在所述帧周期中预测与所述至少一只眼睛的注视方向相对应的显示器上的着陆点；以及基于所述图元和预测的着陆点在所述帧周期中渲染所述视频帧。2.如权利要求1所述的方法，其中，渲染所述视频帧包括：执行一个或多个着色器操作以基于所述图元和预测的着陆点为所述显示器的多个像素生成像素数据。3.如权利要求1所述的方法，还包括：将所述像素数据存储在帧缓冲器中；以及在后续的帧周期中将所述像素数据从所述帧缓冲器扫描输出到所述显示器。4.如权利要求3所述的方法，其中所述后续的帧周期是下一帧周期。5.如权利要求1所述的方法，其中渲染所述视频帧包括：在所述视频帧中渲染高分辨率的中央凹区域，其中所述中央凹区域以所述着陆点为中心。6.如权利要求1所述的方法，检测所述用户的至少一只眼睛正在经历扫视；以及基于所述扫视执行着陆点的预测。7.如权利要求6所述的方法，还包括：跟踪所述用户的至少一只眼睛的运动；基于所述跟踪确定所述运动的速度；在所述速度达到阈值速度时确定所述至少一只眼睛在扫视；以及预测与所述扫视的至少一只眼睛的方向相对应的着陆点。8.如权利要求1所述的方法，还包括：在所述帧周期之前发生的前一帧周期中执行应用程序以生成所述视频帧的场景图元。9.如权利要求1所述的方法，其中所述显示器设置在头戴式显示器内。10.一种存储计算机程序的非暂时性计算机可读介质，所述计算机程序用于执行一种方法，所述计算机可读介质包括：用于生成视频帧的场景的图元的程序指令；用于在帧周期中接收用户的至少一只眼睛的视线跟踪信息的程序指令；用于在所述帧周期中预测与所述至少一只眼睛的注视方向相对应的显示器上的着陆点的程序指令；以及基于所述图元和预测的着陆点在所述帧周期中渲染所述视频帧的程序指令。11.如权利要求10所述的非暂时性计算机可读介质，其中用于渲染所述视频帧的程序指令包括：用于执行一个或多个着色器操作以基于所述图元和预测的着陆点为所述显示器的多
个像素生成像素数据...

【专利技术属性】
技术研发人员：A扬，J费尔南德斯里科，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：