带有编码器反馈的图形渲染制造技术

反馈处理模块[200]包括被配置为存储从编码器[125]接收的反馈[205]的存储器[220]。该反馈包括与由图形引擎[105]生成的经编码的图形内容相关联的参数。反馈处理模块还包括处理器[215]，该处理器被配置为基于该反馈生成用于图形引擎的配置信息。所述图形引擎被配置为基于所述配置信息执行工作负荷。在一些情况下，所述反馈处理模块还被配置为接收来自用于对由所述编码器编码的所述图形内容进行解码的解码器的反馈，并且基于从所述解码器接收的所述反馈来生成所述配置信息。所述反馈来生成所述配置信息。所述反馈来生成所述配置信息。

【技术实现步骤摘要】
【国外来华专利技术】带有编码器反馈的图形渲染

技术介绍

[0001]云服务(诸如云游戏和虚拟桌面应用程序)用于执行计算密集型任务，诸如执行游戏逻辑和渲染高分辨率三维(3D)图形。将计算密集型任务转移到云服务器可以使此类应用程序向缺乏执行完整应用程序所需的计算能力的智能手机、平板电脑和其他瘦装置提供服务。例如，在云服务器上实现的云游戏应用程序从客户端接收控制输入。云游戏应用程序使用控制输入来生成或修改表示游戏世界的3D场景。图形引擎渲染场景，并且对渲染的场景进行编码，以从云服务器传输到客户端装置，客户端装置接收并解码编码后的视频帧，以呈现在客户端装置的屏幕上。因此，客户端不使用直接从图形引擎接收的图形内容。相反，客户端使用已经在云服务器处被编码(例如，作为压缩的比特流)并且然后在客户端处被解码(例如，通过对压缩的比特流进行解压缩)的图形内容。因此，在云服务器处实现的编码器至少部分地确定在客户端装置的屏幕上显示的图像的质量。
附图说明
[0002]通过参考附图，本领域技术人员可更好地理解本公开并且明白其众多特征和优势。在不同附图中使用相同的附图标记表示类似或等同的项。
[0003]图1是根据一些实施方案的图形处理系统的框图。
[0004]图2是根据一些实施方案的反馈处理模块的框图。
[0005]图3是根据一些实施方案的由图形引擎生成并被编码用于通过网络进行传输的图像的示例。
[0006]图4是根据一些实施方案的基于从编码器接收的反馈来配置图形引擎的方法的流程图，该编码器对由图形引擎产生的图形内容进行编码。
具体实施方式
[0007]云服务器集成了视频编码器来压缩数据以通过将云服务器连接到客户端装置的网络进行传输。视频压缩通常基于二维(2D)视频编解码器或多视图视频编解码器(MVC)(诸如但不限于H.264/MVC、H.265(HEVC)、VP8、VP9和AV1)执行。在一些情况下，图形引擎提供其他信息来辅助视频编码器。例如，图形引擎向视频编码器提供深度信息，视频编码器使用该信息来定位图像中的感兴趣区域(ROI)。然后，编码器分配其他位，以对图像的在ROI中的部分进行编码。对于另一个示例，图形引擎提供图形上下文以辅助视频图像的压缩。在一些情况下，响应于改变网络状况(包括带宽、往返时间、抖动等的变化)而修改诸如编码帧速率或量化的编码参数。但是，由于常规的云服务器不包括用于将信息从编码器传送回图形引擎的通道，因此图形引擎仍未意识到在编码器处执行的调整。缺少反馈导致编码后的比特流的视觉质量降低以及图形引擎处的不必要计算。例如，图形引擎启用了全套3D效果来渲染高度纹理化的内容，但是在一些情况下，编码器约束阻止了编码器以图形引擎产生的质量级别传递图形内容，这降低了用户体验。
[0008]图1-图4公开了用于从编码器向反馈处理模块提供反馈以提高云服务器中的图形
处理效率，同时节省带宽并保持客户端装置上的用户体验质量的设备、系统和方法。反馈处理模块生成用于配置图形引擎的信息，该图形引擎向编码器提供图形内容。在一些实施方案中，由编码器提供的反馈包括诸如图形内容中的不同区域的比特率成本、可用带宽、图形内容中的差异、图形内容中的运动活动、图形内容中的场景变化的检测、量化强度、空间差异、预测模式、客观质量度量等信息。该反馈还可以包括与在编码之前对图形内容的预处理或在对经编码的图形内容进行解码之后在接收器处进行的后处理相关联的信息。例如，预处理或后处理信息包括快速傅立叶变换(FFT)参数、离散余弦变换(DCT)参数、直方图、边缘检测结果、文本检测结果等。反馈处理模块的一些实施方案还从解码器接收反馈，该解码器用于解码经编码的图形内容。反馈处理模块使用现场可编程门阵列(FPGA)、中央处理单元(CPU)、图形处理单元(GPU)、固定功能硬件块或其他处理单元实现。反馈处理模块使用应用程序提供的指令、经验生成的查找表、闭环控制方法、机器学习、神经网络、回归建模等来生成配置信息。
[0009]反馈处理模块将配置信息提供给图形引擎，图形引擎基于该配置信息修改渲染设置或其他选项。例如，反馈处理模块将图片的不同区域的比特率成本用于生成配置信息，该配置信息指示图形引擎应关闭图片的具有较高比特率成本的部分中的3D效果。又例如，反馈处理模块响应于接收到指示带宽不足以支持高质量3D渲染效果的编码器量化的反馈信息，指示图形引擎关闭一些3D渲染效果。又例如，反馈处理模块响应于指示编码器能够在预定帧边界上改变其帧速率以减小编码比特流的带宽的反馈信息，指示图形引擎修改渲染帧速率。又例如，反馈处理模块基于来自编码器的反馈中接收的编码器统计信息，指示图形引擎以较低的图像分辨率渲染图形内容。
[0010]图1是根据一些实施方案的图形处理系统100的框图。图形处理系统100包括图形引擎105。图形引擎105的一些实施方案使用图形处理单元(GPU)来实现，该图形处理单元(GPU)包括用于独立地或同时地处理指令线程的多个处理元件(为了清楚起见未示出)。例如，使用根据单指令多数据(SIMD)协议进行操作的GPU来实现图形引擎105。图形引擎105被配置为执行诸如执行应用程序逻辑(例如，用于控制游戏应用程序的逻辑)和渲染高分辨率三维(3D)图形的任务。图形引擎105生成用于在显示器110上呈现场景、图像或帧的图形内容。
[0011]图形引擎105执行工作负荷以生成图形内容，该图形内容经由网络115被提供给显示器110。在所示的实施方案中，图形引擎105被实现在经由网络115与显示器110通信的云服务器120上。因此，使用在云服务器120的一些实施方案中实现的编码器125，对图形内容进行编码以便通过网络115进行传输。为了至少部分地保存网络115内的带宽，编码器125压缩从图形引擎105接收的图形内容。编码器125的一些实施方案使用诸如但不限于H.264/MVC、H.265(HEVC)、VP8、VP9、AV1的二维(2D)视频编解码器或多视图视频编解码器(MVC)来压缩图形内容。解码器130经由网络115从编码器125接收经编码的图形内容，并且对经编码的图形内容进行解码。然后将解码的图形内容提供给显示器110以呈现给用户。尽管所示实施方案描绘了经由网络115向显示器110提供内容的云服务器120，但是本文公开的技术的一些实施方案同样适用于其他图形处理系统，其中图形引擎105通过需要对图形内容进行编码和解码的有线或无线网络与显示器110分开。
[0012]如本文中所讨论的，从编码器125到图形引擎105的反馈的缺乏导致编码比特流的
较低的视觉质量和图形引擎105处的不必要计算。因此，云服务器120包括反馈处理器135，以从编码器125接收反馈140，并将配置信息提供给图形引擎105。因此，反馈处理器135提供用于将信息从编码器125传回到图形引擎105的通道，使得图形引擎105意识到在编码器125处执行的调整。反馈处理器135的一些实施方案接收反馈140，该反馈包括与由图形引擎105生成的经编码的图形内容相关联的参数。反馈处理器135被配置为基于反馈1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备，其包括：存储器[220]，所述存储器被配置为存储从编码器[125]接收的反馈[205]，其中所述反馈包括与编码由图形引擎[105]生成的图形内容相关联的参数；和处理器[215]，所述处理器被配置为基于所述反馈生成用于所述图形引擎的配置信息，其中所述图形引擎被配置为基于所述配置信息执行工作负荷。2.根据权利要求1所述的设备，其中所述反馈包括针对所述图形内容中的区域的运动信息、量化强度、空间差异、预测模式、比特率成本和客观质量度量中的至少一者。3.根据权利要求1所述的设备，其中所述反馈包括指示检测到所述图形内容中的场景变化的信息。4.根据权利要求1所述的设备，其中所述反馈包括与在编码之前对所述图形内容的预处理或在对所述编码的图形内容进行解码之后在接收器处进行的后处理相关联的信息中的至少一者。5.根据权利要求4所述的设备，其中与预处理或后处理相关联的所述信息包括快速傅立叶变换(FFT)参数、离散余弦变换(DCT)参数、直方图、边缘检测结果和文本检测结果中的至少一者。6.根据权利要求1所述的设备，其中所述存储器被配置为存储从解码器[130]接收的反馈，所述解码器用于对由所述编码器编码的所述图形内容进行解码，并且其中所述处理器被配置为基于从所述解码器接收的反馈[210]来生成所述配置信息。7.根据权利要求1所述的设备，其中所述处理器被配置为基于以下中的至少一者来生成所述配置信息：由产生所述图形内容的应用程序提供的指令；经验生成的查找表；闭环控制过程；机器学习；神经网络；和回归建模。8.根据权利要求1所述的设备，其中通过基于所述配置信息来修改所述图形引擎的渲染设置来配置所述图形引擎。9.根据权利要求8所述的设备，其中修改所述渲染设置包括修改所述渲染设置以配置所述图形引擎以执行以下中的至少一者：基于在所述编码器处对所述图形内容的多个区域进行编码的比特率成本，在所述多个区域中的至少一个区域中禁用至少一个图形效果；响应于指示带宽不足以支持所述至少一个图形效果的编码器量化的反馈，在所述图形内容的所述多个区域中的至少一个区域中禁用所述至少一个图形效果；响应于指示所述编码器能够在预定的帧边界上改变其帧速率以减小表示所述图形内容的编码比特流的带宽的反馈来修改渲染帧速率；以及基于所述反馈中接收的编码器统计信息，降低用于渲染所述图形内容的图像分辨率。10.一种方法，其包括：在反馈处理模块[200]处接收来自编码器[125]的反馈[205]，其中所述反馈包括与编码由图形引擎[105]生成的图形内容相关联的参数；将所述反馈存储在所述反馈处理模块处；在所述反馈处理模块处基于所述反馈生成用于所述图形引擎的配置信息；使用所述配置信息配置所述图形引擎；以及在所述图形引擎处执行至少一个工作负荷。
11.根据权利要求10所述的方法，其中接收所述反馈包括接收针对所述图形内容中的区域的运动信息、量化强度、空间差异、预测模式、比特率成本和客观质量度量中的至少一者。12.根据权利要求10所述的方法，其中接收所述反馈包括接收指示检测到所述图形内容中的场景变化的信息。13.根据权利要求12所述的方法，其中接收所述反馈包括接收与在编码之前对所述图形内容的预处理或在对...

【专利技术属性】
技术研发人员：刘杨，伊哈卜，
申请(专利权)人：ATI科技无限责任公司，
类型：发明
国别省市：