用于增强图形渲染真实感的设备和方法技术

一种用于增强图形渲染真实感的设备和方法。例如，图形处理器的一个实施例包括：图形处理流水线，其包括用于渲染图形图像的多个图形处理级；本地存储设备，其用于存储中间渲染数据以生成所述图形图像；以及机器学习硬件逻辑，其用于使用中间渲染数据的至少一部分对图形图像执行精细化操作以生成经转换的图像。形图像执行精细化操作以生成经转换的图像。形图像执行精细化操作以生成经转换的图像。

【技术实现步骤摘要】
用于增强图形渲染真实感的设备和方法
专利

[0001]本专利技术一般涉及图形处理器领域。更特别地，本专利技术涉及用于增强图形应用的真实感（photorealism）的设备和方法，所述图形应用诸如体积视频应用、云游戏应用、计算机游戏和虚拟现实（VR）应用。

技术介绍

[0002]经由实时渲染引擎（如计算机游戏中使用的实时渲染引擎）渲染的图像缺乏真实照片的真实感外观。离线渲染方法模拟图像形成的物理现象。理论上，可以用精确模拟完美地再现照片。离线渲染方法要求几何形状、材料、照明条件等的物理精确的模型。对这些有用的东西进行建模是费力的，并且模拟在计算上要求高。
[0003]实时渲染引擎近似物理现象，使得可以以高帧率渲染图像。实时渲染技术产生较不逼真的图像，因为对于逼真外观至关重要的效果仅能被近似。
[0004]条件图像合成经由卷积神经网络（CNN）从语义标签图（semantic label map）产生逼真图像。条件图像合成忽略了与场景有关的结构信息（例如，几何形状、光照、材料），这通常导致与原始场景不一致的不足的真实度、幻觉的对象和渲染。最终用作输入的真实情况语义标签图对于真实世界照片的产生是昂贵的。
[0005]域自适应/样式转移方法将一组图像（例如，真实照片）的样式应用于另一组图像（例如，合成图像）。域自适应/样式转换方法遭受与条件图像合成方法相同的缺点。
[0006]视频到视频合成通过加强经转换的图像的时间一致性来扩展条件图像合成。视频到视频合成也继承了条件图像合成的问题。虽然在训练期间加强时间一致性在一定程度上减轻了几何伪影，但是训练仍然要求配对的真实情况。
附图说明
[0007]从结合以下附图的以下详细描述中可以获得对本专利技术的更好理解，其中：图1是具有处理器的计算机系统的实施例的框图，该处理器具有一个或多个处理器核和图形处理器；图2A
‑
D示出了由本专利技术的实施例提供的计算系统和图形处理器；图3A
‑
C示出了附加图形处理器和计算加速器架构的框图；图4是用于图形处理器的图形处理引擎的实施例的框图；图5A
‑
B示出了包括处理元件阵列的线程执行逻辑；图6是包括处理元件阵列的线程执行逻辑的框图；图7示出了根据实施例的图形处理器执行单元指令格式；图8是图形处理器的另一实施例的框图，所述图形处理器包括图形流水线、媒体流水线、显示引擎、线程执行逻辑和渲染输出流水线；图9A是示出根据实施例的图形处理器命令格式的框图；图9B是示出根据实施例的图形处理器命令序列的框图；
图10示出了根据实施例的数据处理系统的示例性图形软件架构；图11A示出了根据实施例的可以用于制造集成电路以执行操作的示例性IP核开发系统；图11B
‑
D示出了包括小芯片和中介层衬底的示例性封装布置；图12示出了根据实施例的可以使用一个或多个IP核来制作的示例性片上系统集成电路；图13示出了可以使用一个或多个IP核来制作的片上系统集成电路的示例性图形处理器；图14示出了可以使用一个或多个IP核来制作的片上系统集成电路的附加示例性图形处理器；图15A示出了图形处理流水线的一个实施例；图15B示出了多遍次渲染（multi
‑
pass rendering）的一个实施例；图16示出了包括机器学习后处理器的本专利技术的一个实施例；图17示出了使用G缓冲器作为对级联精细化网络的辅助输入的一个实施例；图18示出了在级联精细化网络中使用的精细化块的一个实施例；以及图19示出了根据本专利技术一个实施例的方法。
具体实施方式
[0008]在以下描述中，出于解释的目的，阐述众多具体细节以便提供对下面描述的本专利技术的实施例的透彻理解。然而，本领域的技术人员将明白，可以在没有这些具体细节中的一些具体细节的情况下实践本专利技术的实施例。在其他实例中，以框图形式示出公知的结构和装置，以避免混淆本专利技术的实施例的根本原理。
[0009]示例性图形处理器架构和数据类型系统概述图1是根据实施例的处理系统100的框图。系统100可以用于单处理器台式电脑系统、多处理器工作站系统或具有大量处理器102或处理器核107的服务器系统中。在一个实施例中，系统100是并入片上系统（SoC）集成电路内的处理平台，所述片上系统（SoC）集成电路供在移动、手持式或嵌入式装置中（诸如在带有到局域网或广域网的有线或无线连接性的物联网（IoT）装置内）使用。
[0010]在一个实施例中，系统100能够包括以下各项、与以下各项耦合或者被集成在以下各项内：基于服务器的游戏平台；游戏控制台，包括游戏和媒体控制台；移动游戏控制台、手持式游戏控制台或在线游戏控制台。在一些实施例中，系统100是以下各项的一部分：移动电话、智能电话、平板计算装置或移动互联网连接的装置，诸如带有低内部存储容量的膝上型电脑。处理系统100还能够包括以下各项、与以下各项耦合或者被集成在以下各项内：可穿戴装置，诸如智能手表可穿戴装置；智能眼镜或服装，其用增强现实（AR）或虚拟现实（VR）特征来被增强以提供视觉、音频或触觉输出以补充现实世界视觉、音频或触觉体验或者以其他方式提供文本、音频、图形、视频、全息图像或视频、或者触觉反馈；其他增强现实（AR）装置；或者其他虚拟现实（VR）装置。在一些实施例中，处理系统100包括电视或机顶盒装置，或者是电视或机顶盒装置的一部分。在一个实施例中，系统100能够包括以下各项、与以下
各项耦合或者被集成在以下各项内：自动驾驶交通工具，诸如公共汽车、牵引车拖车、汽车、摩托车或电动自行车、飞机或滑翔机（或其任何组合）。自动驾驶交通工具可以使用系统100来处理在交通工具周围感测到的环境。
[0011]在一些实施例中，一个或多个处理器102各自包括一个或多个处理器核107以处理指令，所述指令在被执行时，执行用于系统或用户软件的操作。在一些实施例中，一个或多个处理器核107中的至少一个处理器核被配置成处理特定指令集109。在一些实施例中，指令集109可以促进复杂指令集计算（CISC）、精简指令集计算（RISC）或经由超长指令字（VLIW）的计算。一个或多个处理器核107可以处理不同指令集109，所述指令集109可以包括用来促进对其他指令集的仿真的指令。处理器核107还可以包括其他处理装置，诸如数字信号处理器（DSP）。
[0012]在一些实施例中，处理器102包括高速缓冲存储器104。取决于架构，处理器102能够具有单个内部高速缓存或多个等级的内部高速缓存。在一些实施例中，在处理器102的各种组件之间共享高速缓冲存储器。在一些实施例中，处理器102还使用外部高速缓存（例如，3级（L3）高速缓存或末级高速缓存（LLC））（未示出），其可以在使用已知高速缓存一致性技术的处理器核107之间被共享。寄存器堆106能够另外被包括在处理器102中，并且可以包括用于存储不同类型的数据的不同类型的寄存器（例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器）。一些寄存器可以是通用寄存器，而其他寄存器可以特定于处理器1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图形处理器，包括：图形处理流水线，所述图形处理流水线包括用于渲染图形图像的多个图形处理级；本地存储设备，所述本地存储设备用于存储中间渲染数据以生成所述图形图像；以及机器学习硬件逻辑，所述机器学习硬件逻辑用于使用所述中间渲染数据的至少部分对所述图形图像执行精细化操作以生成经转换的图像。2.如权利要求1所述的图形处理器，其中所述机器学习硬件逻辑包括用于执行所述精细化操作的机器学习网络，所述机器学习网络包括用于生成对应的多个中间残余图像的串联连接的多个中间精细化级，精细化级使用来自所述图形处理流水线的连续较精细分辨率中间图像、来自所述本地存储设备的对应中间渲染数据以及来自先前中间精细化级的中间残余图像来生成下一中间残余图像。3.如权利要求2所述的图形处理器，其中第一中间精细化级要使用最小分辨率的来自所述图形流水线的图像、来自所述本地存储设备的对应中间渲染数据和零初始化的残余图像。4.如权利要求3所述的图形处理器，其中最终精细化级要结合由先前中间精细化级生成的最终中间残余图像来对所述图形图像和所述中间渲染数据的所述部分执行所述精细化操作。5.如权利要求4所述的图形处理器，其中每个中间精细化级基于反馈结合源于来自所述本地存储设备的所述中间渲染数据的结构信息来学习产生对应的中间残余图像。6.如权利要求1至5中任一项所述的图形处理器，其中在通过所述图形流水线的第一遍次中生成所述中间渲染数据，并且其中在通过所述图形流水线的后续遍次中使用所述中间渲染数据来生成所述图形图像。7.如权利要求6所述的图形处理器，其中所述中间渲染数据包括G缓冲器数据。8.如权利要求7所述的图形处理器，其中所述G缓冲器数据包括与所述图形图像的几何形状、材料和/或光照有关的数据。9.一种方法，包括：在包括多个图形处理级的图形处理流水线上渲染图形图像；将中间渲染数据存储在本地存储设备中以生成所述图形图像；以及使用所述中间渲染数据的至少部分对所述图形图像执行包括精细化操作的机器学习操作以生成经转换的图像。10.如权利要求9所述的方法，其中在机器学习网络上执行所述机器学习操作，所述方法还包括：串联执行多个中间精细化操作以生成对应的多个中间残余图像，精细化操作使用来自所述图形处理流水线的连续较精细分辨率中间图像、来自所述本地存储设备的对应中间渲染数据以及来自先前中间精细化操作的中间残余图像来生成下一中间残余图像。11.如权利要求10所述的方法，其中第一中间精细化操作要使用最小分辨率的来自所述图形流水线的图像、来自所述本地存储设备的对应中间渲染数据和零初始化的残余图像。12.如权利要求11所述的方法，其中所述精细化操作包括使用所述中间渲染数据的所述部分结合由先前中间精细化操作生成的最终中间剩余图像的对所述图形图像的最终精
细化操作。13.如权利要求1...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：