使用一个或更多个神经网络的空间和时间图像混合制造技术

本公开涉及使用一个或更多个神经网络的空间和时间图像混合。提出了用于重建一个或更多个图像的装置、系统和技术。在至少一个实施例中，一个或更多个神经网络被用于至少部分地基于一个或更多个像素的第一颜色的一个或更多个空间变化和/或时间变化来确定一个或更多个像素的一个或更多个第二颜色。个像素的一个或更多个第二颜色。个像素的一个或更多个第二颜色。

【技术实现步骤摘要】
使用一个或更多个神经网络的空间和时间图像混合


[0001]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术来训练神经网络的处理器或计算系统。

技术介绍

[0002]图像和视频内容越来越多地以更高的分辨率并且在更高质量的显示器上生成和显示。生成更高质量内容的方法通常是非常资源密集的，尤其对于现代帧速率，这对于具有有限资源容量的设备可能是有问题的。混合内容和序列中先前帧数据可以帮助通过提供一些时间平滑和帧间像素数据累积改善该内容的质量，但是确定最佳混合权重是有挑战的，并且不适合的混合权重的使用可以产生过于嘈杂或有伪影(例如重影或时间不稳定)的图像。
附图说明
[0003]将参考附图描述根据本公开的各个实施例，其中：
[0004]图1A和1B示出了根据至少一个实施例的可用于生成图像的示例时间和空间变化(variation)；
[0005]图2示出了根据至少一个实施例的示例时间上采样管线；
[0006]图3示出了根据至少一个实施例的用于为序列中的图像混合颜色值的系统；
[0007]图4A、4B和4C示出了根据至少一个实施例的用于生成序列中的图像的过程；
[0008]图5示出了根据至少一个实施例的用于提供图像内容的系统的组件；
[0009]图6A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图6B示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图7示出了根据至少一个实施例的示例数据中心系统；
[0012]图8示出了根据至少一个实施例的计算机系统；
[0013]图9示出了根据至少一个实施例的计算机系统；
[0014]图10示出了根据至少一个实施例的计算机系统；
[0015]图11示出了根据至少一个实施例的计算机系统；
[0016]图12A示出了根据至少一个实施例的计算机系统；
[0017]图12B示出了根据至少一个实施例的计算机系统；
[0018]图12C示出了根据至少一个实施例的计算机系统；
[0019]图12D示出了根据至少一个实施例的计算机系统；
[0020]图12E和图12F示出了根据至少一个实施例的共享编程模型；
[0021]图13示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0022]图14A
‑
14B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0023]图15A
‑
15B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0024]图16示出了根据至少一个实施例的计算机系统；
[0025]图17A示出了根据至少一个实施例的并行处理器；
[0026]图17B示出了根据至少一个实施例的分区单元；
[0027]图17C示出了根据至少一个实施例的处理集群；
[0028]图17D示出了根据至少一个实施例的图形多处理器；
[0029]图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0030]图19示出了根据至少一个实施例的图形处理器；
[0031]图20示出了根据至少一个实施例的处理器的微架构；
[0032]图21示出了根据至少一个实施例的深度学习应用处理器；
[0033]图22示出了根据至少一个实施例的示例神经形态处理器；
[0034]图23和图24示出了根据至少一个实施例的图形处理器的至少部分；
[0035]图25示出了根据至少一个实施例的图形处理器核心的至少部分；
[0036]图26A
‑
26B示出了根据至少一个实施例的图形处理器核心的至少部分；
[0037]图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0038]图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0039]图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0040]图30示出了根据至少一个实施例的流式多处理器；
[0041]图31是根据至少一个实施例的用于高级计算管线的示例数据流程图；
[0042]图32是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；
[0043]图33A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图；以及
[0044]图33B是根据至少一个实施例的用于利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0045]在至少一个实施例中，放大过程，例如基于深度学习的超采样或超分辨率过程，可用于增加一个或更多个图像的分辨率，例如序列或视频流中的图像或视频帧。在至少一个实施例中，这可以包括场景中的一个或更多个对象的表示，例如实况游戏的场景。在至少一个实施例中，渲染引擎可以以第一分辨率输出一个或更多个对象的图像，该第一分辨率将被放大到一个或更多个更高的输出分辨率。在至少一个实施例中，可以以比渲染引擎产生的图像的分辨率更高的分辨率执行实时时间图像重建。在至少一个实施例中，如图1A所示，该过程的时间方面可以涉及混合在当前帧100与序列中的至少一个先前或历史帧110之间的对应点的颜色值。在至少一个实施例中，为了确保这种混合发生在这些帧中的对象上的对应点，可以基于在该历史帧110和该当前帧之间检测到的运动来扭曲这个先前的历史颜色数据，例如可以由从该渲染引擎输出的一组运动矢量指示，或以其他方式确定。在至少一个实施例中，这种扭曲可以确保各种图像的点，例如特征点，各种图像随着时间的推移被跟踪并且对应于用于混合的颜色值，其可以帮助减少回放期间出现的伪影(例如噪声或闪烁)。在至少一个实施例中，并且如本文别处更详细地讨论的，超采样算法可以利用预测混
合因子的神经网络，来确定对当前帧100的当前像素102的颜色值进行加权的量以及来自先前扭曲历史帧的对应历史像素112。在至少一个实施例中，这样的算法还可以利用过滤内核从一组输入中产生新的、更高分辨率的输出图像。在至少一个实施例中，这样的网络的输出图像质量可以至少部分地基于在该输入中可用的信息，因为可以包括诸如当前亮度帧、历史亮度、学习历史和颜色方差(variance)掩码或运动矢量差异缓冲区的信息。在至少一个实施例中，应用程序可以以1080p(全高清)分辨率渲染每像素1样本(spp)锯齿图像，并且该算法可以从该输入图像和由该应用程序提供的任何此类辅助信息序列重建抗锯齿(anti
‑
aliased)2160p(4k)图像。在至少一个实施例中，这样的过程可以扩展到具有其他上采样率的其他分辨率，包括具有同等输入和输出分辨率的纯抗锯齿(antialiasing)的情况。
[0046]在至少一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络来至少部分地基于一个或更多个像素的第一颜色的一个或更多个空间变化来确定所述一个或更多个像素的一个或更多个第二颜色。2.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于至少部分地基于所述一个或更多个像素的所述第一颜色的一个或更多个时间变化来确定所述一个或更多个第二颜色。3.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于至少部分地基于所述一个或更多个像素的一个或更多个深度变化来确定所述一个或更多个第二颜色。4.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于至少部分地基于所述一个或更多个像素的一个或更多个运动矢量变化来确定所述一个或更多个第二颜色。5.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于至少部分地基于所述一个或更多个像素的一个或更多个像素邻域的一个或更多个颜色方差掩码来确定所述一个或更多个第二颜色。6.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于降低作为输入提供给所述一个或更多个神经网络的一个或更多个输入特征的精度。7.一种系统，包括：一个或更多个处理器，用于使用一个或更多个神经网络来至少部分地基于一个或更多个像素的第一颜色的一个或更多个时间变化来确定所述一个或更多个像素的一个或更多个第二颜色。8.如权利要求7所述的系统，其中所述一个或更多个电路进一步用于至少部分地基于所述一个或更多个像素的所述第一颜色的一个或更多个空间变化来确定所述一个或更多个第二颜色。9.如权利要求7所述的系统，其中所述一个或更多个电路进一步用于至少部分地基于所述一个或更多个像素的一个或更多个深度变化来确定所述一个或更多个第二颜色。10.如权利要求7所述的系统，其中所述一个或更多个电路进一步用于至少部分地基于所述一个或更多个像素的一个或更多个运动矢量变化来确定所述一个或更多个第二颜色。11.如权利要求7所述的系统，其中所述一个或更多个电路进一步用于至少部分地基于所述一个或更多个像素的一个或更多个像素邻域的一个或更多个颜色方差掩码来确定所述一个或更多个第二颜色。12.如权利要求7所述的系统，其中所述一个或更多个电路进一步用于在将两种或更多种类型的输入特征作为输入提供给所述一个或更多个神经网络之前，执行所述两种或更多种类型的输入特征的数学组合。13.一种方法，包括：使用一个或更多个神经网络来至少部分地基于一个或更多个像素的第一颜色的一个或更多个空间变化或一个或更多个时间变化来确定所述一个或更多个像素的一个或更多个第二颜色。14.如权利要求13所述的方法，还包括：
至少部分地基于所述一个或更多个像素的一个或更多个深度变化来确定所述一个或更多个第二颜色。15.如权利要求13所述的方法，还包括：至少部分地基于所述一个或更多个像素的一个或更多个像素邻域的一个或更多个颜色方差掩码来确定所述一个或更多个第二颜色。16.如权利要求13所述的方法，还包括：至少部分地基于所述一个或更多个像素的一个或更多个像素邻域的一个或更多个颜色方差掩码来确定所述一个或更多个第二颜色。17.如权利要求13所述的方法，还包括：降低作为输入提...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：辉达公司，
类型：发明
国别省市：