使用一个或更多个神经网络对图像进行上采样制造技术

提出了用于生成图像的装置、系统和技术。在至少一个实施例中，一个或更多个神经网络用于使用至少部分地基于一个或更多个子像素偏移值所确定的一个或更多个像素权重来生成一个或更多个图像。。。

【技术实现步骤摘要】
【国外来华专利技术】使用一个或更多个神经网络对图像进行上采样
[0001]相关申请的交叉引用
[0002]这是2020年10月8日提交的美国专利申请第17/066,282号的PCT申请。该申请的公开内容出于所有目的通过引用整体并入本文。


[0003]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术来训练神经网络的处理器或计算系统。

技术介绍

[0004]图像和视频内容越来越多地以更高的分辨率并且在更高质量的显示器上生成和显示。以这些更高分辨率生成该内容的方法通常是非常资源密集的，这对于具有有限资源容量的设备可能是有问题的。此外，通常需要以目标或最小帧速率显示视频内容，并且可能难以以这种帧速率生成该高分辨率内容。通常，所得内容的质量受这些和其他限制约束。
附图说明
[0005]将参考附图描述根据本公开的各个实施例，其中：
[0006]图1示出了根据至少一个实施例的图像生成系统；
[0007]图2A和图2B示出了根据至少一个实施例的子像素采样和对应的像素选择；
[0008]图3示出了根据至少一个实施例的用于生成序列中的图像的过程；
[0009]图4示出了根据至少一个实施例的用于确定像素权重的过程；
[0010]图5示出了根据至少一个实施例的用于提供所生成的图像内容的系统的组件；
[0011]图6A示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图6B示出了根据至少一个实施例的推理和/或训练逻辑；
[0013]图7示出了根据至少一个实施例的示例数据中心系统；
[0014]图8示出了根据至少一个实施例的计算机系统；
[0015]图9示出了根据至少一个实施例的计算机系统；
[0016]图10示出了根据至少一个实施例的计算机系统；
[0017]图11示出了根据至少一个实施例的计算机系统；
[0018]图12A示出了根据至少一个实施例的计算机系统；
[0019]图12B示出了根据至少一个实施例的计算机系统；
[0020]图12C示出了根据至少一个实施例的计算机系统；
[0021]图12D示出了根据至少一个实施例的计算机系统；
[0022]图12E和图12F示出了根据至少一个实施例的共享编程模型；
[0023]图13示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0024]图14A
‑
14B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0025]图15A
‑
15B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0026]图16示出了根据至少一个实施例的计算机系统；
[0027]图17A示出了根据至少一个实施例的并行处理器；
[0028]图17B示出了根据至少一个实施例的分区单元；
[0029]图17C示出了根据至少一个实施例的处理集群；
[0030]图17D示出了根据至少一个实施例的图形多处理器；
[0031]图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0032]图19示出了根据至少一个实施例的图形处理器；
[0033]图20示出了根据至少一个实施例的处理器的微架构；
[0034]图21示出了根据至少一个实施例的深度学习应用处理器；
[0035]图22示出了根据至少一个实施例的示例神经形态处理器；
[0036]图23和图24示出了根据至少一个实施例的图形处理器的至少部分；
[0037]图25示出了根据至少一个实施例的图形处理器核心的至少部分；
[0038]图26A
‑
26B示出了根据至少一个实施例的图形处理器核心的至少部分；
[0039]图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0040]图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0041]图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0042]图30示出了根据至少一个实施例的流式多处理器；
[0043]图31是根据至少一个实施例的用于高级计算管线的示例数据流程图；
[0044]图32是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；
[0045]图33A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图；以及
[0046]图33B是根据至少一个实施例的用于利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0047]在至少一个实施例中，可以使用渲染器102、渲染引擎或其他此类内容生成器生成内容(如视频游戏内容或动画)。在至少一个实施例中，渲染器102可以接收用于序列的一个或更多个帧的输入，并且可以使用至少部分地基于该输入修改的存储的内容104来生成视频的图像或帧。在至少一个实施例中，该渲染器102可以是渲染管线的一部分，诸如由Epic Games公司的Unal Engine 4提供的渲染管线，该渲染管线可以提供诸如延迟着色、全局照明、照明半透明、后处理、以及使用向量场的图形处理单元(GPU)粒子模拟之类的功能。在至少一个实施例中，全高分辨率图像的这种复杂渲染所必需的处理量可能使得难以渲染这些视频帧以满足当前帧速率，诸如至少六十帧每秒(fps)。在至少一个实施例中，渲染器102可以替代地用于生成分辨率低于一个或更多个最终输出分辨率的渲染的图像106，以便满足时序要求并减少处理资源要求。在至少一个实施例中，此低分辨率渲染的图像106可随后使用放大器(upscaler)108来处理，以生成以等于(或至少更接近于)目标输出分辨率的分辨率表示低分辨率渲染的图像106的内容的放大的(upscaled)图像110。
[0048]在至少一个实施例中，放大器系统108(其可以采取服务、系统、模块或设备的形式)可以用于放大视频或动画序列的各个帧。在至少一个实施例中，要执行的放大的量可以取决于渲染的图像的初始分辨率和显示器的目标分辨率，诸如从1080p到4k分辨率。在至少一个实施例中，附加处理可作为上采样过程的一部分而被执行，如可包括抗锯齿和时间平滑。在至少一个实施例中，可以利用任何适当的重建滤波器，诸如利用高斯滤波器的重建滤波器。在至少一个实施例中，上采样过程考虑了可以在每帧基础上应用的子像素抖动。
[0049]在至少一个实施例中，可以使用深度学习来推理序列中的这些经上采样的视频帧。在至少一个实施例中，可以替代地使用可以利用或可以不利用机器学习的超级采样算法。在至少一个实施例中，可以使用组合抗锯齿和超分辨率的时间重建算法，其以组合的方式提供初始抗锯齿和上采样。在至少一个实施例中，可以使本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络至少部分地基于一个或更多个子像素偏移值确定一个或更多个像素权重。2.根据权利要求1所述的处理器，其中所述子像素偏移值是根据抖动感知上采样过程确定的，所述抖动感知上采样过程用于对一个或更多个渲染的图像进行上采样，以便生成一个或更多个上采样图像，针对所述一个或更多个上采样图像的所述一个或更多个像素权重将被确定。3.根据权利要求2所述的处理器，其中所述一个或更多个渲染的图像与图像序列相对应，并且其中所述一个或更多个像素权重要被用于执行所述一个或更多个上采样图像的像素值与所述图像序列中的一个或更多个先前的上采样图像的像素值的加权混合。4.根据权利要求3所述的处理器，其中所述一个或更多个像素权重包括第一像素权重，所述第一像素权重用于所述一个或更多个上采样图像的像素值与一个或更多个先前的上采样图像的像素值的第一混合，以生成一个或更多个中间图像表示，其中所述第一混合仅应用于与所述一个或更多个渲染的图像中的使用所述一个或更多个子像素偏移所确定的样本位置相对应的像素的所述一个或更多个上采样图像的像素值。5.根据权利要求4所述的处理器，其中所述一个或更多个像素权重包括第二像素权重，所述第二像素权重用于所述一个或更多个上采样图像的所有像素值与所述一个或更多个中间图像表示的像素值的第二混合，以生成所述序列中的一个或更多个输出图像。6.根据权利要求5所述的处理器，其中所述第一像素权重和所述第二像素权重由所述一个或更多个神经网络确定，并且其中所述第一像素权重高于所述第二像素权重。7.一种系统，包括：一个或更多个处理器，用于使用一个或更多个神经网络至少部分地基于一个或更多个子像素偏移值确定一个或更多个像素权重。8.根据权利要求7所述的系统，其中所述子像素偏移值是根据抖动感知上采样过程确定的，所述抖动感知上采样过程用于对一个或更多个渲染的图像进行上采样，以便生成一个或更多个上采样图像，针对所述一个或更多个上采样图像的所述一个或更多个像素权重将被确定。9.根据权利要求8所述的系统，其中所述一个或更多个渲染的图像与图像序列相对应，并且其中所述一个或更多个像素权重要被用于执行所述一个或更多个上采样图像的像素值与所述图像序列中的一个或更多个先前的上采样图像的像素值的加权混合。10.根据权利要求9所述的系统，其中所述一个或更多个像素权重包括第一像素权重，所述第一像素权重用于所述一个或更多个上采样图像的像素值与一个或更多个先前的上采样图像的像素值的第一混合，以生成一个或更多个中间图像表示，其中所述第一混合仅应用于与所述一个或更多个渲染的图像中的如使用所述一个或更多个子像素偏移所确定的样本位置相对应的像素的所述一个或更多个上采样图像的像素值。11.根据权利要求10所述的系统，其中所述一个或更多个像素权重包括第二像素权重，所述第二像素权重用于所述一个或更多个上采样图像的所有像素值与所述一个或更多个中间图像表示的像素值的第二混合，以生成所述序列中的一个或更多个输出图像。12.根据权利要求11所述的系统，其中所述第一像素权重和所述第二像素权重由所述
一个或更多个神经网络确定，并且其中所述第一像素权重高于所述第二像素权重。13.一种方法，包括：使用一个或更多个神经网络至少部分地基于一个或更多个子像素偏移值确定一个或更多个像素权重。14.根据权利要求13所述的方法，其中所述子像素偏移值是根据抖动感知上采样过程确定的，所述抖动感知上采样过程用于对一个或更多个渲染的图像进行上采样，以便生成一个或更多个上采样图像，针对所述一个或更多个上采样图像的所述一个或更多个像素权重将被确定。15.根据权利要求14所述的方法，其中所述一个或更多个渲染的图像与图像序列相对应，并且其中所述一个或更多个像素权重要被用于执行所述一个或更多个上采样图像的像素值与所述图像序列中的一个或更多个先前的上采样图像的像素值的加权混合。16.根据权利要求15所述的方法，其中所述一个或更多个像素权重包括第一像素权重，所述第一像素权重用于所述一个或更多个上采样图像的像素值与一个或更多个先前的上采样图像的像素值的第一混合，以生成一个或更多个中间图像...

【专利技术属性】
技术研发人员：刘实秋，R，
申请(专利权)人：辉达公司，
类型：发明
国别省市：