利用表示不同种类像素的映射创建图像制造技术

公开了一种方法、计算机可读介质和系统，用于利用表示场景内不同种类的特定像素的映射来创建图像。一个或更多个计算系统使用该映射来创建初步图像。然后将该初步图像与用于创建映射的原始图像进行比较。确定初步图像是否与原始图像匹配，并且确定结果用于调整创建初步图像的计算系统，这改善了这种计算系统的性能。然后，调整后的计算系统用于基于表示场景内特定像素的各种对象种类的不同输入映射来创建图像。

Creating images using mappings representing different kinds of pixels

【技术实现步骤摘要】
利用表示不同种类像素的映射创建图像要求优先权本申请要求2017年11月15日提交的标题为“利用条件GAN的高分辨率图像合成与语义操纵(High-ResolutionImageSynthesisandSemanticManipulationwithConditionalGANs)”的美国临时申请No.62/586,743的权益，其全部内容通过引用并入本文。
本专利技术涉及图像渲染，并且更具体地，涉及利用语义表示来渲染图像。
技术介绍
使用标准图形技术渲染照片般逼真的图像可能是一个复杂的过程，因为几何形状、材料和光传输是明确模拟的。此外，构建和编辑虚拟环境既昂贵又耗时，因为虚拟世界的每个部分都需要明确建模。结果，期望使用从数据学习的模型来渲染照片般逼真的图像，这可以将渲染图形的过程转换为模型学习和推理问题。因此需要解决与现有技术相关的这些问题和/或其他问题。附图说明图1示出了根据实施例的利用表示不同种类像素的映射来创建图像的方法的流程图。图2示出了根据实施例的并行处理单元。图3A示出了根据实施例的图2的并行处理单元内的通用处理集群。图3B示出了根据实施例的图2的并行处理单元的存储器分区单元。图4A示出了根据实施例的图3A的流式多处理器。图4B是根据实施例的使用图2的PPU实现的处理系统的概念图。图4C示出了可以实现各种先前实施例的各种架构和/或功能的示例性系统。图5是根据实施例的由图2的PPU实现的图形处理管线的概念图。图6示出了根据实施例的生成器的示例性网络架构。图7示出了根据实施例的示例性训练编码器架构。图8示出了根据实施例的用于训练粗到精生成器的方法的流程图。图9示出了根据实施例的用于实现经训练的粗到精生成器的方法的流程图。图10示出了根据实施例的用于利用实例特征映射来精化输出的方法的流程图。图11示出了根据实施例的用于至少部分地基于图像的第一数字表示的语义表示来训练机器学习模型的方法的流程图。图12示出了根据实施例的用于至少部分地基于图像的第一数字表示的语义表示来训练机器学习模型的方法的流程图。图13示出了根据实施例的示例性机器学习模型。图14示出了根据实施例的用于使用经训练的生成器架构的方法的流程图。具体实施方式图1示出了根据实施例的用于利用表示像素的对象种类的映射来创建图像的方法100的流程图。尽管在处理单元的上下文中描述了方法100，但是方法100还可以由程序、定制电路或定制电路和程序的组合来执行。在一个实施例中，方法100可以由GPU(图形处理单元)、CPU(中央处理单元)或能够通过散列执行并行路径空间滤波的任何处理器来执行。此外，本领域普通技术人员将理解，执行方法100的任何系统都在本专利技术的实施例的范围和精神内。如操作102所示，利用语义表示，由生成器创建图像。在一个实施例中，语义表示可以包括语义标签映射、边缘映射、深度映射、关系映射(例如，图像内的对象对之间的关系映射)等。在一个实施例中，语义标签映射可以包括图像的表示，其中图像的每个像素表示像素所属的对象种类。在一个实施例中，对象种类可以各自包括图像内的元素，例如人、车辆、天空、道路等。另外，在一个实施例中，生成器可包括粗到精生成器。在一个实施例中，粗到精生成器可以包括彼此分离的多个神经网络，其互相协作以创建图像。在一个实施例中，粗到精生成器内的第一神经网络可以包括粗略神经网络。在一个实施例中，粗略神经网络可以将语义表示作为输入，并且可以输出具有第一分辨率的第一图像。在一个实施例中，粗略神经网络可以包括在具有第一分辨率的图像上训练的残余网络。此外，在一个实施例中，粗到精生成器内的第二神经网络可以包括精细神经网络。在一个实施例中，精细神经网络可以将语义表示和具有第一分辨率的第一图像作为输入，并且可以输出具有大于第一分辨率的第二分辨率的第二图像作为输出。在一个实施例中，精细神经网络中的残余块的输入可以包括精细神经网络的特征映射和来自粗略神经网络的输出特征映射的逐个元素之和。在一个实施例中，输入还可以包括从粗略神经网络输出的全局信息。在一个实施例中，精细神经网络可以包括在具有大于第一分辨率的第二分辨率的图像上训练的最终网络。此外，在一个实施例中，粗到精生成器的输出可以包括由精细神经网络输出的图像。以这种方式，与单个神经网络方法相比，粗略神经网络可以与精细神经网络一起工作以创建具有更高分辨率的图像。此外，在一个实施例中，可以在训练过程期间执行创建(例如，使用条件对抗网络对生成器进行训练等)。在一个实施例中，生成器还可以使用实例特征映射来创建图像。在一个实施例中，单独的神经网络(例如，特征编码器网络等)可以接收语义表示所基于的原始图像作为输入，并且可以基于原始图像创建实例特征映射。在一个实施例中，实例特征映射可以与语义表示一起用作生成器的输入。在一个实施例中，实例特征映射可以与语义表示连结作为生成器的输入。以这种方式，生成器可以利用实例特征映射来细化所创建的图像。另外，在一个实施例中，实例特征映射可用于控制所创建图像的样式(例如，通过指定所创建图像的一个或更多个分量的颜色和/或纹理等)。在一个实施例中，特征编码器网络可以使用逐个实例的平均池化来确保在实例特征映射内的特征是统一的。以这种方式，所创建的图像中的所有类似特征可以是相同的(例如，相同颜色的草、相同类型的道路等)。此外，如操作104所示，鉴别器分析图像以创建反馈。在一个实施例中，鉴别器可以通过将由生成器创建的图像与语义表示所基于的原始图像进行比较来分析图像。在一个实施例中，可以通过分析原始图像来创建语义表示。在一个实施例中，由鉴别器创建的反馈可以包括关于由生成器创建的图像是否与原始图像匹配的指示。在一个实施例中，反馈可以包括一个比特(例如，其中1可以指示匹配成功，0可以指示匹配失败等)。此外，在一个实施例中，鉴别器可包括多个多尺度鉴别器。在一个实施例中，多个多尺度鉴别器中的每一个可以包括与其他多尺度鉴别器分开的神经网络。在一个实施例中，可以多次对图像进行下采样以创建多个下采样图像。在一个实施例中，可以通过第一因子第一次对图像进行下采样，以创建具有小于图像分辨率的第一分辨率的第一下采样图像。在一个实施例中，可以通过大于第一因子的第二因子第二次对图像进行下采样，以创建具有小于第一分辨率和图像分辨率的第二分辨率的第二下采样图像。此外，在一个实施例中，多个多尺度鉴别器中的每一个可以以不同于其他鉴别器的图像尺度操作，并且可以分析多个下采样图像中的一个。在一个实施例中，第一鉴别器可以分析图像(例如，通过将其与原始图像进行比较)。在一个实施例中，以小于第一鉴别器的图像尺度操作的第二鉴别器可以分析第一下采样图像(例如，通过将其与具有比原始图像更低分辨率的原始图像的第一下采样版本进行比较等)。在一个实施例中，以小于第二鉴别器的图像尺度操作的第三鉴别器可以分析第二下采样图像(例如，通过将其与具有比第一下采样版本更低分辨率的原始图像的第二下采样版本进行比较等)。另外，在一个实施例中，多个多尺度鉴别器中的每一个可以提供反馈(例如，关于所比较的图像是否匹配的指示等)。以这种方式，多个多尺度鉴别器可以一起工作以向生成器提供更准确的反馈。在一个实施例中，鉴别器可以从由生成器创建的图像以及语义表示所基于的本文档来自技高网...

【技术保护点】
1.一种方法，包括：至少部分地基于图像的第一数字表示的语义表示来训练机器学习模型，其中训练所述机器学习模型包括：仅使用所述图像的所述第一数字表示的所述语义表示来训练粗略神经网络，以生成所述图像的粗略数字表示，所述粗略数字表示的分辨率小于所述图像的所述第一数字表示的分辨率；使用所述图像的所述第一数字表示的所述语义表示和所述图像的所述粗略数字表示来训练精细神经网络，以生成所述图像的精细数字表示，所述精细数字表示的分辨率大于所述图像的所述粗略数字表示的分辨率；将所述图像的所述精细数字表示与所述图像的所述第一数字表示进行比较；以及调整与所述粗略神经网络和所述精细神经网络中的一个或两个的一个或更多个节点相关联的权重值，以最小化所述图像的所述第一数字表示与所述图像的所述精细数字表示之间的差异。

【技术特征摘要】
2017.11.15 US 62/586,743;2018.11.13 US 16/188,9201.一种方法，包括：至少部分地基于图像的第一数字表示的语义表示来训练机器学习模型，其中训练所述机器学习模型包括：仅使用所述图像的所述第一数字表示的所述语义表示来训练粗略神经网络，以生成所述图像的粗略数字表示，所述粗略数字表示的分辨率小于所述图像的所述第一数字表示的分辨率；使用所述图像的所述第一数字表示的所述语义表示和所述图像的所述粗略数字表示来训练精细神经网络，以生成所述图像的精细数字表示，所述精细数字表示的分辨率大于所述图像的所述粗略数字表示的分辨率；将所述图像的所述精细数字表示与所述图像的所述第一数字表示进行比较；以及调整与所述粗略神经网络和所述精细神经网络中的一个或两个的一个或更多个节点相关联的权重值，以最小化所述图像的所述第一数字表示与所述图像的所述精细数字表示之间的差异。2.如权利要求1所述的方法，其中，所述图像的所述第一数字表示的所述语义表示包括所述图像的所述第一数字表示的语义标签映射。3.如权利要求1所述的方法，其中，所述图像的所述第一数字表示的所述语义表示包括所述图像的所述第一数字表示的边缘映射。4.如权利要求1所述的方法，其中，所述图像的所述第一数字表示的所述语义表示包括所述图像的所述第一数字表示的关系映射。5.如权利要求1所述的方法，还包括利用所述图像的所述精细数字表示生成所述图像的下采样精细数字表示，所述下采样精细数字表示的分辨率小于所述图像的所述精细数字表示的分辨率。6.如权利要求5所述的方法，还包括利用所述图像的所述第一数字表示生成所述图像的下采样第一数字表示，所述下采样第一数字表示的分辨率小于所述图像的所述第一数字表示的分辨率。7.如权利要求6所述的方法，还包括将所述图像的所述下采样精细数字表示与所述图像的所述下采样第一数字表示进行比较。8.如权利要求7所述的方法，还包括调整与所述粗略神经网络和所述精细神经网络中的一个或两个的一个或更多个节点相关联的权重值，以最小化所述图像的所述下采样精细数字表示与所述图像的所述下采样第一数字表示之间的差异。9.如权利要求1所述的方法，还包括：利用所述图像的所述精细数字表示生成所述图像的多个下采样精细数字表示，所述下采样精细数字表示的分辨率小于所述图像的所述精细数字表示的分辨率；利用所述图像的所述第一数字表示生成所述图像的多个下采样第一数字表示，所述下采样第一数字表示的分辨率小于图像的所述第一数字表示的分辨率；由多个神经网络将所述图像的所述精细数字表示和所述图像的所述下采样精细数字表示与所述图像的所述第一数字表示和所述图像的所述下采样第一数字表示进行比较，其中所述多个神经网络中的每一个神经网络以不同于其他神经网络的分辨率操作；以及调整与所述粗略神经网络和所述精细神经网络中的一个或两个的一个或更多个节点相关联的权重值，以最小化所述图像的所述精细数字表示和所述图像的所述下采样精细数字表示与所述图像的所述第一数字表示和所述图像的所述下采样第一数字表示之间的差异。10.如权利要求1所述的方法，还包括利用所述图像的所述精细数...

【专利技术属性】
技术研发人员：王鼎鈞，刘洺堉，B·C·卡坦扎罗，J·考茨，A·J·陶，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国,US