使用神经网络来扩展图像的技术制造技术

本发明专利技术公开了使用神经网络来扩展图像的技术，具体公开了用于使用卷积神经网络从图像中的小输入纹理进行纹理合成的装置、系统和技术。在至少一个实施例中，根据本文描述的各种新颖技术，一个或更多个卷积层与一个或更多个转置卷积运算结合使用，以从小输入纹理图像生成大纹理化输出图像，同时保留全局特征和纹理。理。理。

【技术实现步骤摘要】
使用神经网络来扩展图像的技术


[0001]至少一个实施例涉及用于使用卷积神经网络从输入图像执行纹理合成的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术使用转置卷积神经网络从小输入图像生成大输出图像的处理器或计算系统。

技术介绍

[0002]纹理合成是在给定小示例输入的情况下生成大图像输出的问题，使得所述小示例输入中的视觉特征和结构在输出大图像中局部地和全局地都保留。现有方法在逐像素粒度上执行合成，其需要大量计算和存储器资源，且通常无法产生保留视觉特征和结构两者的较大输出纹理。
附图说明
[0003]图1是根据至少一个实施例的示出用于训练和推理以执行纹理合成的架构的框图；
[0004]图2是根据至少一个实施例的示出生成式对抗网络(GAN)的框图；
[0005]图3是根据至少一个实施例的示出用于执行纹理合成的生成器的框图；
[0006]图4是根据至少一个实施例的示出用于执行纹理合成的生成器的组件的框图；
[0007]图5是根据至少一个实施例的示出自相似性映射的框图；
[0008]图6是根据至少一个实施例的示出转置卷积块的框图；
[0009]图7示出了根据至少一个实施例的使用本文描述的新颖技术执行纹理合成的过程；
[0010]图8A示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图8B示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图9示出了根据至少一个实施例的神经网络的训练和部署；
[0013]图10示出了根据至少一个实施例的示例数据中心系统；
[0014]图11A示出了根据至少一个实施例的自主车辆的示例；
[0015]图11B示出了根据至少一个实施例的图11A的自主车辆的相机位置和视野的示例；
[0016]图11C是根据至少一个实施例的示出图11A的自主车辆的示例系统架构的框图；
[0017]图11D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图11A的自主车辆之间进行通信的系统的图；
[0018]图12是根据至少一个实施例的示出计算机系统的框图；
[0019]图13是根据至少一个实施例的示出计算机系统的框图；
[0020]图14示出了根据至少一个实施例的计算机系统；
[0021]图15示出了根据至少一个实施例的计算机系统；
[0022]图16A示出了根据至少一个实施例的计算机系统；
[0023]图16B示出了根据至少一个实施例的计算机系统；
[0024]图16C示出了根据至少一个实施例的计算机系统；
[0025]图16D示出了根据至少一个实施例的计算机系统；
[0026]图16E和图16F示出了根据至少一个实施例的共享编程模型；
[0027]图17示出了根据至少一个实施例的示例性集成电路和相关的图形处理器。
[0028]图18A和图18B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器。
[0029]图19A和图19B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0030]图20示出了根据至少一个实施例的计算机系统；
[0031]图21A示出了根据至少一个实施例的并行处理器；
[0032]图21B示出了根据至少一个实施例的分区单元；
[0033]图21C示出了根据至少一个实施例的处理集群；
[0034]图21D示出了根据至少一个实施例的图形多处理器；
[0035]图22示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0036]图23示出了根据至少一个实施例的图形处理器；
[0037]图24是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0038]图25示出了根据至少一个实施例的深度学习应用程序处理器；
[0039]图26是根据至少一个实施例的示出示例神经形态处理器的框图；
[0040]图27示出了根据一个或更多个实施例的图形处理器的至少部分；
[0041]图28示出了根据一个或更多个实施例的图形处理器的至少部分；
[0042]图29示出了根据一个或更多个实施例的图形处理器的至少部分；
[0043]图30是根据至少一个实施例的示出图形处理器的图形处理引擎的框图；
[0044]图31是根据至少一个实施例的示出图形处理器核心的至少部分的框图；
[0045]图32A和图32B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列。
[0046]图33示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0047]图34示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0048]图35示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0049]图36示出了根据至少一个实施例的流式多处理器。
[0050]图37是根据至少一个实施例的高级计算管线的示例数据流图；
[0051]图38是根据至少一个实施例的用于在高级计算管线中训练、适应、实例化和部署机器学习模型的示例系统的系统图；
[0052]图39包括根据至少一个实施例的用于处理成像数据的高级计算管线3810A的示例图示；
[0053]图40A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流图；
[0054]图40B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流图；
[0055]图41A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
[0056]图41B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0057]图1是根据至少一个实施例的示出用于训练104和推理110以执行纹理合成的架构的框图。在至少一个实施例中，纹理合成用于使用来自较小基线输入图像的重复纹理来生成大图像。在至少一个实施例中，在虚拟现实和其他图形应用中使用纹理合成来从较小的基线输入图像生成包括纹理图像(textured image)的大数据集。在至少一个实施例中，纹理合成用于从较小的基线输入图像生成包括较大图像尺寸的图像数据集。在至少一个实施例中，训练数据102被输入到训练框架104中以训练未经训练的神经网络106来从N
×
M输入108合成(N*Z)
×
(M*Z)输出112。在至少一个实施例中，训练数据102是用于使用训练框架104来训练未经训练的神经网络106的一个或更多个图像。在至少一个实施例中，训练数据102包括监督信息或由训练框架104用于促进训练的其他信息。在至少一个实施例中，监督信息或促进训练的其他信息包括标识改进由训练框架104进行的训练的图像的特征的数据。
...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络来至少部分地基于对应于第一图像的一个或更多个特征映射生成第二图像，其中所述第一图像小于所述第二图像。2.根据权利要求1所述的处理器，其中：所述一个或更多个特征映射由所述一个或更多个神经网络从所述第一图像生成；从所述一个或更多个特征映射生成一个或更多个移位的特征映射；至少部分地基于在所述一个或更多个移位的特征映射与所述一个或更多个特征映射之间共享的特征来计算一个或更多个权重；至少部分地基于根据所述一个或更多个权重将所述一个或更多个移位的特征映射和所述一个或更多个特征映射进行组合，来生成一个或更多个组合的特征映射；以及通过对所述一个或更多个组合的特征映射进行聚合和上采样来生成所述第二图像。3.根据权利要求2所述的处理器，其中使用一个或更多个卷积层从所述第一图像缩放所述一个或更多个特征映射中的每一个特征映射。4.根据权利要求2所述的处理器，其中至少部分地基于所述一个或更多个移位的特征映射和所述一个或更多个特征映射中的哪一个对应特征更突出，来计算所述一个或更多个权重。5.根据权利要求2所述的处理器，其中上采样包括将较小的第一特征映射零填充到较大的第二特征映射中。6.根据权利要求1所述的处理器，其中所述第一图像包含纹理并且所述第二图像包含所述第一图像的所述纹理。7.一种系统，包括：一个或更多个处理器，用于训练一个或更多个神经网络，以至少部分地基于对应于第一图像的一个或更多个特征映射来生成第二图像，其中所述第一图像小于所述第二图像。8.根据权利要求7所述的系统，其中：通过应用一个或更多个卷积层从所述第一图像缩放所述一个或更多个特征映射；计算指示一个或更多个移位的特征映射与所述一个或更多个特征映射之间的相似性的一个或更多个权重；通过根据所述一个或更多个权重对所述一个或更多个移位的特征映射和所述一个或更多个特征映射应用求和，来生成一个或更多个组合的特征映射；以及至少部分地基于聚合所述一个或更多个组合的特征映射来生成所述第二图像。9.根据权利要求8所述的系统，其中通过根据与所述一个或更多个特征映射中的每一个特征映射相对应的宽度和高度移位所述一个或更多个特征映射，来确定所述一个或更多个移位的特征映射。10.根据权利要求8所述的系统，其中所述一个或更多个权重指示在所述一个或更多个组合的特征映射的聚合期间要包括所述一个或更多个特征映射中的第一特征还是所述一个或更多个移位的特征映射中的第二特征。11.根据权利要求8所述的系统，其中将所述一个或更多个组合的特征映射聚合成所述第二图像包括：对所述一个或更多个组合的特征映射中的每一个组合的特征映射进行上采样。
12.根据权利要求11所述的系统，其中对所述一个或更多个组合的特征映射中的每一个组合的特征映射进行上采样包括：将较小的第一特征映射零填充到较大的第二特征映射中。13.根据权利要求7所述的系统，其中所述第一图像包含纹理并且所述第二图像包括所述第一图像的所述纹理。14.根据权利要求7所述的系统，其中所述一个或更多个神经网络使用生成式对抗网络来训练。15.根据权利要求14所述的系统，其中一个或更多个损失值由所述生成式对抗网络确定并且被反向传播到所述一个或更多个神经网络中的一个或更多个卷积层。16.一种机器可读介质，具有存储在其上的指令集，所述指令集如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少：使用一个或更多个神经网络至少部分...

【专利技术属性】
技术研发人员：刘贵林，A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：