图像对齐神经网络制造技术

用于生成对象的3D模型的装置、系统和技术。在至少一个实施例中，基于对象的多个图像，由一个或更多个神经网络生成该对象的3D模型。由一个或更多个神经网络生成该对象的3D模型。由一个或更多个神经网络生成该对象的3D模型。

【技术实现步骤摘要】
【国外来华专利技术】图像对齐神经网络
[0001]相关申请的交叉引用
[0002]本申请要求2019年11月5日提交的、题为“图像对齐神经网络(IMAGE ALIGNING NEURAL NETWORK)”的美国专利申请号16/675,120的优先权，其全部内容通过引用整体并入本文并用于所有目的。


[0003]至少一个实施例涉及用于使用人工智能执行计算机视觉任务的处理资源。例如，至少一个实施例涉及用于训练神经网络以执行计算机视觉任务的处理器。

技术介绍

[0004]执行计算机视觉任务可能会消耗大量内存、时间或计算资源。许多此类任务包括对齐视觉数据，这仍然是一个具有挑战性的问题。可以改善用于执行计算机视觉任务的内存、时间或计算资源的量。
附图说明
[0005]图1示出了根据至少一个实施例的用于执行点云配准的神经网络；
[0006]图2示出了根据至少一个实施例的用于使用经学习的几何表示执行点云配准的系统的示例；
[0007]图3示出了根据至少一个实施例的用于训练网络以使用经学习的几何表示执行点云表示的过程的示例；
[0008]图4示出了根据至少一个实施例的用于训练网络以生成高斯混合模型的数据的过程的示例；
[0009]图5示出了根据至少一个实施例的用于获得配准变换的求解器的示例；
[0010]图6示出了根据至少一个实施例的用于训练神经网络的示例过程；
[0011]图7示出了根据至少一个实施例的用于训练神经网络以生成三维模型的示例过程；
[0012]图8A示出了根据至少一个实施例的推理和/或训练逻辑；
[0013]图8B示出了根据至少一个实施例的推理和/或训练逻辑；
[0014]图9示出了根据至少一个实施例的神经网络的训练和部署；
[0015]图10示出了根据至少一个实施例的示例数据中心系统；
[0016]图11A示出了根据至少一个实施例的自主车辆的示例；
[0017]图11B示出了根据至少一个实施例的图11A的自主车辆的相机位置和视野的示例；
[0018]图11C是根据至少一个实施例的示出图11A的自主车辆的示例系统架构的框图；
[0019]图11D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图11A的自主车辆之间进行通信的系统的图；
[0020]图12是根据至少一个实施例的示出计算机系统的框图；
[0021]图13是根据至少一个实施例的示出计算机系统的框图；
[0022]图14示出了根据至少一个实施例的计算机系统；
[0023]图15示出了根据至少一个实施例的计算机系统；
[0024]图16A示出了根据至少一个实施例的计算机系统；
[0025]图16B示出了根据至少一个实施例的计算机系统；
[0026]图16C示出了根据至少一个实施例的计算机系统；
[0027]图16D示出了根据至少一个实施例的计算机系统；
[0028]图16E和图16F示出了根据至少一个实施例的共享编程模型；
[0029]图17示出了根据至少一个实施例的示例性集成电路和相关的图形处理器；
[0030]图18A
‑
18B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0031]图19A
‑
19B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0032]图20示出了根据至少一个实施例的计算机系统；
[0033]图21A示出了根据至少一个实施例的并行处理器；
[0034]图21B示出了根据至少一个实施例的分区单元；
[0035]图21C示出了根据至少一个实施例的处理集群；
[0036]图21D示出了根据至少一个实施例的图形多处理器；
[0037]图22示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0038]图23示出了根据至少一个实施例的图形处理器；
[0039]图24是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0040]图25示出了根据至少一个实施例的深度学习应用程序处理器；
[0041]图26是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0042]图27示出了根据一个或更多个实施例的图形处理器的至少部分；
[0043]图28示出了根据一个或更多个实施例的图形处理器的至少部分；
[0044]图29示出了根据一个或更多个实施例的图形处理器的至少部分；
[0045]图30是根据至少一个实施例的图形处理器的图形处理引擎3010的框图；
[0046]图31是根据至少一个实施例的图形处理器核心的至少部分的框图；
[0047]图32A
‑
32B示出了根据至少一个实施例的线程执行逻辑3200，其包括图形处理器核心的处理元件的阵列；
[0048]图33示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0049]图34示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0050]图35示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；以及
[0051]图36示出了根据至少一个实施例的流式多处理器。
具体实施方式
[0052]图1示出了根据至少一个实施例的用于执行点云配准的神经网络。在至少一个实施例中，点云配准包括视觉数据的对齐或变换，由此来自多个帧或视觉数据源的点被映射到公共坐标系。在至少一个实施例中，视觉数据包括从各种传感器中的任一种收集的数据，
并且包括指示对象的表面上的位置的三维数据。
[0053]在至少一个实施例中，点云116、118包括指示物理对象的形状和位置的数据。在至少一个实施例中，包括点云116、118的其数据指示对象的表面，如由三维传感器捕获的。在至少一个实施例中，点云116、118各自包括与对象的表面上的位置相对应的数据点。在至少一个实施例中，点云116、118各自包括与对象的表面上的位置相对应的坐标数据，例如，x、y和z坐标。
[0054]在至少一个实施例中，点云116、118的视觉数据由三维传感器获得。在至少一个实施例中，三维传感器基于光检测和测距(“LIDAR”)、立体三角测量、光片三角测量、结构化光、飞行时间、干涉测量、编码孔径、全光照相机、断层扫描、调制光或接触扫描中的一个或更多个获得点数据。
[0055]在至少一个实施例中，网络100和网络102被训练为配置相应的统计模型104、106，其又向相应的求解器108、110提供输入以生成相应的变换112、114。
[0056]在至少一个实施例中，网络100、102包括用于深度学习的神经网络。在至少一个实施例中，网络100、102包括以任意组合的一个或更多个深度神经网络、深度信念网络、胶囊网络、卷积神经网络、循环神经网络、图神本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络至少部分地基于对象的多个图像来生成所述对象的三维(3D)模型。2.根据权利要求1所述的处理器，其中所述多个图像中的图像包括指示所述对象的表面上的位置的数据。3.根据权利要求1所述的处理器，其中所述3D模型包括高斯混合模型。4.根据权利要求3所述的处理器，其中所述高斯混合模型的参数至少部分地基于所述对象的所述多个图像的对齐而生成，所述对齐至少部分地基于从所述高斯混合模型生成的配准变换。5.根据权利要求4所述的处理器，其中所述配准变换被生成为处于使得能够反向传播配准误差的闭合形式。6.根据权利要求4所述的处理器，其中所述配准变换将所述多个图像中的点映射到公共坐标系。7.根据权利要求1所述的处理器，其中所述一个或更多个神经网络对所述对象的几何形状进行编码。8.根据权利要求1所述的处理器，其中所述多个图像包括与所述对象的被遮挡表面上的位置相对应的一个或更多个标记点。9.一种系统，包括：一个或更多个处理器，其被配置为使用一个或更多个神经网络来至少部分地基于对象的多个图像来生成所述对象的3D模型。10.根据权利要求9所述的系统，其中所述多个图像包括指示所述对象的表面上的位置的点数据。11.根据权利要求9所述的系统，其中所述3D模型是概率模型。12.根据权利要求11所述的系统，其中所述概率模型至少部分地基于由所述一个或更多个神经网络输出的权重矩阵来计算。13.根据权利要求11所述的系统，其中至少部分地基于所述概率模型来计算配准变换。14.根据权利要求13所述的系统，其中在训练期间配准误差被反向传播到所述一个或更多个神经网络。15.一种机器可读介质，其上存储有一组指令，该组指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少：使用一个或更多个神经网络至少部分地基于对象的多个图像来生成所述对象的3D模型。16.根据权利要求15所述的机器可读介质，其中所述多个图像中的图像包括指示所述对象的表面上的位置的信息。17.根据权利要求15所述的机器可读介质，其上存储有另一组指令，该组指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少：至少部分地基于高斯混合模型来对齐所述多个图像。18.根据权利要求17所述的机器可读介质，其中所述高斯混合模型至少部分地基于由所述一个或更多个神经网络输出的权重矩阵来计算。
19.根据权利要求17所述的机器可读介质，其中至少部分地基于所述高斯混合模型来计算配准变换。20.根据权利要求19所述的机器可读介质，其中在训练期间配准误差被反向传播到所述一个或更多个神经网络。21.一种汽车，包括：三维传感器；一个或更多个处理器，其被配置为处理由所述三维传感器获得的数据，所述数据至少部分地基于由一个或更多个神经网络至少部分地基于对象的多个图像生成的所述对象的3D模型被处理。22.根据权利要求21所述的汽车，其中所述多个图像包括指示所述对象的表面上的位置的点数据。23.根据权利要求21所述的...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：辉达公司，
类型：发明
国别省市：