从二维图像恢复三维模型制造技术

公开了从二维图像恢复三维模型。从对象的二维(2D)图像恢复对象的三维(3D)模型。2D图像集合中的每个图像包括从不同相机位置捕获的对象，并且可计算对应于每个图像的限定3D模型的基本网格的变形。3D模型还可以包括表示3D模型的照明和材料属性的纹理映射。3D模型的恢复依赖于分析性抗混叠来提供2D图像中的像素颜色和3D模型的几何形状之间的链接。模块化可微分渲染器设计通过利用现有的高度优化的硬件图形管线来重建3D模型而产生高性能。可微分渲染器渲染3D模型的图像，并且所渲染的图像和参考图像之间的差通过渲染管线反向传播以迭代地调整3D模型。地调整3D模型。地调整3D模型。

【技术实现步骤摘要】
从二维图像恢复三维模型
[0001]要求优先权
[0002]本申请要求于2020年8月17日提交的、标题为“用于面部性能捕获的可微分光栅化”的美国临时申请No.63/066,425，以及于2020年8月26日提交的、标题为“用于面部性能捕获的可微分光栅化”的美国临时申请No.63/070,736的权益。其全部内容在此通过引用并入本文。

技术介绍

[0003]逆渲染是用于基于2D图像迭代地恢复3D模型的形状、照明和材料属性的技术。逆渲染是具有挑战性的，因为用于渲染3D模型以产生2D图像的操作不能简单地反向执行以从2D图像产生3D模型。常规逆渲染技术通常聚焦于图像质量或性能。需要解决与现有技术相关联的这些问题和/或其他问题。

技术实现思路

[0004]本公开的实施例涉及从二维(2D)图像恢复三维(3D)模型。公开了使得能够从对象的2D图像的集合恢复对象的3D模型的系统和方法。2D图像集合中的每个图像包括从不同相机位置捕获的对象。恢复的3D模型可以被表示为由与3D空间中的位置相对应的顶点限定的单个基本网格。可以计算对应于每个图像的3D模型的变形。在实施例中，变形是顶点位置的偏移。3D模型还可以包括表示3D模型的照明和材料属性的纹理映射。3D模型的恢复依赖于分析性抗混叠(analytic antialiasing)，用于提供2D图像中的像素颜色和3D模型的几何形状之间的链接。
[0005]公开了一种用于从2D图像构建3D模型的方法、计算机可读介质和系统。渲染由初始几何形状限定的3D模型的图像，其中由渲染管线执行的抗混叠运算处理与几何形状相关联的数据以对图像进行抗混叠，并且基于图像和参考图像来计算像素差。像素差通过渲染管线的抗混叠运算向后传播以计算对应于减小像素差的几何形状变化，且基于几何形状变化调整初始几何形状以产生限定3D模型的经修改的几何形状。
附图说明
[0006]下面参考所附附图详细描述用于从2D图像恢复3D模型的本系统和方法，其中：
[0007]图1A示出了根据实施例的3D模型恢复系统的概念图。
[0008]图1B示出了根据实施例的3D模型恢复系统的另一概念图。
[0009]图1C示出了根据实施例的分析性抗混叠的概念图。
[0010]图1D示出了根据实施例的分析性抗混叠的另一概念图。
[0011]图2A示出了适用于实现本公开的一些实施例的示例3D模型恢复系统的框图。
[0012]图2B示出了适用于实现本公开的一些实施例的示例3D模型恢复系统的另一框图。
[0013]图2C示出了适用于实现本公开的一些实施例的示例3D模型恢复系统的另一框图。
[0014]图3示出了适用于实现本公开的一些实施例的用于3D模型恢复的方法的流程图。
[0015]图4示出了适用于实现本公开的一些实施例的示例并行处理单元。
[0016]图5A为适用于实现本公开的一些实施例的使用图4的PPU实现的处理系统的概念图。
[0017]图5B示出了其中可以实现各个先前实施例的各个架构和/或功能的示例性系统。
[0018]图5C示出了在至少一个实施例中可以用于训练和利用机器学习的示例性系统的部件。
[0019]图6A是适用于实现本公开的一些实施例的由图4的PPU实现的图形处理管线的概念图。
[0020]图6B示出了适用于实现本公开的一些实施例的示例性游戏流式传输系统。
具体实施方式
[0021]公开了涉及从2D图像恢复3D模型的系统和方法。模块化可微分渲染器设计通过利用现有的高度优化的硬件图形管线来重建3D模型而产生高性能。在实施例中，可微分渲染器的一个或更多个操作是使用图形处理单元(GPU)图形管线、GPU通用计算核心或在中央处理单元(CPU)上的任何组合来执行的。可微分渲染器实现全部处于高分辨率的操作，诸如光栅化大量三角形、属性插值、滤波纹理查找以及用户可编程着色和几何处理。与常规系统相比，恢复的3D模型是准确的，并且可通过渲染3D模型的分析性抗混叠的图像并通过渲染管线向后传播渲染的图像与参考图像之间的差异以迭代地调整3D模型来生成。
[0022]图1A示出了根据实施例的3D模型恢复系统100的概念图。从多种相机位置捕获对象的2D图像的集合110。3D模型恢复系统100使用2D图像的集合来构建对象的3D模型130以细化初始3D模型。初始3D模型可以是球体或其他几何形状。在实施例中，3D模型130是基本模型，其被变形以产生对应于该集合中的2D图像中的每一个的特定3D模型。在另一个实施例中，为该集合中的2D图像中的一个或更多个中的每一个构建完整的3D模型130。纹理映射的集合125是限定可应用于3D模型130的照明和材料属性120的全局表面纹理。在实施例中，纹理映射的集合125包括mip映射的纹理。初始全局表面纹理可以是恒定颜色，并且初始全局表面纹理中的每个纹理像素的颜色由3D模型恢复系统100调整以产生纹理映射的集合125。
[0023]3D模型恢复系统100的目标是产生3D模型130，当使用纹理映射的集合125渲染时，3D模型130产生与对象的2D图像的集合110紧密匹配的渲染图像。3D模型恢复系统100使用与对象的2D图像的集合110相关联的相机位置来渲染3D模型130。与具有渲染高质量图像的目标的常规渲染系统不同，3D模型恢复系统100利用渲染来实现3D模型130的恢复。换言之，渲染的图像被处理以确定并微调限定3D模型的几何形状。在实施例中，几何形状由形成3D模型130的网格的顶点的位置限定。在实施例中，网格由其他类型的图元或表示来限定。在一个实施例中，对象的2D图像的集合110包括视频。
[0024]3D模型130的恢复可用于执行无标记的面部表现(performance)捕获。无标记意味着在对象的2D图像的集合110中没有标记到对象上的标记点。恢复过程构建了再现在不同2D图像中可见的面部表情的3D模型130。3D模型恢复使得能够生成3D模型的新图像以用于角色动画，诸如在玩游戏期间或用于影片制作期间。
[0025]现在将阐述关于各种可选架构和特征的更多说明性信息，根据用户的希望，可以
用这些架构和特征来实现前述框架。应强烈注意的是，以下信息是出于说明性目的阐述的并且不应被解释为以任何方式进行限制。以下特征中的任一个可以可选地结合有或不排除所描述的其他特征。
[0026]图1B示出了根据实施例的3D模型恢复系统100的另一概念图。3D模型恢复系统100接收对象的初始3D模型132和初始全局纹理(未示出)。在实施例中，初始3D模型132的纹理坐标与限定初始3D模型132的每个顶点相关联，并且即使当顶点的位置被修改以产生构建的3D模型134时，顶点与纹理坐标之间的关联也不变。然而，随着所构建的3D模型134被修改，全局纹理的内容被调整。
[0027]3D模型恢复系统100还接收对象的2D图像的集合110，其可包括参考图像112。如前所述，3D模型恢复系统100的目标是找到全局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于构建三维(3D)模型的计算机实现的方法，包括：渲染由初始几何形状限定的3D模型的图像，其中由渲染管线执行的抗混叠运算处理与所述几何形状相关联的数据，以对所述图像进行抗混叠；基于所述图像和参考图像计算像素差；通过所述渲染管线的所述抗混叠运算反向传播所述像素差，以计算对应于减小所述像素差的几何形状改变；基于所述几何形状改变来调整所述初始几何形状，以产生所述3D模型的经修改的几何形状。2.根据权利要求1所述的计算机实现的方法，其中所述初始几何形状由顶点位置限定。3.根据权利要求1所述的计算机实现的方法，其中所述初始几何形状由应用于基础网格的权重限定。4.根据权利要求1所述的计算机实现的方法，还包括：针对至少一个附加参考图像重复所述渲染、所述计算、所述传播和所述调整。5.根据权利要求4所述的计算机实现的方法，其中所述参考图像和所述至少一个附加参考图像各自与不同的相机位置相关联。6.根据权利要求1所述的计算机实现的方法，其中传播所述像素差还包括：产生对应于所述3D模型的表面纹理。7.根据权利要求6所述的计算机实现的方法，其中所述表面纹理表示所述3D模型的照明或材料属性中的至少一个。8.根据权利要求1所述的计算机实现的方法，其中所述抗混叠运算包括：基于与所述几何形状相关联的所述数据确定轮廓边与一对相邻像素相交；计算所述相邻像素之间的混合权重；以及根据所述混合权重调整所述相邻像素的颜色。9.根据权利要求8所述的计算机实现的方法，其中所述确定包括：识别与第一标识符相关联的第一渲染的几何形状和与第二标识符相关联的第二渲染的几何形状之间的所述轮廓边。10.根据权利要求1所述的计算机实现的方法，其中所述抗混叠运算基于所述像素内的轮廓边的位置来近似像素积分。11.根据权利要求1所述的计算机实现的方法，其中所述渲染、所述计算、所述传播和所述调整步骤中的至少一个步骤在云计算环境内被执行。12.根据权利要求1所述的计算机实现的方法，其中所述渲染、所述计算、所述传播和所述调整步骤中的至少一个步骤在服务器上或在数据中...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：