System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 从图像重建可动画化的三维人类头部模型的系统和方法技术方案_技高网

从图像重建可动画化的三维人类头部模型的系统和方法技术方案

技术编号:41882452 阅读:3 留言:0更新日期:2024-07-02 00:37
本申请涉及使用隐式表示网络从图像重建可动画化的三维人类头部模型的系统和方法。用于从人脸的输入2D图像重建三维(3D)人脸模型的系统和方法,包括:将第一人脸的输入2D图像馈送到超网络(H)中,以生成用于隐式表示网络(IRN)的权重;通过具有所生成的权重的IRN生成第一人脸的多视图人脸图像;以及通过将第一人脸的多视图人脸图像馈送到被训练成从多视图人脸图像生成3D人脸模型的网络中来生成第一人脸的3D模型。

【技术实现步骤摘要】

专利
本专利技术的实施例总体上涉及计算机图形学领域。更具体地,本专利技术的实施例涉及使用隐式表示网络从图像重建三维人类头部模型。


技术介绍

0、背景

1、从人脸的单个图像进行三维(3d)人类头部重建,也称为单视图重建(svr),是计算机图形学领域中众所周知的任务,其中人类头部的一个静态图像被用于对突显3d头部参数模型的参数进行回归操作(regressing)。使用经回归的参数,可以生成人类头部网格,以及uv纹理贴图(texture map)和预定义的绑定(rig)以用于动画制作。3d人类头部模型重建可以基于在2d图像中提供的视觉输入来实现对动画角色表情和姿势的完全控制。

2、svr任务可能是复杂的,因为单个二维(2d)图像可能固有地缺乏人脸的3d几何结构(通常称为形状)和其外观(通常称为纹理)的一些信息。从二维(2d)图像进行人类头部的3d重建存在大量的工作。然而,现有技术研究未能生成高质量的3d头部模型。需要从图像进行高质量的3d头部重建。


技术实现思路

0、概述

1、根据本专利技术的实施例,用于从人脸的输入2d图像重建三维(3d)人脸模型的基于计算机的系统和方法,可以包括:将第一人脸的输入2d图像馈送到超网络(h)中,以生成用于隐式表示网络(irn)的权重;通过具有所生成的权重的irn生成第一人脸的多视图人脸图像;以及通过将第一人脸的多视图人脸图像馈送到被训练成从多视图人脸图像生成3d人脸模型的网络中来生成第一人脸的3d模型。

<p>2、根据本专利技术的实施例,训练超网络(h)可以包括:获得第二人脸的基准事实(ground truth)多视图图像;将第二人脸的基准事实多视图图像中的一个图像馈送到超网络(h)中,以生成用于irn的权重;

3、通过irn生成第二人脸的经生成的多视图图像;计算第二人脸的经生成的多视图图像的第一损失项(loss term);通过将经生成的多视图图像馈送到被训练成从经生成的多视图人脸图像生成3d人脸模型的网络中,来生成第二人脸的3d人脸模型;根据第二人脸的3d人脸模型,渲染第二人脸的经渲染的多视图图像;计算第二人脸的经渲染的多视图图像的第二损失项;以及使用第一损失项和第二损失项来训练超网络(h)。

4、根据本专利技术的实施例,第一损失项可以包括以下中的一个或更多个:

5、使用在人脸图像域上训练的预训练的判别器(discriminator)(a)生成的经生成的多视图图像的对抗损失项、以及将经生成的多视图图像与表示相同的头部姿势的基准事实多视图图像进行比较的感知损失。

6、根据本专利技术的实施例,第二损失项可以包括以下中的一个或更多个:基于第二人脸的3d人脸模型的网格顶点和第二人脸的规范化3d人脸模型的网格顶点之间的距离计算的网格正则化项(mesh-regularization term)、以及第二人脸的3d人脸模型的参数正则化项、经渲染的图像和基准事实多视图图像之间的感知损失。

7、根据本专利技术的实施例,第二人脸的规范化3d人脸模型可以包括第二人脸的通过关节模型和表情学习的人脸(flame)的3d人脸模型。

8、本专利技术的实施例可以包括:从视频剪辑的数据集中选择移动的人脸的视频剪辑;以及从选择的视频剪辑中对第二人脸的基准事实多视图图像进行采样。

9、根据本专利技术的实施例,第二人脸的经生成的多视图图像和第二人脸的经渲染的多视图图像中的图像可以表示与第二人脸的基准事实多视图图像中的图像相同的头部姿势。

10、根据本专利技术的实施例,第一人脸的3d模型可以包括3d网格和纹理uv贴图。

11、根据本专利技术的实施例,用于从第一人脸的输入2d人脸图像生成第一人脸的3d模型的基于计算机的系统和方法,方法可以包括:将输入2d人脸图像提供给超网络(h)以生成隐式表示网络(irn)的权重;通过具有所生成的权重的irn生成第一人脸的多个人脸图像,每个人脸图像具有第一人脸的不同视图;以及通过将第一人脸的多个人脸图像提供给被训练成从多个人脸图像生成3d人脸模型的网络来重建第一人脸的3d模型。

12、本专利技术的实施例可以包括通过以下方式训练超网络(h):获得第二人脸的多个基准事实图像,每个基准事实图像具有第二人脸的不同视图;向超网络(h)提供第二人脸的多个基准事实图像中的一个图像,以生成用于irn的权重;通过irn生成第二人脸的多个经生成的图像,每个经生成的图像具有与第二人脸的多个基准事实图像中的一个图像中的第二人脸的视图相对应的第二人脸的视图;计算第二人脸的多个经生成的图像的第一损失项;通过将第二人脸的多个经生成的图像提供给被训练成从第二人脸的多个经生成的图像生成3d人脸模型的网络来重建第二人脸的3d人脸模型;根据第二人脸的3d人脸模型,渲染第二人脸的多个经渲染的图像,每个经渲染的图像具有与第二人脸的多个基准事实图像中的一个图像中的第二人脸的视图相对应的第二人脸的视图;计算第二人脸的多个经渲染的图像的第二损失项;以及使用包括第一损失项和第二损失项的损失函数来训练超网络(h)。

本文档来自技高网
...

【技术保护点】

1.一种用于从第一人脸的输入2D图像重建所述第一人脸的三维3D模型的方法,所述方法包括:

2.根据权利要求1所述的方法,包括通过以下方式训练所述超网络(H):

3.根据权利要求2所述的方法,其中,所述第一损失项包括以下中的一个或更多个:

4.根据权利要求2所述的方法,其中,所述第二损失项包括以下中的一个或更多个:

5.根据权利要求4所述的方法,其中,所述第二人脸的所述规范化3D人脸模型是所述第二人脸的通过关节模型和表情学习的人脸(FLAME)的3D人脸模型。

6.根据权利要求2所述的方法,包括:

7.根据权利要求2所述的方法,其中,所述第二人脸的所述经生成的多视图图像和所述第二人脸的所述经渲染的多视图图像中的图像表示与所述第二人脸的所述基准事实多视图图像中的图像相同的头部姿势。

8.根据权利要求1所述的方法,其中,所述第一人脸的所述3D模型包括3D网格和纹理UV贴图。

9.一种用于从第一人脸的输入2D人脸图像生成所述第一人脸的三维3D模型的方法,所述方法包括:

10.根据权利要求9所述的方法,包括通过以下方式训练所述超网络(H):

11.一种用于从人脸的输入2D图像重建三维(3D)人脸模型的系统,所述系统包括:

...

【技术特征摘要】

1.一种用于从第一人脸的输入2d图像重建所述第一人脸的三维3d模型的方法,所述方法包括:

2.根据权利要求1所述的方法,包括通过以下方式训练所述超网络(h):

3.根据权利要求2所述的方法,其中,所述第一损失项包括以下中的一个或更多个:

4.根据权利要求2所述的方法,其中,所述第二损失项包括以下中的一个或更多个:

5.根据权利要求4所述的方法,其中,所述第二人脸的所述规范化3d人脸模型是所述第二人脸的通过关节模型和表情学习的人脸(flame)的3d人脸模型。

6.根据权利要求2所述的方法,包括:

...

【专利技术属性】
技术研发人员:奥尔·戈罗迪斯基阿米泰·纳赫马尼马坦·费尔德曼伊利安·库塔吉尔·佩里萨拉·布朗德海姆
申请(专利权)人:去识别化有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1