虚拟对象面部重建方法、面部重建网络训练方法及装置制造方法及图纸

本申请公开了一种虚拟对象面部重建方法、面部重建网络训练方法及装置，属于计算机技术领域。本申请通过将虚拟对象的面部模型进行细化，得到面部细化网格，使得面部重建的3D网格顶点数量更加密集，这样重建纹理贴图时能够得到高分辨率的纹理贴图，且针对细化产生的顶点进行光照计算，得到顶点的光照系数，这样光照计算能够覆盖到高分辨率的重建3D网格，提升了光照计算的精度，进而根据纹理贴图以及每个顶点的光照系数来进行面部渲染时，能够得到相机视角下高质量的面部图像，提升虚拟对象的面部重建精准度，优化虚拟对象的面部渲染效果。优化虚拟对象的面部渲染效果。优化虚拟对象的面部渲染效果。

【技术实现步骤摘要】
虚拟对象面部重建方法、面部重建网络训练方法及装置


[0001]本申请涉及计算机
，特别涉及一种虚拟对象面部重建方法、面部重建网络训练方法及装置。

技术介绍

[0002]随着计算机视觉的发展，用户对于图像品质（如画质、清晰度、分辨率等）的视觉要求越来越高。在游戏、影视、动漫、虚拟人、数字人等各领域中，广泛涉及到渲染虚拟对象。
[0003]虚拟对象的面部表情的逼真渲染效果，能够让虚拟对象在动态过程中变得栩栩如生、逼真生动。其中，虚拟对象的面部重建对于面部渲染优化至关重要。为了优化虚拟对象的面部渲染效果，亟需一种针对虚拟场景的虚拟对象的面部重建方法。

技术实现思路

[0004]本申请实施例提供了一种虚拟对象面部重建方法、面部重建网络训练方法及装置，能够提供一种虚拟场景中虚拟对象的面部重建方法，提升虚拟对象的面部重建精准度，从而优化虚拟对象的面部渲染效果。
[0005]一方面，提供了一种虚拟对象的面部重建方法，所述方法包括：
[0006]对虚拟场景中虚拟对象的面部模型进行细化，得到所述虚拟对象的面部细化网格，所述面部细化网格的顶点数量大于所述面部模型的顶点数量；
[0007]基于所述面部细化网格，重建所述虚拟对象的纹理贴图；
[0008]对于所述面部细化网格中的顶点，基于所述虚拟场景中的光源信息和相机视角，获取所述顶点的光照系数，所述光照系数表征所述虚拟场景中光源照射所述面部模型的表面经过漫反射后形成的顶点高光；
[0009]基于所述纹理贴图以及所述面部细化网格中顶点的光照系数，对所述虚拟对象进行面部渲染，得到所述虚拟对象在所述相机视角下的面部图像。
[0010]一方面，提供了一种虚拟对象的面部重建网络的训练方法，所述方法包括：
[0011]通过面部重建网络，对虚拟场景中样本对象的面部模型进行细化，得到所述样本对象的面部细化网格，所述面部重建网络用于重建所述虚拟对象的面部网格并增加所述面部网格的顶点数量；
[0012]基于所述样本对象的纹理贴图和所述面部细化网格中顶点的光照系数，对所述样本对象进行面部渲染，得到所述样本对象在所述虚拟场景的相机视角下的预测面部图像；
[0013]基于所述预测面部图像和所述样本对象在所述相机视角下的参考面部图像，获取所述面部重建网络的训练损失值；
[0014]基于所述训练损失值，对所述面部重建网络进行训练。
[0015]一方面，提供了一种虚拟对象的面部重建装置，所述装置包括：
[0016]细化模块，用于对虚拟场景中虚拟对象的面部模型进行细化，得到所述虚拟对象的面部细化网格，所述面部细化网格的顶点数量大于所述面部模型的顶点数量；
[0017]重建模块，用于基于所述面部细化网格，重建所述虚拟对象的纹理贴图；
[0018]获取模块，用于对于所述面部细化网格中的顶点，基于所述虚拟场景中的光源信息和相机视角，获取所述顶点的光照系数，所述光照系数表征所述虚拟场景中光源照射所述面部模型的表面经过漫反射后形成的顶点高光；
[0019]渲染模块，用于基于所述纹理贴图以及所述面部细化网格中顶点的光照系数，对所述虚拟对象进行面部渲染，得到所述虚拟对象在所述相机视角下的面部图像。
[0020]在一些实施例中，所述细化模块包括：
[0021]位置变换子模块，用于将所述虚拟对象的面部模型输入面部重建网络中，通过所述面部重建网络，对所述面部模型中待形变的顶点进行位置变换，得到形变顶点，所述面部重建网络用于重建所述虚拟对象的面部网格并增加所述面部网格的顶点数量；
[0022]第一确定子模块，用于基于各个待形变的顶点和各个形变顶点，确定所述面部细化网格。
[0023]在一些实施例中，所述位置变换子模块用于：
[0024]将所述虚拟对象的面部姿势参数和面部形状参数输入所述面部重建网络，通过所述面部重建网络重建所述虚拟对象的面部网格，所述面部姿势参数和面部形状参数随着所述面部重建网络训练得到；
[0025]将所述面部网格中待形变的顶点的网格位置输入所述面部重建网络的网格细化函数，得到网格细化位置，所述网格细化函数用于提升所述面部网格的分辨率；
[0026]在所述网格细化位置上沿着法线方向施加预设顶点偏移，得到形变顶点的网格位置，所述形变顶点为对所述顶点进行位置变换后的顶点。
[0027]在一些实施例中，所述纹理贴图包含所述虚拟对象的反照率贴图和法线贴图，所述反照率贴图用于表征所述虚拟对象的面部皮肤的底色，所述法线贴图用于确定所述面部细化网格中顶点的光照系数；
[0028]所述重建模块用于：
[0029]在纹理空间中，导出所述虚拟对象预先定义的反照率贴图；
[0030]基于所述面部细化网格，重建所述虚拟对象的法线贴图。
[0031]在一些实施例中，所述获取模块包括：
[0032]第二确定子模块，用于基于所述虚拟场景中的相机视角，确定所述面部细化网格在所述相机视角下的可见表面；
[0033]获取子模块，用于对于所述可见表面的任一顶点，基于所述虚拟场景中的光源信息，获取所述顶点的光照系数。
[0034]在一些实施例中，所述获取子模块包括：
[0035]第一获取单元，用于基于所述光源信息，获取所述虚拟场景的环境反射常量、漫反射常量、环境光源强度以及所述虚拟场景中每个光源在漫射表面的光源强度；
[0036]第二获取单元，用于对于所述可见表面的任一顶点，基于所述漫反射常量、所述顶点的点法线向量、所述顶点到每个光源的光照向量以及每个光源在漫射表面的光源强度，获取所述顶点的漫反射系数；
[0037]第三获取单元，用于基于所述环境反射常量、所述环境光源强度和所述顶点的漫反射系数，获取所述顶点的光照系数。
[0038]在一些实施例中，所述第二获取单元包括：
[0039]获取子单元，用于对于所述虚拟场景中的每个光源，获取所述顶点的点法线向量和所述顶点到所述光源的光照向量之间的向量点积；
[0040]相乘子单元，用于将所述漫反射常量、所述光源在漫射表面的光源强度和所述向量点积相乘，得到所述光源在所述顶点上的漫反射分量；
[0041]融合子单元，用于将所述虚拟场景中各个光源在所述顶点上的漫反射分量融合，得到所述顶点的漫反射系数。
[0042]在一些实施例中，所述融合子单元用于：
[0043]对于所述虚拟场景中的每个光源，将所述顶点的位置向量和所述光源的位置向量之间的L2范数输入到激活函数中，得到所述顶点在所述光源下的能见度系数，所述能见度系数表征所述顶点在所述光源照射下形成的自阴影；
[0044]基于每个光源的能见度系数，对所述光源在所述顶点上的漫反射分量进行加权，得到所述光源在所述顶点上的加权漫反射分量；
[0045]将所述虚拟场景中各个光源在所述顶点上的加权漫反射分量相加，得到所述顶点的漫反射系数。
[0046]在一些实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟对象的面部重建方法，其特征在于，所述方法包括：对虚拟场景中虚拟对象的面部模型进行细化，得到所述虚拟对象的面部细化网格，所述面部细化网格的顶点数量大于所述面部模型的顶点数量；基于所述面部细化网格，重建所述虚拟对象的纹理贴图；对于所述面部细化网格中的顶点，基于所述虚拟场景中的光源信息和相机视角，获取所述顶点的光照系数，所述光照系数表征所述虚拟场景中光源照射所述面部模型的表面经过漫反射后形成的顶点高光；基于所述纹理贴图以及所述面部细化网格中顶点的光照系数，对所述虚拟对象进行面部渲染，得到所述虚拟对象在所述相机视角下的面部图像。2.根据权利要求1所述的方法，其特征在于，所述对虚拟场景中虚拟对象的面部模型进行细化，得到所述虚拟对象的面部细化网格包括：将所述虚拟对象的面部模型输入面部重建网络中，通过所述面部重建网络，对所述面部模型中待形变的顶点进行位置变换，得到形变顶点，所述面部重建网络用于重建所述虚拟对象的面部网格并增加所述面部网格的顶点数量；基于各个待形变的顶点和各个形变顶点，确定所述面部细化网格。3.根据权利要求2所述的方法，其特征在于，所述通过所述面部重建网络，对所述面部模型中待形变的顶点进行位置变换，得到形变顶点包括：将所述虚拟对象的面部姿势参数和面部形状参数输入所述面部重建网络，通过所述面部重建网络重建所述虚拟对象的面部网格，所述面部姿势参数和面部形状参数随着所述面部重建网络训练得到；将所述面部网格中待形变的顶点的网格位置输入所述面部重建网络的网格细化函数，得到网格细化位置，所述网格细化函数用于提升所述面部网格的分辨率；在所述网格细化位置上沿着法线方向施加预设顶点偏移，得到形变顶点的网格位置，所述形变顶点为对所述顶点进行位置变换后的顶点。4.根据权利要求1所述的方法，其特征在于，所述纹理贴图包含所述虚拟对象的反照率贴图和法线贴图，所述反照率贴图用于表征所述虚拟对象的面部皮肤的底色，所述法线贴图用于确定所述面部细化网格中顶点的光照系数；所述基于所述面部细化网格，重建所述虚拟对象的纹理贴图包括：在纹理空间中，导出所述虚拟对象预先定义的反照率贴图；基于所述面部细化网格，重建所述虚拟对象的法线贴图。5.根据权利要求1所述的方法，其特征在于，所述对于所述面部细化网格中的顶点，基于所述虚拟场景中的光源信息和相机视角，获取所述顶点的光照系数包括：基于所述虚拟场景中的相机视角，确定所述面部细化网格在所述相机视角下的可见表面；对于所述可见表面的任一顶点，基于所述虚拟场景中的光源信息，获取所述顶点的光照系数。6.根据权利要求5所述的方法，其特征在于，所述对于所述可见表面的任一顶点，基于所述虚拟场景中的光源信息，获取所述顶点的光照系数包括：基于所述光源信息，获取所述虚拟场景的环境反射常量、漫反射常量、环境光源强度以
及所述虚拟场景中每个光源在漫射表面的光源强度；对于所述可见表面的任一顶点，基于所述漫反射常量、所述顶点的点法线向量、所述顶点到每个光源的光照向量以及每个光源在漫射表面的光源强度，获取所述顶点的漫反射系数；基于所述环境反射常量、所述环境光源强度和所述顶点的漫反射系数，获取所述顶点的光照系数。7.根据权利要求6所述的方法，其特征在于，所述基于所述漫反射常量、所述顶点的点法线向量、所述顶点到每个光源的光照向量以及每个光源在漫射表面的光源强度，获取所述顶点的漫反射系数包括：对于所述虚拟场景中的每个光源，获取所述顶点的点法线向量和所述顶点到所述光源的光照向量之间的向量点积；将所述漫反射常量、所述光源在漫射表面的光源强度和所述向量点积相乘，得到所述光源在所述顶点上的漫反射分量；将所述虚拟场景中各个光源在所述顶点上的漫反射分量融合，得到所述顶点的漫反射系数。8.根据权利要求7所述的方法，其特征在于，所述将所述虚拟场景中各个光源在所述顶点上的漫反射分量融合，得到所述顶点的漫反射系数包括：对于所述虚拟场景中的每个光源，将所述顶点的位置向量和所述光源的位置向量之间的L2范数输入到激活函数中，得到所述顶点在所述光源下的能见度系数，所述能见度系数表征所述顶点在所述光源照射下形成的自阴影；基于每个光源的能见度系数，对所述光源在所述顶点上的漫反射分量进行加权，得到所述光源在所述顶点上的加权漫反射分量；将所述虚拟场景中各个光源在所述顶点上的加权漫反射分量相加，得到所述顶点的漫反射系数。9.根据权利要求6所述的方法，其特征在于，所述基于所述环境反射常量、所述环境光源强度和所述顶点的漫反射系数，获取所述顶点的光照系数包括：将所述环境反射常量和所述环境光源强度相乘，得到所述虚拟场景的环境光系数；将所述环境光系数和所述顶点的漫反射系数相加，得到所述顶点的光照系数。10.一种虚拟对象的面部重建网络的训练方法，其特征在于，所述方法包括：通过面部重建网络，对虚拟场景中样本对象的面部模型进行细化，得到所述样本对象的面部细化网格，所述面部重建网络用于重建所述虚拟对象的面部网格并增加所述面部网格的顶点数量；基于所述样本对象的纹理贴图和所述面部细化网格中顶点的光照系数，对所述样本对象进行面部渲染，得到所述样本对象在所述虚拟场景的相机视角下的预测面部图像；基于所述预测面部图像和所述样本对象在所述...

【专利技术属性】
技术研发人员：郑强，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：