人脸反照率贴图重建方法及系统技术方案

本发明专利技术涉及一种人脸反照率贴图重建方法及系统，包括：将人脸图片输入人脸识别模型，得到人脸身份特征；将人脸身份物征输入映射网络，输出隐编码；以及通过隐编码驱动反照率生成器网络，生成人脸反照率贴图。本发明专利技术提供的人脸反照率贴图重建方法及系统，具有一个高分辨率的、有表现力的、非线性的人脸反照率生成网络，使用预先训练好的人脸识别网络的人脸识别特征作为输入，预测人脸反照率贴图生成器的隐编码，进而得到高质量的反照率贴图，并且在人脸重建框架中采用视觉

【技术实现步骤摘要】
人脸反照率贴图重建方法及系统


[0001]本专利技术涉及三维人脸重建，尤其设计一种人脸反照率贴图重建方法及系统。

技术介绍

[0002]三维人脸重建是计算机视觉和图形学中的一个基本问题。它的目的是在只给定多视角或单视角图像的情况下，从二维图像中估计真实的三维人脸形状和外观。三维人脸重建在众多的视觉应用中起着至关重要的作用，如人脸操纵、语音驱动的面部动画和视频会议。自从3D Morphable Model(3DMM)的开创性工作以来，单眼人脸重建方法由于其高速度和几何精度而取得了显著进展。为了实现更逼真的应用，如头像创作、交互式AR/VR，元宇宙等，细粒度的反照率贴图重建问题吸引了大家的共同关注。
[0003]从图像外观种类中恢复真实的反照率贴图和光线是一个不确定的问题，因为图像颜色为反照率与光线的乘积，而这两者均无法被准确估计。假设脸部是一个朗伯特表面，渲染的脸部图像可以通过R＝AoS计算出来，其中R代表最终渲染的图像，A和S分别代表包裹面的反照率和阴影图像，o表示哈达玛积。当反照率和照度都有一个独立的估计时，反照率和照度之间的模糊性就会发生。现有的方法主要通过以下手段进行缓解，主要是：1)创建一个基于主成分分析表示(PCA
‑
based)的反照率纹理模型来约束反照率空间，以及2)引入额外的照明知识约束来减少模糊性。在反照率模型方面，广泛使用的巴塞尔人脸模型(BFM)是由大约200个欧洲受试者开发的。然而，这种不平衡的数据会导致外观空间的强烈偏差，不能适当地重建深色的皮肤色调。AlbedoMM从多样化的光场数据中创建了一个反照率模型，并同时对漫反射和镜面反照率模型进行建模，以增加外观空间的多样性。在减小模糊性方面，Hu规范了反照率的对称性。Aldrian通过施加一个“灰色世界”的约束，将光约束为单色(只有黑白灰)的，而随后的工作，如Deep3D,DECA使用类似的正则化方法进行光线近似。TRUST通过将光线分解为面部光线和环境光线，并使用环境光线的一致性来约束光线的估计，从而提高了光线估计的精度。
[0004]目前现有的反照率贴图重建方法会偏向于产生浅色的反照率，无疑这对不同年龄、种族的人是不公平、不正确的。从结构上而言，现有的方法使用了基于PCA的反照率模型，并通过光照约束模块反推反照率贴图。这主要存在3个大的缺点：
[0005]1.基于PCA的反照率模型会极大的限制了反照率贴图的质量(主成分分析过程会压缩图像的维度，仅保留图像中的主要成分，不可避免的损失图像的细节)，无法恢复输入图片的细节。
[0006]2.由于光照估计自身也很复杂，当前通过先估计光，再反过来计算反照率的形式存在模糊性，在暗光等环境下无法正确进行估计。
[0007]3.之前的方法都是在实验室环境下的数据进行实验，针对真实数据表现不佳。
[0008]因此，本领域的技术人员致力于开发一种与光照无关的反照率贴图重建方法。

技术实现思路

[0009]考虑到面部反照率贴图是一个人面部的固有属性，也就是说即使在光照变化时也反照率贴图应该是一致的。因此，本专利技术设计一种与人脸识别模型和人脸属性分析模型类似的光照无关的反照率贴图估计方法。
[0010]本专利技术提供的人脸反照率贴图重建方法及系统，具有一个高分辨率的、有表现力的、非线性的人脸反照率生成网络，使用预先训练好的人脸识别网络的人脸识别特征作为输入，预测人脸反照率贴图生成器的隐编码，进而得到高质量的反照率贴图，并且在人脸重建框架中采用视觉
‑
文本线索，通过约束面部语义/属性来克服光照/反照度的模糊问题。
[0011]因为目前基于PCA的反照率模型在重建高质量面部细节方面效果不佳,本专利技术首先引入生成对抗网络(GAN)来训练一个高分辨率的反照率生成器。生成对抗网络最主要的优势是可以产生高质量的数据，可以几乎完美的逼近真实图片。但是这种生成对抗网络往往都是继续数万张图片进行训练，面对只有少量图片(如几百张图片)作为训练数据，高分辨率的生成对抗网络(GANs)不容易训练。为此，本专利技术使用四个较小的判别器取代了GAN中原始单一的大型判别器，大大简化了判别器的结构。四个较小的判别器，它们被应用于由预训练模型产生的不同层级的图片特征，组合成为一个金字塔型的判别器结构。预训练模型是指已经在大规模的物体识别数据集(如ImageNet)上经过训练好。本专利技术再训练这个修改后的生成对抗网络，最终训练得到一个高质量的反照率图生成网络。
[0012]鉴于面部反照率与面部属性(种族、年龄和肤色)有关，本专利技术的技术方案还在反照率估计过程中探索属性约束。例如，非洲人的反照率主要是深色的，而高加索人的反照率大多是浅色的。然而，仅有种族是不够的，因为一个种族内不同个体的反照率由于年龄、肤色和其他因素而不同。因此，本专利技术使用不同的面部属性先验(如种族、年龄、皱纹、肤色等)来约束反照率的估计。考虑到很少有脸部数据集包含此类的数据标签，而且人工去标注也很耗时，本专利技术使用视觉
‑
文本模型CLIP，为个人脸部提供语义线索。通过对每个人的脸部加入额外的语义线索约束，可以更准确的估计反照率贴图和光照。例如，针对暗光下的非洲人，本专利技术的方法可以明确知道其反照率贴图一定是黑色的，而现有方法则通过估计光照进行反推，会造成很大偏差。
[0013]基于本专利技术的高分辨率反照率图生成网络和属性约束，可以进一步利用人脸的面部身份特征来预测反照率图，以提升在野外数据中(真实场景，实际情况)的泛化能力。人脸的身份特征是脸部的本质特征，被广泛的应用于人脸识别、解锁、安防等场景。人脸的身份特征不受光照、分辨率的影响，可以稳定的对应到每个人。我们提出从身份特征推断人脸反照率，这可以使得我们的方法在真实场景下有良好的效果。
[0014]本专利技术提供了一种人脸反照率贴图重建方法，包括以下步骤：将人脸图片输入人脸识别模型，得到人脸身份特征；将人脸身份物征输入映射网络，输出隐编码；以及通过隐编码驱动反照率生成器网络，生成人脸反照率贴图。
[0015]在一些实施例中，可选的，还包括：获取与人脸训练图片相对应的人脸反照率贴图；利用人脸几何形状将人脸反照率贴图贴敷到三维人脸上，得到三维人脸图；以及结合光照参数渲染三维人脸图，得到渲染图片。
[0016]在一些实施例中，可选的，还包括：基于人脸训练图片并结合语义线索，获取与人脸训练图片相对应的输入特征；基于渲染图片，获取与渲染图片相对应的输出特征；计算输
入特征和输出特征的相似度损失；以及利用损失误差反向传播，更新映射网络。
[0017]在一些实施例中，可选的，还包括：根据人脸训练图片获取与人脸训练图片相对应的图像特征；将语义线索转换为文本特征；以及对图像特征和文本特征进行相似度计算，得到输入特征。
[0018]在一些实施例中，可选的，还包括：将反照率训练图片输入反照率生成器网络，生成输出反照率图像；通过判别模块对反照率训练图片和输出反照率图像进行判别；以及根据判别结果优化反照率生成器网络。...

【技术保护点】

【技术特征摘要】
1.一种人脸反照率贴图重建方法，其特征在于，包括以下步骤：将人脸图片输入人脸识别模型，得到人脸身份特征；将所述人脸身份物征输入映射网络，输出隐编码；以及通过所述隐编码驱动反照率生成器网络，生成人脸反照率贴图。2.根据权利要求1所述的人脸反照率贴图重建方法，其特征在于，还包括：获取与人脸训练图片相对应的所述人脸反照率贴图；利用人脸几何形状将所述人脸反照率贴图贴敷到三维人脸上，得到三维人脸图；以及结合光照参数渲染所述三维人脸图，得到渲染图片。3.根据权利要求2所述的人脸反照率贴图重建方法，其特征在于，还包括：基于所述人脸训练图片并结合语义线索，获取与所述人脸训练图片相对应的输入特征；基于所述渲染图片，获取与所述渲染图片相对应的输出特征；计算所述输入特征和所述输出特征的相似度损失；以及利用损失误差反向传播，更新所述映射网络。4.根据权利要求1所述的人脸反照率贴图重建方法，其特征在于，还包括：将反照率训练图片输入所述反照率生成器网络，生成输出反照率图像；通过判别模块对所述反照率训练图片和所述输出反照率图像进行判别；以及根据判别结果优化所述反照率生成器网络。5.一种人脸反照率贴图重建系统，其特征在于，包括：人脸识别模型，被配置为能够根据人脸图片得到人脸身份特征；映射网络，被配置为能够根据所述人脸身份物征输出隐编码；以及反照率生成器网络，被配置为能够由所述隐编码驱...

【专利技术属性】
技术研发人员：朱文瀚，任星宇，
申请(专利权)人：上海学深智能科技有限公司，
类型：发明
国别省市：