一种化妆人脸三维重建的方法技术

本发明专利技术公开了一种化妆人脸三维重建的方法

【技术实现步骤摘要】
一种化妆人脸三维重建的方法


[0001]本专利技术属于计算机视觉的
，具体涉及一种化妆人脸三维重建的方法
。

技术介绍

[0002]三维人脸重建技术是近年来在计算机视觉领域备受关注的热门技术之一，应用范围涉及到了人工智能
、
虚拟现实
、
增强现实
、
医疗影像等多个领域
。
通过使用计算机算法和图像处理技术，可以将从不同角度拍摄的人脸图像转化成三维模型，进而实现对人脸的三维重建和可视化
。
[0003]随着硬件和算法的不断进步，三维人脸重建技术正在被广泛应用于电影
、
游戏
、
安防
、
医疗等多个领域，并且在未来有着广阔的发展前景
。
[0004]然而，现有的三维人脸重建技术仍有不足
。
三维人脸的重建技术，需要得到高质量
、
高保真度的无妆
、
光线良好的二维人脸图像作为重建的输入
。
一方面，化妆术通常会利用高光
、
眼影等化妆技巧来改变人脸在视觉上的立体感，但这种立体感对于三维人脸重建任务来说是一种不被期待看到的伪影，这种伪影会大大影响三维人脸的高保真
、
高精度的重建，若是不对输入图像的质量和内容做出限制
、
允许用户提供化妆人脸图像作为采集图像，则会因为低质量的输入图像导致在三维人脸重建阶段得到意料之外的人脸模型
。
另一方面，若是坚持输入图像的高质量
、
高保真度的无妆的要求，就会迫使化妆的用户们必须先进行卸妆这一耗时的流程，才能进行人脸图像的采集，这对于现在社会基数庞大的化妆群体来说是一种不便利，这种不便利将会大大影响用户的图像采集体验，也会进一步制约这项技术在日常生活场景下的推广使用
。

技术实现思路

[0005]为了克服现有技术存在的缺陷与不足，本专利技术的目的在于提供一种化妆人脸三维重建的方法，针对普遍的化妆用户群体进行高保真的人脸卸妆重建
。
[0006]为了达到上述目的，本专利技术采用以下技术方案：
[0007]一种化妆人脸三维重建的方法，包括步骤如下：
[0008]获取化妆人脸图像，根据化妆人脸图像提取图像参数，对带妆容的人脸进行三维人脸重建；
[0009]将化妆人脸图像进行妆容去除，得到卸妆的人脸图像；
[0010]对卸妆后的人脸图像进行三维人脸重建，训练人脸编码器
、
特征提取网络
、
妆容迁移模块；
[0011]使用经过训练后的人脸编码器
、
特征提取网络
、
妆容迁移模块，对新输入的带妆容人脸图像进行人脸三维重建
。
[0012]优选地，所述根据化妆人脸图像提取图像参数，对带妆容的人脸进行三维人脸重建的过程包括：
[0013]获取化妆人脸的相关图像参数；向人脸编码器输入化妆人脸图像，从化妆人脸图
像中提取出化妆人脸带妆容的图像参数；所述图像参数包括二维人脸关键点
、
形状参数
、
纹理参数
、
相机参数
、
光照参数
、
姿态参数
、
表情参数；
[0014]根据带妆容的图像参数，生成化妆人脸三维模型并进行渲染；
[0015]对人脸编码器进行粗训练
。
[0016]进一步地，所述人脸编码器用
ResNet50
网络为基础网络，并在
ResNet50
网络的最后加上一层全连接层
。
[0017]进一步地，所述根据带妆容的图像参数，生成化妆人脸三维模型并进行渲染的过程包括：
[0018]将带妆容的图像参数中的形状参数
、
姿态参数
、
表情参数输入到用于生成三维人脸模型的双线性人脸生成网络中，生成带妆容的三维人脸模型；
[0019]将图像参数中的纹理参数输入到纹理参数解码器中，得到对应化妆人脸图像的人脸纹理图；
[0020]将带妆容的三维人脸模型和人脸纹理图输入到可微渲染器中，得到带纹理的三维人脸模型渲染图像
。
[0021]进一步地，所述双线性人脸生成网络的结构为基于统计的
FLAME
模型；
[0022]所述纹理参数解码器的结构为将
BFM
双线性模型的反照率子空间兼容到
FLAME
的
UV
空间中；
[0023]所述可微渲染器的结构为可微光栅化器
。
[0024]进一步地，所述对人脸编码器进行粗训练的过程包括：
[0025]根据三维人脸模型渲染图像与化妆人脸图像之间的像素级误差，计算两个图像之间的光度损失，利用光度损失在人脸编码器进行反向传播，实现对人脸编码器的粗训练；
。
[0026]进一步地，所述将化妆人脸图像进行妆容去除的过程包括：
[0027]提取化妆人脸的妆容特征；将带纹理的三维人脸模型渲染图像
、
带二维人脸关键点的化妆人脸图像，输入到特征提取网络，提取出化妆人脸的妆容特征；
[0028]根据所提取的妆容特征对化妆人脸图像进行妆容去除；将带二维人脸关键点的化妆人脸图像
、
妆容特征输入到妆容迁移模块，得到卸妆后的人脸图像
。
[0029]进一步地，所述特征提取网络的结构采用
StarGAN
编码器
‑
瓶颈器结构；
[0030]所述妆容迁移模块的结构采用
StarGAN
编码器
‑
瓶颈器
‑
解码器结构，
StarGAN
编码器
‑
瓶颈器的部分与特征提取网络使用相同的架构
、
与特征提取网络不共享参数
。
[0031]进一步地，所述对卸妆后的人脸图像进行三维人脸重建，训练人脸编码器
、
特征提取网络
、
妆容迁移模块的具体过程包括：
[0032]使用人脸编码器从卸妆后的人脸图像提取去除妆容后的图像参数；输入卸妆后的人脸图像到人脸编码器中，获取卸妆后人脸图像的图像参数；所述卸妆后人脸图像的图像参数包括二维人脸关键点
、
形状参数
、
纹理参数
、
相机参数
、
光照参数
、
姿态参数
、
表情参数；
[0033]根据卸妆后人脸图像的图像参数，生成卸妆人脸三维模型并进行渲染；将卸妆后人脸图像的形状参数
、
姿态参数
、
表情参数输入到双线性人脸生成网络中，生成卸妆的人脸三维模型；将卸妆后人脸图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种化妆人脸三维重建的方法，其特征在于，包括步骤如下：获取化妆人脸图像，根据化妆人脸图像提取图像参数，对带妆容的人脸进行三维人脸重建；将化妆人脸图像进行妆容去除，得到卸妆的人脸图像；对卸妆后的人脸图像进行三维人脸重建，训练人脸编码器
、
特征提取网络
、
妆容迁移模块；使用经过训练后的人脸编码器
、
特征提取网络
、
妆容迁移模块，对新输入的带妆容人脸图像进行人脸三维重建
。2.
根据权利要求1所述化妆人脸三维重建的方法，其特征在于，所述根据化妆人脸图像提取图像参数，对带妆容的人脸进行三维人脸重建的过程包括：获取化妆人脸的相关图像参数；向人脸编码器输入化妆人脸图像，从化妆人脸图像中提取出化妆人脸带妆容的图像参数；所述图像参数包括二维人脸关键点
、
形状参数
、
纹理参数
、
相机参数
、
光照参数
、
姿态参数
、
表情参数；根据带妆容的图像参数，生成化妆人脸三维模型并进行渲染；对人脸编码器进行粗训练
。3.
根据权利要求2所述化妆人脸三维重建的方法，其特征在于，所述人脸编码器用
ResNet50
网络为基础网络，并在
ResNet50
网络的最后加上一层全连接层
。4.
根据权利要求3所述化妆人脸三维重建的方法，其特征在于，所述根据带妆容的图像参数，生成化妆人脸三维模型并进行渲染的过程包括：将带妆容的图像参数中的形状参数
、
姿态参数
、
表情参数输入到用于生成三维人脸模型的双线性人脸生成网络中，生成带妆容的三维人脸模型；将图像参数中的纹理参数输入到纹理参数解码器中，得到对应化妆人脸图像的人脸纹理图；将带妆容的三维人脸模型和人脸纹理图输入到可微渲染器中，得到带纹理的三维人脸模型渲染图像
。5.
根据权利要求4所述化妆人脸三维重建的方法，其特征在于，所述双线性人脸生成网络的结构为基于统计的
FLAME
模型；所述纹理参数解码器的结构为将
BFM
双线性模型的反照率子空间兼容到
FLAME
的
UV
空间中；所述可微渲染器的结构为可微光栅化器
。6.
根据权利要求5所述化妆人脸三维重建的方法，其特征在于，所述对人脸编码器进行粗训练的过程包括：根据三维人脸模型渲染图像与化妆人脸图像之间的像素级误差，计算两个图像之间的光度损失，利用光度损失在人脸编码器进行反向传播，实现对人脸编码器的粗训练；
。7.
根据权利要求6所述化妆人脸三维重建的方法，其特征在于，所述将化妆人脸图像进行妆容去除的过程包括：提取化妆人脸的妆容特征；将带纹理的三维人脸模型渲染图像
、
带二维人脸关键点的化妆人脸图像，输入到特征提取网络，提取出化...

【专利技术属性】
技术研发人员：李乐民，徐向民，储昭结，蓝屹林，邢晓芬，
申请(专利权)人：人工智能与数字经济广东省实验室广州，
类型：发明
国别省市：