人脸五官贴图生成方法技术

本发明专利技术涉及人脸五官贴图生成方法，本发明专利技术通过生成目标人脸图像表情和姿态且具有源人脸图像纹理特征的第二人脸图像；对齐人脸关键点坐标，确定人脸区域边界；通过三角剖分生成人脸区域的泊松融合mask图像和权重混合mask图像，人脸五官划分区域处理，通过三角剖分生成人脸五官区域的泊松融合mask图像和权重混合mask图像；人脸整体通道混合和泊松融合，人脸五官通道混合和泊松融合。本发明专利技术使得换脸结果既能保留视频人脸的姿态和表情，又能保持比较自然的融合效果，使得人眼更难以分辨替换的痕迹。对于肤色和光照条件差异较大的人脸图像，替换融合后的人脸更加自然，更加逼真。更加逼真。更加逼真。

【技术实现步骤摘要】
人脸五官贴图生成方法


[0001]本专利技术涉及人脸五官贴图生成方法，属于图像处理


技术介绍

[0002]换脸FaceSwap是计算机视觉领域的一个存在许久的重要课题，换脸指的是将视频里的某张人脸替换为用户的人脸，要求保持视频里人脸的姿态和表情，同时替换后人人脸与用户人脸相似度高。
[0003]现有的换脸方案里，最终在人脸替换图像融合阶段，通常提取两幅人脸的关键点，通过三角剖分的方法将对应的三角形部分的纹理替换，然后对替换的区域整体图像做泊松融合。
[0004]现有方法虽然保持了视频人脸的表情和姿态，但是因为用户的人脸和视频人脸肤色或者光照条件差异往往比较大，融合后的人脸图像在人脸边界呈现不自然的融合效果。

技术实现思路

[0005]本专利技术针对现有技术存在的不足，提供了人脸五官贴图生成方法，具体技术方案如下：
[0006]人脸五官贴图生成方法，包括以下步骤：
[0007]步骤一、通过人脸3DMM三维重建方法，生成目标人脸图像表情和姿态且具有源人脸图像纹理特征的第二人脸图像；
[0008]步骤二、获取第二人脸图像和目标人脸的关键点坐标信息，计算第二人脸图像的关键点到目标人脸关键点的平面刚体变换，通过平面刚体变换计算源人脸关键点对齐到目标人脸的的关键点坐标；
[0009]步骤三、生成整体人脸融合区域的泊松Mask图像和权重混合Mask图像，根据对齐到目标人脸的的关键点坐标，确定人脸融合边界，对于非皮肤上的眉毛边界，整体向外移动到额头皮肤上，计算移动后的关键点三角剖分结构，根据三角剖分生成两组不同的Mask图像；
[0010]步骤四、划分人脸五官区域，根据五官分布，将对齐到目标人脸的的关键点划分成不同区域的关键点，计算不同区域关键点的三角剖分结构，根据三角剖分生成泊松融合Mask图像和权重混合Mask图像；
[0011]步骤五、整体人脸区域的像素通道融合和泊松融合，生成人脸图像五官融合泊松的背景图像；
[0012]步骤六、人脸五官分别进行像素通道融合和泊松融合，生成最终换脸所需的人脸五官贴图。
[0013]作为上述技术方案的改进，在步骤一中，所述人脸3DMM三维重建方法包括以下步骤：
[0014]步骤S11、源人脸和视频中目标人脸的三维重建
[0015]输入源人脸和目标人脸的二维图片，利用3DMM人脸三维重建方法求解源人脸和目标人脸的3DMM参数，3DMM参数包含形状参数、表情参数、姿态参数；
[0016]其中，输入目标人脸的视频，人脸检测提取人脸区域图像，计算当前帧的3DMM参数；
[0017]3DMM人脸三维重建方法用到的重建表示公式为：
[0018][0019]其中，表示平均人脸模型，S
i
表示形状对应的主成分分析部分，α
i
表示当前形状的系数，e
i
表示表情对应的主成分分析部分，β
i
表示当前表情相应的系数；当前人脸图像的三维形状是平均形状和m个基本形状线性组合生成，当前人脸图像的三维表情是平均表情和n个基本表情线性组合生成；
[0020]步骤S12、计算视频人脸3DMM形状参数统一解
[0021]筛选视频中目标人脸处于正脸角度下的视频帧人脸图片，再筛选处于正脸角度下的视频帧人脸图片的形状参数，计算一个平均形状作为视频人脸形状参数统一解；
[0022]步骤S13、3DMM表情参数和姿态参数的优化
[0023]通过计算源人脸三维点中选取的关键点投影位置与源人脸68个关键点检测位置之间的偏移量，对3DMM解算的表情参数和姿态参数进行优化；
[0024]步骤S14、组合生成新的3DMM形状
[0025]获取源人脸的形状参数，获取目标人脸的表情参数和姿态参数，将源人脸的形状参数、目标人脸的表情参数和姿态参数进行组合生成替换人脸的3DMM形状；
[0026]步骤S15、生成目标人脸图像表情和姿态且具有源人脸图像纹理特征的第二人脸图像
[0027]将源人脸重建后的三维点云根据姿态参数转换到相机坐标系，然后投影到源图像上通过人脸关键点对齐尺度和平移，建立三维点和源人脸图像像素的映射关系；再建立组合模型三维点和目标人脸图像像素映射关系；对于组合模型投影到目标人脸图像上的某个位置的像素值，通过仿射变换计算该位置坐标对应的源图像人脸坐标，通过双线性插值计算得到该位置的像素值。
[0028]作为上述技术方案的改进，在步骤一中，通过组合源人脸的形状参数和目标人脸的表情参数、姿态参数进行组合，生成组合模型；源人脸和目标人脸的纹理映射关系通过源人脸三维点云投影到源人脸图像上的坐标位置和组合模型三维点云投影到目标人脸图像上的坐标位置建立，同一个三维点对应的纹理坐标表示公式为：
[0029]X
projection
＝S
×
P
×
R
×
S
combine
+t
[0030]其中，S
combine
表示组合模型的三维点，R为旋转矩阵，s是尺度因子，P为正交的投影矩阵，t表示平移矩阵，X
projection
表示人脸三维点坐标投影到人脸图像上的二维投影点坐标。
[0031]作为上述技术方案的改进，步骤二中提到的关键点指的是X
projection
中的位置在人脸五官以及人脸轮廓边界上的二维坐标点，关键点有68个。
[0032]作为上述技术方案的改进，步骤三和步骤四中生成的泊松融合Mask图像和权重混合Mask图像，是对三角剖分中的每个三角形区域凸包填充的结果；泊松融合Mask图像用来拼接融合区域和背景区域的梯度图，对拼接后的梯度图像求取散度后即可求解泊松方程；权重混合Mask图像是自动凸包填充权重值的图像，通过设置不同的权重值，融合人脸的皮肤可以得到不同的融合偏向；图像融合表示公式为：
[0033]I＝αF+(1
‑
α)B 0≤α≤1
[0034]其中α表示泊松融合Mask图像或权重混合Mask图像，F表示第二人脸图像，B表示目标人脸图像。
[0035]本专利技术的有益效果：
[0036]1、所述人脸五官贴图生成方法能够进一步优化原有的换脸融合方法，使得换脸结果既能保留视频人脸的姿态和表情，又能保持比较自然的融合效果，使得人眼更难以分辨替换的痕迹。
[0037]2、其对人脸图像根据五官划分成不同的区域，生成自然逼真的人脸五官贴图，使得换脸后的结果更加自然。
[0038]3、对于肤色和光照条件差异较大的人脸图像，替换融合后的人脸更加自然；经过实验验证，通过对人脸五官和皮肤采取不同的融合策略，最终的人脸替换结果更加自然逼真。
附图说明
[0039]图1为本专利技术所述人脸五官贴图生成方法的流程图。
具体实施方式
[0040]为了使本专利技术的目的、技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.人脸五官贴图生成方法，其特征在于包括以下步骤：步骤一、通过人脸3DMM三维重建方法，生成目标人脸图像表情和姿态且具有源人脸图像纹理特征的第二人脸图像；步骤二、获取第二人脸图像和目标人脸的关键点坐标信息，计算第二人脸图像的关键点到目标人脸关键点的平面刚体变换，通过平面刚体变换计算源人脸关键点对齐到目标人脸的的关键点坐标；步骤三、生成整体人脸融合区域的泊松Mask图像和权重混合Mask图像，根据对齐到目标人脸的的关键点坐标，确定人脸融合边界，对于非皮肤上的眉毛边界，整体向外移动到额头皮肤上，计算移动后的关键点三角剖分结构，根据三角剖分生成两组不同的Mask图像；步骤四、划分人脸五官区域，根据五官分布，将对齐到目标人脸的的关键点划分成不同区域的关键点，计算不同区域关键点的三角剖分结构，根据三角剖分生成泊松融合Mask图像和权重混合Mask图像；步骤五、整体人脸区域的像素通道融合和泊松融合，生成人脸图像五官融合泊松的背景图像；步骤六、人脸五官分别进行像素通道融合和泊松融合，生成最终换脸所需的人脸五官贴图。2.根据权利要求1所述的人脸五官贴图生成方法，其特征在于，在步骤一中，所述人脸3DMM三维重建方法包括以下步骤：步骤S11、源人脸和视频中目标人脸的三维重建输入源人脸和目标人脸的二维图片，利用3DMM人脸三维重建方法求解源人脸和目标人脸的3DMM参数，3DMM参数包含形状参数、表情参数、姿态参数；其中，输入目标人脸的视频，人脸检测提取人脸区域图像，计算当前帧的3DMM参数；3DMM人脸三维重建方法用到的重建表示公式为：其中，表示平均人脸模型，s
i
表示形状对应的主成分分析部分，α
i
表示当前形状的系数，e
i
表示表情对应的主成分分析部分，β
i
表示当前表情相应的系数；当前人脸图像的三维形状是平均形状和m个基本形状线性组合生成，当前人脸图像的三维表情是平均表情和n个基本表情线性组合生成；步骤S12、计算视频人脸3DMM形状参数统一解筛选视频中目标人脸处于正脸角度下的视频帧人脸图片，再筛选处于正脸角度下的视频帧人脸图片的形状参数，计算一个平均形状作为视频人脸形状参数统一解；步骤S13、3DMM表情参数和姿态参数的优化通过计算源人脸三维点中选取的关键点投影位置与源人脸68个关键点检测位置之间的偏移量，对3DMM解算的表情参数和姿态参数进行优化；步骤S14、组合生成...

【专利技术属性】
技术研发人员：杜华，王语堂，岳宗，赵朋飞，
申请(专利权)人：兰州未来新影文化科技集团有限责任公司，
类型：发明
国别省市：