一种实时人脸表情重建方法技术

一种实时人脸表情重建方法，步骤包括：人工制作29个脸型模型以及46个表情模型。通过对输入的一张或者多张图片或视频进行人脸关键点检测。利用输入照片或者视频检测得到的关键点，以及预先标定好的人脸三维模型的关键点，通过最小化误差的准则对人脸关键点进行拟合脸型，通过照片或视频提取人脸纹理重建无表情的人脸三维模型。对于后续输入的视频，对视频中的人脸关键点进行实时检测，通过最小化关键点和模型关键点误差的方式拟合人脸表情参数。将人脸表情参数应用到已经重建好的表情人脸模型中实现人脸表情的实时重建。该方法可以实现对单个人的人脸表情进行重建，也可以将一个人的表情应用到重建到另外一个人脸上，实现实时的人脸替换。

A real-time facial expression reconstruction method

【技术实现步骤摘要】
一种实时人脸表情重建方法
本专利技术涉及三维重建
，特别是指一种具有真实感的三维表情实时重建方法。
技术介绍
三维人脸重建广泛应用于人脸识别、三维影视动画制作等领域中。三维人脸重建中最经典的方法来自ThaomasVetter等人于1999年提出的三维形变模型(MorphableModel)。即通过n张人脸的线性组合获得一张新的人脸。原理如下：Smodel＝Savr+Si·αiTmodel＝Tavr+Ti·βi其中，Smodel为拟合的人脸模型，Savr为平均人脸模型，Si为第i张人脸和平均人脸的偏差。Tmodel为拟合的人脸纹理，Ti为第i张纹理和平均纹理的差值。三维形变模型的方法本质是求一组α和β拟合人脸。但是，由于此方法拟合人脸采用是利用图像和生成模型的纹理差作为目标函数，该方法速度较慢。对于三维人脸表情重建，需要对人脸表情进行实时拟合。因此传统的方法不能满足实时的需求。本专利技术针对此问题进行改进，使其可以满足实时要求。在拟合三维人脸模型时，如果可以提供深度信息，将会大大提升3D模型的准确性，尤其是对脸部凹凸程度的拟合会更加接近。因此，视频信息中侧脸的信息将会对提高人脸拟合的相似性。同时，在实时拟合人脸三维模型时，如果可以给模型加上表情，将会使三维模型看起来更加接近此时的输入视频信息，而人脸的表情也可以视为是一组表情的线性组合，因此只需求出每种表情的权重即可拟合出此时的表情。但是，同时拟合表情和脸型会导致拟合脸型时，将人脸的表情引起的产生变化视为基本的脸型，进而引起脸型拟合时发生畸变。对表情的重建有两种比较常见的方法：一种是基于光学流体流动测量的方法，它是基于面部动作编码系统中每个运动单元的运动轨迹，确定面部表情。然后将运动轨迹在3D模型上重建出来。但是，这种基于光学流体流动测量的方法容易受到非刚性运动(nonrigidmotion)和光照条件的影响，且如果图片的存储质量不佳或者视频的流畅程度不佳都会影响表情重建的精确性。另一种方法是根据面部五官等关键点的几何特性(如形状和位置)的变化确定面部表情。本专利采用的就是这种方法。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种具有真实感的三维表情表情的实时重建方法。提出以下具有创新性的改进：本专利技术的一种基于视频信息的三维头部表情的实时重建方法，包括步骤：A.对人脸的基本脸型以及基本表情进行手工建模，同时对模型的关键点进行标定；B.对一张正脸照片或多张照片或视频中的人脸进行关键点检测；C.利用人脸关键点与模型关键点对摄像机投影矩阵进行估计。D.利用人脸关键点与模型关键点的最小化误差准则对人脸模型进行脸型拟合，得到无表情的人脸模型。E.利用估计得到的摄像机投影矩阵、用户输入的照片、人脸三维模型对人脸的纹理进行提取。重建得到无表情带皮肤纹理的人脸模型。F.对输入的视频进行人脸关键点检测，计算人脸表情参数。G.将计算得到的表情参数应用到无表情的人脸模型上，实现三维人脸表情的重建。H.利用步骤C计算得到的摄像机投影矩阵，估计得到人脸的姿态。将人脸的姿态应用到带表情的人脸三维模型上，实现实时人脸姿态的同步。可选的，步骤A所述不同脸型包括下述脸型，且不同脸型仅有一处相对于平均脸型不同，根据相对于平均脸型的不同处描述的所述不同脸型包括：X等脸型。A中所述表情的基本模型包括图2所示的21种表情。步骤C包括：利用最小二乘法计算摄像机投影变换矩阵。由于人脸不同的姿态可以看成是相机从不同角度对同一个3D头部模型拍摄得到的不同图像。如图3所示，对于一个三维模型，从不同的角度得到的投影中的每一个点可以看成是对三维模型中的每个点做如下的线性变换：qi＝Rpi+t其中qi是相机空间中的坐标，pi是3维空间中的坐标；R是旋转变换矩阵，t是位移向量。这个问题近似等价成如下的最小二乘问题：subjecttoRTR＝I对于这样的带约束的最小二乘问题可以用奇异值分解的方法求解，解出R，t。因此，根据输入的二维图像信息可以计算出3D模型的旋转变换矩阵R和位移向量t，并可以此表示输入图像中的头部的姿态。可选的，步骤D包括：构建目标三维人脸模型对应的目标三维人脸特征其中，n表示脸型库中人脸模型包含的种类；表示脸型库的平均人脸特征，Si表示第i种人脸模型的特征，wi表示第i种人脸模型的权重，其约束满足0≤wi≤1；所述人脸特征以各个人脸特征关键点构成的特征矩阵表示；令Sdetection表示照片人脸特征；由于S可表示为向量S＝(x1，x2，...，xn，y1，y2，...yn，z1，z2，...zn)T的形式，故通过最小化重构三维人脸模型和对应的目标三维人脸模型之间的差异使w为：通过非负最小二乘求解器求解向量w，进而根据计算出S。由上，上述方式可以非常快的拟合出人脸三维模型，在测试中，对于本实施例的本拟合步骤，在配置为i7-4790型号CPU、8G内存的电脑上的运行时间为0.17ms。可选的，步骤E包括：根据照片中人脸的五官坐标、头部的平面纹理贴图的五官坐标，利用最小二乘法求解出平移缩放向量T＝{tx，ty，s}，其中tx、ty分别表示水平和垂直方向的偏移，s表示缩放向量；设照片人脸的像素信息为Pphoto(x，y)＝{rp，gp，bp}，设头部的平面纹理贴图的像素信息为Ptexture(x，y)＝{rt，gt，bt}，采用下述公式替换头部的平面纹理贴图的人脸部分：Ptexture((x+tx)·s，(y+ty)·s)＝{rp，gp，bp}。所述五官的坐标包括：由左眼左眼角、左眼右眼角、右眼左眼角、右眼右眼角、嘴唇左嘴角、嘴唇右嘴角，如图5所示。可选的，步骤E还包括了对人脸贴图的优化：计算头部的平面纹理贴图的平均肤色为其中r，g，b，分别为彩色图像中红、绿、蓝通道的值；提取照片人脸的各个关键点的皮肤颜色，并求均值对头部的平面纹理贴图中每个像素的颜色采用下述公式进行处理：由上，通过对颜色的处理，实现贴图后脸部区域与非脸部区域的色彩的平缓过渡，融合性强。融合后的效果图见图4。步骤F中对表情的拟合是在D中的基本表情确定之后进行的，对于表情的拟合也是采用线性拟合的方式，通过非负最小二乘法，求解出每种表情的权重。首先，构建带有面部表情的目标三维人脸模型对应的目标三维人脸特征其中，m表示脸型库中人脸模型包含的种类；表示平均的人脸特征，wi是第i种脸型的权重，其约束满足0≤wi≤1。Ej表示第i种表情模型的特征，wj表示第j种表情的权重，其约束满足0≤wi≤1；所述人脸特征以各个人脸特征关键点构成的特征矩阵表示；令Edetection表示照片人脸特征；由于E可表示为向量E＝(x1，x2，...，xn，y1，y2，...yn，z1，z2，...z本文档来自技高网...

【技术保护点】
1.一种基于视频的三维人脸表情重建方法，其特征在于，包括步骤：/nA.对人脸的基本脸型以及基本表情进行手工建模，同时对模型的关键点进行标定；/nB.对一张正脸照片或多张照片或视频中的人脸进行关键点检测；/nC.利用人脸关键点与模型关键点对摄像机投影矩阵进行估计。/nD.通过最小化人脸关键点与模型关键点之间的误差对人脸模型进行脸型拟合，得到无表情的人脸模型。/nE.利用估计得到的摄像机投影矩阵、用户输入的照片、人脸三维模型对人脸的纹理进行提取。重建得到无表情带皮肤纹理的人脸模型。/nF.对输入的视频进行人脸关键点检测，计算人脸表情参数。/nG.将计算得到的表情参数应用到无表情的人脸模型上，实现三维人脸表情的重建。/nH.利用步骤C计算得到的摄像机投影矩阵，估计得到人脸的姿态。将人脸的姿态应用到带表情的人脸三维模型上，实现实时人脸姿态的同步。/n

【技术特征摘要】
1.一种基于视频的三维人脸表情重建方法，其特征在于，包括步骤：
A.对人脸的基本脸型以及基本表情进行手工建模，同时对模型的关键点进行标定；
B.对一张正脸照片或多张照片或视频中的人脸进行关键点检测；
C.利用人脸关键点与模型关键点对摄像机投影矩阵进行估计。
D.通过最小化人脸关键点与模型关键点之间的误差对人脸模型进行脸型拟合，得到无表情的人脸模型。
E.利用估计得到的摄像机投影矩阵、用户输入的照片、人脸三维模型对人脸的纹理进行提取。重建得到无表情带皮肤纹理的人脸模型。
F.对输入的视频进行人脸关键点检测，计算人脸表情参数。
G.将计算得到的表情参数应用到无表情的人脸模型上，实现三维人脸表情的重建。
H.利用步骤C计算得到的摄像机投影矩阵，估计得到人脸的姿态。将人脸的姿态应用到带表情的人脸三维模型上，实现实时人脸姿态的同步。


2.F中所述基本表情的基本模型...

【专利技术属性】
技术研发人员：王刚，
申请(专利权)人：北京奇幻科技有限公司，
类型：发明
国别省市：北京;11