一种基于人工智能的实时面部表情捕捉方法技术

本发明专利技术公开了一种基于人工智能的实时面部表情捕捉方法，包括以下步骤：S1：分别构建三维人脸数据库和人脸图像数据库；S2：针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的52个标准表情对应的Blendshapes。通过使用普通的web摄像头就可以捕捉面部表情，从而节约成本，不针对特定的用户，任意普通用户都可以识别，容易推广。算法速度快、帧率高，可以达到几百帧，可以移植到移动端。本发明专利技术的一种实时面部表情捕捉方法实时驱动动画模型，为影视动画和游戏制作节约了时间成本，并能做出更加细腻和生动的表情。还能对人脸进行无缝贴图，换脸操作，而且可以实时重建出本人的三维人脸模型。人脸模型。

【技术实现步骤摘要】
一种基于人工智能的实时面部表情捕捉方法


[0001]本专利技术涉及计算机视觉
，具体为一种基于人工智能的实时面部表情捕捉方法。

技术介绍

[0002]增强现实技术(AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。目前市场上已经有一些与面部AR相关的应用，比如AR头套、AR染发、AR口红、AR人脸贴纸等，以及一些带交互功能的app，如Face激萌、抖音、B612、美颜相机等。
[0003]国内存在的与面部动作相关的AR应用，在效果上存在如下缺陷：(1)国内市场上的表情迁移对姿态、面部动作的捕捉都不够精确，或者有的动作根本捕捉不到，并且不稳定，不流畅；(2)面部贴纸应用只对嘴部动作有跟踪，眼睛周围的动作并没有实时跟踪；(3)只能捕捉到一些基本的脸部表情动作，像张嘴，笑，并不能复制更多的面部动作，即面部动作捕捉存在局限性。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种基于人工智能的实时面部表情捕捉方法。
[0006](二)技术方案
[0007]为实现上述目的，本专利技术提供如下技术方案：一种基于人工智能的实时面部表情捕捉方法，包括以下步骤：
[0008]S1：分别构建三维人脸数据库和人脸图像数据库；
[0009]S2：针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的52个标准表情对应的Blendshapes；
[0010]S3：对所述三维人脸数据库进行重建，重构出三维人脸形状模型作为训练数据集；
[0011]S4：对所述训练数据集进行训练，得到一个模型回归器；
[0012]S5：使用摄像头采集实时视频，利用所述模型回归器，对摄像头采集到的视频序列中的图像计算得到相应的矢量参数，从而计算出所述视频序列中的图像的特征点；
[0013]S6：所述矢量参数进行归一化处理，使所述矢量参数满足条件约束；
[0014]S7：从面部图像特征点中提取与FACS表情单元相对应的几何特征，并将几何特征添加至几何特征样本集；
[0015]S8：对待识别的人脸图像进行关键点检测，筛选出关键点并进行归一化处理，得到
归一化后的关键点；
[0016]S9：将归一化后的人脸关键点输入表情识别模型，预测出此时人脸表情的变化程度；
[0017]S10：最后将归一化后的所述矢量参数赋值给动画模型的Blendshapes来实时驱动动画显示，并替换当前的人脸图像。
[0018]在本专利技术实施例中，分别构建三维人脸数据库和人脸图像数据库，具体包括：
[0019]通过Kinect摄像机录制若干人数的人脸深度信息，并根据每个人标准的52个表情模型变形出每个人的人脸表情模型作为三维人脸数据库；
[0020]使用FaceWarehouse、LFW、UDP三套人脸图像数据库，并且对所述人脸图像数据库进行手动标注面部特征点；
[0021]然后找出所述面部特征点在所述表情模型中所赌赢的顶点，并记录在文件中。
[0022]在本专利技术实施例中，针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的Blendshapes，具体包括：
[0023]使用录制的三维人脸数据库构建一个三维张量空间，通过奇异值分解将若干个用户模型修剪为多个最不相关模型，并计算得到网络模型；
[0024]使用两步迭代优化的方式来计算不同用户的Blendshapes。
[0025]在本专利技术实施例中，所述S7中还包括以下步骤：
[0026]K1：根据潜在误差大小为几何特征样本设置权重，权重值最高为1，最低为0；
[0027]K2：为待添加的几何特征样本增加补偿样本；假设样本的真实值服从高斯分布：
[0028]sv，ω～N(μ，σ2)
[0029]其中，sv，ω表示观测值为v，权重为ω的样本的真实值，μ＝v，σ＝
‑
lnω；为了补全因误差缺失的信息，需要从观测样本的左右两侧各取一个权重为(1
‑
ω)/2的补偿样本，然后一起添加到样本集，设补偿样本的值为v
′
，则有：
[0030][0031]其中f为高斯分布的概率密度函数；根据公式(2)计算出v
′
的值；
[0032]K3：样本集已满时进行最近邻样本加权合并；对某个新加入的几何特征样本，在样本集中找到其最近邻样本，然后对这两个样本进行加权合并以形成一个新样本；
[0033]合并后样本集中的样本总数保持不变。
[0034]在本专利技术实施例中，所述S7还包括：
[0035]K1：定义表情单元变化区间；每个表情单元变化区间由三个节点值确定，分别是负极限、无表情和正极限，对应的表情单元的系数分别是
‑
1，0和1；
[0036]K2用最近邻样本合并方法求中间节点；具体方法为：不断进行最近邻样本加权合并，直到样本集仅剩三个样本，此时中间样本即为表情单元变化区间的中间节点，即“无表情”节点；
[0037]K3：用离群点剔除方法分别求出左右节点；寻找左节点，即“负极限”节点，算法步骤如下：从最左侧样本开始依次向右扫描并计数，
[0038](1)若相邻样本距离大于负向样本集宽度的l％，则移除左侧样本并重新计数；
[0039](2)若计数达到负向样本总数的k％，或已扫描的样本数达到m％，则终止。
[0040]在本专利技术实施例中，所述S8中还包括：
[0041]使用人脸关键点检测工具对待识别的人脸图像进行关键点检测，筛选出与训练数据对应的关键点；对筛选出的关键点坐标进行归一化处理，得到归一化后的关键点。
[0042]在本专利技术实施例中，所述S9中还包括：
[0043]将归一化后的人脸关键点输入到所述表情识别模型，预测出此时人脸表情的变化程度。
[0044]在本专利技术实施例中，所述表情，包括，抬眉毛、皱眉、闭眼、张嘴。
[0045](三)有益效果
[0046]与现有技术相比，本专利技术提供了一种基于人工智能的实时面部表情捕捉方法，具备以下有益效果：
[0047]1、该一种基于人工智能的实时面部表情捕捉方法，通过使用普通的web摄像头就可以捕捉面部表情，从而节约成本，不针对特定的用户，任意普通用户都可以识别，容易推广。算法速度快、帧率高，可以达到几百帧，可以移植到移动端。本专利技术的一种实时面部表情捕捉方法实时驱动动画模型，为影视动画和游戏制作节约了时间成本，并能做出更加细腻和生动的表情。还能对人脸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的实时面部表情捕捉方法，其特征在于，包括以下步骤：S1：分别构建三维人脸数据库和人脸图像数据库；S2：针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的52个标准表情对应的Blendshapes；S3：对所述三维人脸数据库进行重建，重构出三维人脸形状模型作为训练数据集；S4：对所述训练数据集进行训练，得到一个模型回归器；S5：使用摄像头采集实时视频，利用所述模型回归器，对摄像头采集到的视频序列中的图像计算得到相应的矢量参数，从而计算出所述视频序列中的图像的特征点；S6：所述矢量参数进行归一化处理，使所述矢量参数满足条件约束；S7：从面部图像特征点中提取与FACS表情单元相对应的几何特征，并将几何特征添加至几何特征样本集；S8：对待识别的人脸图像进行关键点检测，筛选出关键点并进行归一化处理，得到归一化后的关键点；S9：将归一化后的人脸关键点输入表情识别模型，预测出此时人脸表情的变化程度；S10：最后将归一化后的所述矢量参数赋值给动画模型的Blendshapes来实时驱动动画显示，并替换当前的人脸图像。2.根据权利要求1所述的一种基于人工智能的实时面部表情捕捉方法，其特征在于，分别构建三维人脸数据库和人脸图像数据库，具体包括：通过Kinect摄像机录制若干人数的人脸深度信息，并根据每个人标准的52个表情模型变形出每个人的人脸表情模型作为三维人脸数据库；使用FaceWarehouse、LFW、UDP三套人脸图像数据库，并且对所述人脸图像数据库进行手动标注面部特征点；然后找出所述面部特征点在所述表情模型中所赌赢的顶点，并记录在文件中。3.根据权利要求1所述的一种基于人工智能的实时面部表情捕捉方法，其特征在于，针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的Blendshapes，具体包括：使用录制的三维人脸数据库构建一个三维张量空间，通过奇异值分解将若干个用户模型修剪为多个最不相关模型，并计算得到网络模型；使用两步迭代优化的方式来计算不同用户的Blendshapes。4.根据权利要求1所述的一种基于人工智能的实时面部表情捕捉方法，其特征在于，所述S7中还包括以下步骤：K1：根据潜在误差大小为几何特征样本设置权重，权重值最高为1，最低为0；...

【专利技术属性】
技术研发人员：池前程，
申请(专利权)人：武汉奥贝赛维数码科技有限公司，
类型：发明
国别省市：