【技术实现步骤摘要】
本申请涉及数字人面部驱动，具体涉及基于深度学习的数字人面部驱动方法。
技术介绍
1、数字人生成过程中，最令使用者注意的一点就是人脸面部的表情驱动，而面部表情驱动方法中最常用的方法就是将人脸分为多个互不干扰的面部运动基本单元，通过控制每个运动基本单元来实现人脸的表情生成。
2、此方法通常先将生成数字人人脸模型的点云数据和标准人脸模型上的点云数据进行一一匹配，然后根据标准人脸模型的做出表情驱动数字人人脸点云数据，完成对数字人人脸的表情驱动，使数字人做出面部表情。其中点云驱动的方法分为基于稀疏点云驱动迁移算法以及基于稠密模型驱动的迁移算法，后者能做出细腻的表情，但是计算量大延迟高。前者能使数字人快速反应出表情，但是其反应出数字人表情质量较差，容易出现不真实感。
3、基于稀疏点云驱动迁移算法中，由于其采用均匀的点云网格代替稠密的点云数据，在提升计算速度时牺牲了面部表情的真实感，因此本实施例对点云网格的分布进行改进，能够在提升计算速度时保证面部表情的真实感。
技术实现思路
1、为了解决上述技术问题，本申请提供基于深度学习的数字人面部驱动方法，以解决现有的问题。
2、本申请的基于深度学习的数字人面部驱动方法采用如下技术方案：
3、本申请一个实施例提供了基于深度学习的数字人面部驱动方法，该方法包括以下步骤：
4、采集目标数字人的脸部点云数据集中的目标数据点、标准数字人的脸部点云数据集中的模型数据点，基于人脸肌肉模型中的各脸部肌肉区域，划
5、将目标数据点和模型数据点统称为数据点，获取各数据点的各邻域数据点；基于目标数据点和模型数据点之间的关系获取各目标数据点的法向量方向变异度；基于法向量方向变异度以及各目标数据点与其各邻域数据点之间的距离，获取目标数据点与其各邻域数据点之间的数字人面部方向梯度；
6、基于数字人面部方向梯度，获取各目标数据点的面部皱纹强度指数；
7、基于面部皱纹强度指数以及模型数据点在表情基上的变化，获取各肌肉区域在各表情基上的面部肌肉表情强度指数；基于模型数据点从人脸肌肉模型上到表情基上的变化，获取各模型数据点的脸肌区域内稀疏点云权重；
8、基于面部肌肉表情强度指数和脸肌区域内稀疏点云权重对数字人面部进行驱动。
9、进一步，所述各邻域数据点的获取方法为：
10、对于各数据点，以数据点为中心，获取与数据点的单位法向量垂直、且所述数据点所在的平面作为各数据点的邻域平面，在邻域平面上，以数据点为中心向外做预设个数条射线，将所述预设个数条射线作为中心的数据点的各子区域方向射线，根据预设条数射线将邻域平面划分为预设个数个区域作为邻域平面的子区域；
11、对于以各数据点为中心的邻域平面中的各子区域，将子区域的垂直空间中，与中心的数据点距离最小的数据点作为中心的数据点在子区域中的邻域数据点。
12、进一步，所述目标数据点的法向量方向变异度的获取方法为：
13、将目标数字人和标准数字人的脸部点云数据集作为输入，采用配准框架获取目标数字人的脸部点云数据集中的数据点与标准数字人的脸部点云数据集中的数据点之间的匹配关系，将目标数字人的脸部点云数据集中的数据点与标准数字人的脸部点云数据集中的匹配成功的数据点作为一对匹配数据点；
14、使用向量估算算法获取目标数据点的目标点云方向向量和模型数据点的模型点云方向向量；
15、对于目标数字人的脸部点云数据集中的各目标数据点，获取目标数据点在标准数字人的脸部点云数据集中的匹配数据点作为目标数据点的第一匹配数据点，计算目标数据点的目标点云方向向量与目标数据点的第一匹配数据点的模型点云方向向量之间的差值的模长作为第一差值向量模长；
16、计算目标数据点的目标点云方向向量与目标数据点的各邻域数据点的目标点云方向向量之间的差值的模长作为第二差值向量模长，所述法向量方向变异度与第一差值向量模长、第二差值向量模长均为正相关关系。
17、进一步，所述数字人面部方向梯度获取方法为：
18、在目标数字人的脸部点云数据集中，计算各目标数据点法向量方向变异度与其各邻域数据点的法向量变异度的差值作为第一差值，计算各目标数据点与其各邻域数据点的之间的距离作为第一距离，所述数字人面部方向梯度与所述第一差值为正相关关系，与所述第一距离为负相关关系。
19、进一步，所述面部皱纹强度指数的获取方法为：
20、基于数字人面部方向梯度获取各目标数据点的所有方向邻域数据点和相反方向邻域数据点，对于各方向邻域数据点和各相反方向邻域数据点，将各目标数据点的各方向邻域数据点和各相反方向邻域数据点组成的集合作为各目标数据点的各方向邻域点集合；
21、对于各目标数据点的各方向邻域点集合，获取方向邻域点集合中各数据点的数字人面部方向梯度；对于各目标数据点，获取目标数据点的数字人面目方向梯度在其所有方向邻域点集合中为最大值的次数作为各目标数据点的面部皱纹强度指数。
22、进一步，所述方向邻域数据点的获取方法为：
23、对于各目标数据点的邻域平面的各子区域，获取目标数据点与其邻域平面的各子区域的邻域数据点，作为目标数据点的对应子区域所在方向的第一方向邻域数据点；在第一方向邻域数据点的邻域平面中，获取与所述子区域方向相同的子区域中的邻域数据点，作为第一方向邻域数据点，直至获取所有第一方向邻域数据点；
24、获取第二方向邻域数据点、第三方向邻域数据点、第四方向邻域数据点的方法与第一方向邻域数据点的获取方法相同。
25、进一步，所述相反方向邻域数据点的获取方法为：
26、对于各目标数据点的邻域平面，获取与所述子区域方向相反的子区域作为相反子区域，将相反子区域中的邻域数据点作为目标数据点的第一相反方向邻域数据点；在第一相反方向邻域数据点的邻域平面中，获取与相反子区域方向相同的子区域中的邻域数据点，作为第一相反方向邻域数据点，直至获取所有第一相反方向邻域数据点；
27、获取第二相反方向邻域数据点、第三相反方向邻域数据点、第四相反方向邻域数据点的方法与第一相反邻域数据点的获取方法相同。
28、进一步，所述面部肌肉表情强度指数的获取方法为：
29、获取表情基，将各表情基上移动后的模型数据点组成的点云结构作为各表情基的稀疏点云结构；所述表情基为有各种表情的人脸模型；
30、对于各表情基的稀疏点云结构中各模型数据点，使用单位法向量估算算法获取各模型数据点的表情模型点云方向向量；
31、对于人脸肌肉模型中各脸部肌肉区域，将脸部肌肉区域中各模型数据点的匹配的目标数据点的面部皱纹强度指数进行归一化处理，作为各模型数据点的面部皱纹强度权重；
32、对于各模型数据点，计算模型数据点在人脸肌肉模型上的模型点云方向向量与在各表情基上的表情模型本文档来自技高网...
【技术保护点】
1.基于深度学习的数字人面部驱动方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于深度学习的数字人面部驱动方法，其特征在于，所述各邻域数据点的获取方法为：
3.如权利要求1所述的基于深度学习的数字人面部驱动方法，其特征在于，所述目标数据点的法向量方向变异度的获取方法为：
4.如权利要求1所述的基于深度学习的数字人面部驱动方法，其特征在于，所述数字人面部方向梯度获取方法为：
5.如权利要求1所述的基于深度学习的数字人面部驱动方法，其特征在于，所述面部皱纹强度指数的获取方法为：
6.如权利要求5所述的基于深度学习的数字人面部驱动方法，其特征在于，所述方向邻域数据点的获取方法为：
7.如权利要求6所述的基于深度学习的数字人面部驱动方法，其特征在于，所述相反方向邻域数据点的获取方法为：
8.如权利要求3所述的基于深度学习的数字人面部驱动方法，其特征在于，所述面部肌肉表情强度指数的获取方法为：
9.如权利要求8所述的基于深度学习的数字人面部驱动方法，其特征在于，所述脸肌区域内稀疏
10.如权利要求8所述的基于深度学习的数字人面部驱动方法，其特征在于，所述对数字人面部进行驱动，包括：
...【技术特征摘要】
1.基于深度学习的数字人面部驱动方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于深度学习的数字人面部驱动方法，其特征在于，所述各邻域数据点的获取方法为：
3.如权利要求1所述的基于深度学习的数字人面部驱动方法，其特征在于，所述目标数据点的法向量方向变异度的获取方法为：
4.如权利要求1所述的基于深度学习的数字人面部驱动方法，其特征在于，所述数字人面部方向梯度获取方法为：
5.如权利要求1所述的基于深度学习的数字人面部驱动方法，其特征在于，所述面部皱纹强度指数的获取方法为：
6.如权利...
【专利技术属性】
技术研发人员：朱光辉，赵衍维，
申请(专利权)人：江苏物润船联网络股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。