本公开提供数字人表情及其模型生成方法、装置和VR设备的外挂系统。数字人表情生成方法包括捕捉表演者的表情视频；选择表情视频中的多个帧或全部帧，使用主动外观模型进行拟合来为选择的每一帧获得多个面部特征点；基于为每一帧获得的多个面部特征点和预先确定的从人脸表情拟合到数字人的3D模型的映射关系，计算用于驱动数字人的3D模型的表情的多个控制器的数值；其中得到主动外观模型包括以下步骤：基于训练集中所标注的多个面部特征点训练形状模型、纹理模型，并且通过扰动实验获得回归矩阵，该回归矩阵表示通过扰动实验获得的参数变化与纹理残差之间的关系。本公开的实施例实现将人脸表情实时迁移到数字人的3D模型，精准追踪面部表情。追踪面部表情。追踪面部表情。
【技术实现步骤摘要】
数字人表情及其模型生成方法、装置和VR设备的外挂系统
[0001]本公开涉及对人脸表情的捕捉和图像处理技术，具体而言，涉及一种数字人表情生成方法、数字人表情模型生成方法、装置及使用该装置的VR设备的外挂系统。
技术介绍
[0002]电影/电视、游戏、广告新媒体、虚拟现实等产业都需要使用大量逼真的三维数据组成的虚拟人。表情是人类传递情感的主要媒介，细节的运动节奏与幅度都参与情感传递，人脸表情追踪的准确度和精度对虚拟人的操控逼真度有直接影响。
[0003]此外，如果将表演者(也称为使用者)的表情动画迁移到对应的虚拟人的模型上，一般需要手动建模和大量的动画处理时间，以将虚拟人的面部表情动画制作得更逼真，制作过程费时并且昂贵。现有的便携式表情采集装置只能采集脸部的少量采样点，不能保留表演者的表情细节并将其迁移到目标的虚拟人的面部，因此无法还原微表情级别的表演。
[0004]再者，目前虚拟现实(VR)行业没有成熟的面部捕捉系统，无法对人脸进行准确的面部追踪，这使得VR设备在进行社交和表情交互游戏时，存在脸部表情僵化，不够逼真且不流畅等问题，实际体验并不理想。
技术实现思路
[0005]本公开提供一种数字人表情模型生成方法、数字人表情生成方法和装置来实现人脸面部表情的追踪和迁移，并且提供一种VR设备的外挂系统，其可以连接到现有的VR设备，实现对人类面部表情的追踪。
[0006]为了解决上述技术问题中的至少之一，根据本公开的第一方面，本公开的实施例提供了一种数字人表情模型生成方法，其包括基于训练集中标注的多个面部特征点训练形状模型和纹理模型，通过扰动实验获得回归矩阵，该回归矩阵表示通过所述扰动实验获得的参数变化与纹理残差之间的关系，该训练集包括多张包含人脸表情的图片，作为多个关键帧；为每个关键帧的表情调节多个控制器的数值，得到相似度高的对应的数字人的表情，该多个控制器用于控制数字人的3D模型的表情；基于调节后的所述多个控制器的数值以及所述标注的多个面部特征点的坐标确定从所述人脸表情拟合到数字人的3D模型的映射关系。
[0007]可选的，所述扰动实验包括缩放尺度的扰动值的变化、旋转角度的扰动值的变化、平移的扰动值的变化、形状模型的形状参数的扰动值的变化和纹理模型的参数的扰动值的变化。
[0008]可选的，基于所述调节后的所述多个控制器的数值以及所述标注的多个面部特征点的坐标确定从人脸表情拟合到数字人的3D模型的映射关系的所述步骤包括使用以下等式进行拟合，
[0009][0010]其中基函数，x为所述多个面部特征点的坐标，N为所述多个关键帧的数量，y为所述多个控制器的数值；
[0011]通过求解上述等式，为每个关键帧获得一组权重w，将为所述多个关键帧所得到的权重作为从所述人脸表情拟合到所述数字人的3D模型的映射关系。
[0012]可选的，所述训练集是在预先获得的表情视频中选出的所述多个关键帧。
[0013]可选的，每个控制器的数值表示数字人的某一个特定表情的呈现强度。
[0014]可选的，所述形状模型的训练包括将所述训练集中的面部特征点的坐标与平均参考特征点对齐，对变换后的训练集进行主成分分析获得形状模型。
[0015]可选的，平均参考特征点通过以下方式得到：(1)获得初始化的平均参考特征点；(2)将训练集中的面部特征点与平均参考特征点对齐，并将对齐后的面部特征点平均，得到更新后的平均参考特征点，对步骤(2)迭代直到训练集中的面部特征点与平均参考特征点的误差在容许范围。
[0016]可选的，所述纹理模型的训练包括使用仿射变换在训练集与平均参考特征点之间的对应的小三角形中进行纹理变换。
[0017]根据本公开的第二方面，本公开的实施例提供一种数字人表情生成方法，其包括：捕捉表演者的表情视频；选择所述表情视频中的多个帧或者全部帧，使用主动外观模型进行拟合来为选择的每一帧获得多个面部特征点；基于为所述多个帧或者全部帧中的每一帧获得的所述多个面部特征点和预先确定的从人脸表情拟合到数字人的3D模型的映射关系，计算用于驱动所述数字人的3D模型的表情的多个控制器的数值；
[0018]其中得到所述主动外观模型包括以下步骤：基于训练集中所标注的多个面部特征点训练形状模型、纹理模型，并且通过扰动实验获得回归矩阵，该回归矩阵表示通过所述扰动实验获得的参数变化与纹理残差之间的关系，其中所述训练集包括多张包含人脸表情的图片。
[0019]可选的，得到所述从人脸表情拟合到数字人的3D模型的映射关系包括以下步骤：为所述训练集中的每个人脸表情调节所述多个控制器的数值，得到相似度高的对应的数字人的表情；基于调节后的所述多个控制器的数值以及所述训练集中所述标注的多个面部特征点的坐标得到从所述人脸表情拟合到数字人的3D模型的映射关系。
[0020]可选的，所述使用所述主动外观模型进行拟合，为选择的每一帧获得多个面部特征点的步骤包括：
[0021](1)根据给定的初始化参考点获得纹理特征；
[0022](2)获得纹理特征与平均纹理特征之间的差值作为纹理残差，通过调整纹理模型的参数来获得新的平均纹理特征；
[0023](3)根据回归矩阵和所述纹理残差，求得参数变化矩阵，得到形状参数和新的纹理
特征，
[0024]对步骤(2)和(3)迭代直到超过设置的纹理残差的阈值或者最大的迭代次数之后停止迭代。
[0025]可选的，所述纹理模型的参数通过以下纹理模型公式来调整：
[0026][0027]其中g是纹理特征，是平均纹理特征，Φ
ɡ
是纹理特征空间的基向量，b
ɡ
是纹理特征模型的特征值。
[0028]可选的，所述计算用于驱动所述数字人的3D模型的表情的所述多个控制器的数值的步骤包括将所述多个面部特征点的坐标带入以下等式，求得所述多个控制器的数值，
[0029][0030]其中为基函数，x为所述面部特征点的坐标，N为所选择的帧的数量，y为所述多个控制器的数值；
[0031]权重w基于所述训练集中所标注的多个面部特征点用所述等式预先计算，作为从所述人脸表情拟合到数字人的3D模型的映射关系。
[0032]可选的，所述训练集中包含的所述多张图片是在预先获得的表情视频中选出的多个关键帧。
[0033]根据本公开的第三方面，本公开的实施例提供计算机可读存储介质，其上存储有计算机程序，其中，当该程序被处理器执行时实现如第一方面实施例所述的数字人表情模型生成方法；或者，当该程序被处理器执行时实现如第二方面实施例所述的数字人模型生成方法。
[0034]根据本公开的第四方面，本公开的实施例提供一种数字人表情生成装置，其包括摄像机，用于捕捉表演者的表情视频；
[0035]视频捕捉控制器，从所述摄像机接收拍摄的视频，并且向所述摄像机发送拍摄指令；
[0036]处理器；
[0037]存储器，存储有计算机程序，所述计算机程序包括指令，当所述本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数字人表情生成方法，其包括：捕捉表演者的表情视频；选择所述表情视频中的多个帧或者全部帧，使用主动外观模型进行拟合来为选择的每一帧获得多个面部特征点；基于为所述多个帧或者全部帧中的每一帧获得的所述多个面部特征点和预先确定的从人脸表情拟合到数字人的3D模型的映射关系，计算用于驱动所述数字人的3D模型的表情的多个控制器的数值；其中得到所述主动外观模型包括以下步骤：基于训练集中所标注的多个面部特征点训练形状模型、纹理模型，并且通过扰动实验获得回归矩阵，该回归矩阵表示通过所述扰动实验获得的参数变化与纹理残差之间的关系，其中所述训练集包括多张包含人脸表情的图片。2.如权利要求1所述的数字人表情生成方法，其中得到所述从人脸表情拟合到数字人的3D模型的映射关系包括以下步骤：为所述训练集中的每个人脸表情调节所述多个控制器的数值，得到相似度高的对应的数字人的表情；基于调节后的所述多个控制器的数值以及所述训练集中所述标注的多个面部特征点的坐标得到从所述人脸表情拟合到数字人的3D模型的映射关系。3.如权利要求1所述的数字人表情生成方法，其中所述使用所述主动外观模型进行拟合，为选择的每一帧获得多个面部特征点的步骤包括：(1)根据给定的初始化参考点获得纹理特征；(2)获得纹理特征与平均纹理特征之间的差值作为纹理残差，通过调整所述纹理模型的参数来获得新的平均纹理特征；(3)根据回归矩阵和所述纹理残差，求得参数变化矩阵，得到形状参数和新的纹理特征，对步骤(2)和(3)迭代直到超过设置的纹理残差的阈值或者最大的迭代次数之后停止迭代。4.如权利要求3所述的数字人表情生成方法，其中所述纹理模型的参数通过以下纹理模型等式来调整：其中g是纹理特征，是平均纹理特征，Φ
ɡ
是纹理特征空间的基向量，b
ɡ
是纹理模型的参数，用纹理特征模型的特征值表示。5.如权利要求1所述的数字人表情生成方法，其中所述计算用于驱动所述数字人的3D模型的表情的所述多个控制器的数值的步骤包括将所述多个面部特征点的坐标带入以下等式，求得所述多个控制器的数值，
其中为基函数，x为所述多个面部特征点的坐标，N为所选择的帧的数量，y为所述多个控制器的数值；权重w基于所述训练集中所述标注的多个面部特征点用所述等式预先计算，作为从所述人脸表情拟合到数字人的3D模型的映射关系。6.如权利要求1所述的数字人表情生成方法，其中所述训练集中包含的所述多张图片是在预先获得的表情视频中选出的多个关键帧。7.一种数字人表情模型生成方法，其包括：基于训练集中标注的多个面部特征点训练形状模型和纹理模型，通过扰动实验获得回归矩阵，该回归矩阵表示通过所述扰动实验获得的参...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：奥丁信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。