一种基于深度学习的语音驱动3D人物面部表情方法技术

本发明专利技术提供一种基于深度学习的语音驱动3D人物面部表情方法，包括以下步骤：从制作好的动画中获取语音并提取语音特征以得到融合语音特征，将其与控制器参数对应起来构成训练数据；搭建深度学习网络模型，对语音特征从多个维度进行建模，得到抽象特征用于训练和回归预测，得到面部表情控制器参数；将融合语音特征输入上述模型中，通过实际输出与目标输出的均方误差，利用Adam优化器最小化误差，优化网络参数，得到最终模型；将语音特征经过处理后输入深度学习网络模型中，回归预测得到控制器参数，用输出的控制器参数驱动动画模型以生成面部表情动画，可以更快地得到更加稳定的动画出品，同时降低了人力和时间成本。同时降低了人力和时间成本。

【技术实现步骤摘要】
一种基于深度学习的语音驱动3D人物面部表情方法


[0001]本专利技术涉及动画制作
，具体涉及一种基于深度学习的语音驱动3D人物面部表情方法。

技术介绍

[0002]在现有的动画制作技术中，3D人物面部表情一般先由拍摄现场的面部捕捉技术捕捉到初步表情动画，再由制作人员制作，手动调整控制器参数值，最后得到最终面部表情动画。这个过程因为是人工参与的，所以需要耗费大量的时间和人力，而且由于制作人员的因素，最后的3D人物面部表情动画效果可能参差不齐。
[0003]申请号为CN202011413230.2的专利技术专利公开了一种基于深度学习框架的数字人面部表情动画自动迁移方法，使用神经网络学习不同模型之间动画控制器通道参数之间的映射关系，从而实现用已知模型动画去驱动另一模型动画的效果，但该技术依赖数字人表情模型输入的质量，需要作出多帧模型作为训练数据，前期准备则需要耗费时间和人力，同时对表情模型的要求也比较高。

技术实现思路

[0004]本专利技术的目的是提供一种基于深度学习的语音驱动3D人物面部表情方法，得到更加稳定的动画出品，同时降低了人力和时间成本。
[0005]本专利技术提供了如下的技术方案：一种基于深度学习的语音驱动3D人物面部表情方法，包括以下步骤：S1、从制作好的动画中获取每帧动画人物面部表情的控制参数及对应的语音，提取多种语音特征并进行拼接融合得到融合语音特征，将所述融合语音特征与控制器参数对应起来，共同构成训练数据；S2、搭建深度学习网络模型，对所述语音特征从多个维度进行建模，得到抽象特征以用于训练和回归预测，得到面部表情控制器参数；S3、模型训练，将步骤S1所述的融合语音特征输入至步骤S2所述的深度学习网络模型中获取实际输出，将语音特征对应的表情控制器参数作为网络的目标输出，获取实际输出与目标输出的均方误差，利用Adam优化器最小化误差，优化网络参数；S4、根据步骤S3的步骤训练若干轮数，以得到最终模型；S5、将一条语音特征经过特征提取和处理后输入所述深度学习网络模型中，回归预测得到一系列控制器参数，用输出的控制器参数驱动动画模型以生成面部表情动画。
[0006]优选的，步骤S2的所述深度学习网络模型包括若干层CNN网络层，其每层均对融合语音特征在特征维度上进行卷积操作，以实现对特征的降维处理，得到抽象特征；RNN层，其采用双向lstm网络，对所述CNN层提取出的特征做时间维度上的序列建模，得到特征向量；
全连接网络层，对所述特征向量进行回归预测，以得到面部表情控制器参数值。
[0007]优选的，步骤S3所述的均方误差的计算公式为：MSELoss=，其中，Y为输入特征对应的控制器参数值，即目标输出；Z为输入特征输入所述深度学习网络模型中回归预测得到的控制参数，即实际输出；n为训练时样本大小；m为控制器参数维度，即最后的全连接网络层维度值。
[0008]优选的，所述CNN网络层为7层，所述RNN层为1层，所述全连接网络层为两层，所述全连接网络层包括一层隐藏层。
[0009]优选的，步骤S1所述的从制作好的动画中获取每帧动画人物面部表情的控制参数包括从制作好的maya动画中提取控制器参数。
[0010]优选的，步骤S1所述的语音特征包括fbank语音特征和mfcc语音特征，并通过deepspeech开源模型的中间特征和所述语音特征在特征维度上拼接融合，作为训练用的融合语音特征。
[0011]优选的，在进行模型训练时，采用前后q帧的语音特征用于当前帧的语音特征来训练数据，其中，q≥1。
[0012]优选的，步骤S5中，将模型预测得到的控制器参数值，通过maya或ue，使得每一组控制器参数对模型产生一次形变，连起来以得到3D人物面部表情动画。
[0013]本专利技术的有益效果是：（1）本专利技术通过语音端推理得到对应的3D人物面部表情控制器，摆脱了人的因素，得到更加稳定的动画出品，同时降低了人力和时间成本；（2）本专利技术将fbank特征和deepspeech深层特征拼接作为网络的输入，起到特征增强的作用，模型的泛化性能得到提升；（3）本专利技术通过若干CNN层和RNN层对原始特征进行多个维度上的建模，并用最后的若干全连接层回归出控制器参数预测值，大大提高了模型预测的准确率，保证最后的3D人物面部表情动画效果的质量。
具体实施方式
[0014]实施例一一种基于深度学习的语音驱动3D人物面部表情方法，包括以下步骤：S1、从制作好的动画中获取每帧动画人物面部表情的控制参数及对应的语音，提取多种语音特征并进行拼接融合得到融合语音特征，将融合语音特征与控制器参数对应起来，共同构成训练数据；S2、搭建深度学习网络模型，对语音特征从多个维度进行建模，得到抽象特征以用于训练和回归预测，得到面部表情控制器参数；S3、模型训练，将步骤S1的融合语音特征输入至步骤S2的深度学习网络模型中获取实际输出，将语音特征对应的表情控制器参数作为网络的目标输出，获取实际输出与目标输出的均方误差，利用Adam优化器最小化误差，优化网络参数；S4、根据步骤S3的步骤训练若干轮数，以得到最终模型；
S5、将一条语音特征经过特征提取和处理后输入深度学习网络模型中，回归预测得到一系列控制器参数，用输出的控制器参数驱动动画模型以生成面部表情动画。
[0015]本专利技术通过语音端推理得到对应的3D人物面部表情控制器，摆脱了人的因素，得到更加稳定的动画出品，同时降低了人力和时间成本。
[0016]实施例二一种基于深度学习的语音驱动3D人物面部表情方法，包括以下步骤：S1、从制作好的maya动画中获取每帧动画人物面部表情的控制参数及对应的语音，提取包括fbank语音特征和mfcc语音特征在内的多种语音特征，通过deepspeech开源模型的中间特征和语音特征在特征维度上拼接融合，将融合语音特征与控制器参数对应起来，共同构成训练数据，实验表明加入deepspeech特征后，模型的泛化性能得到提升；S2、搭建深度学习网络模型，其架构包括：若干层CNN网络层，其每层均对融合语音特征在特征维度上进行卷积操作，以实现对特征的降维处理，得到抽象特征；RNN层，其采用双向lstm网络，对CNN层提取出的特征做时间维度上的序列建模，得到特征向量；全连接网络层，全连接网络层包括一层隐藏层，对特征向量进行回归预测，以得到面部表情控制器参数值；S3、模型训练，将步骤S1的融合语音特征输入至步骤S2的深度学习网络模型中获取实际输出，将语音特征对应的表情控制器参数作为网络的目标输出，获取实际输出与目标输出的均方误差，其计算公式为：MSELoss=，其中，Y为输入特征对应的控制器参数值，即目标输出；Z为输入特征输入深度学习网络模型中回归预测得到的控制参数，即实际输出；n为训练时样本大小；m为控制器参数维度，即最后的全连接网络层维度值；再利用Adam优化器最小化误差，优化网络参数；S4、根据步骤S3的步骤训练若干轮数，以得到最终模型，具体的，在进行模型训练时，为了使最后结果更平滑，采用前后q帧的语音特征用于当前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，包括以下步骤：S1、从制作好的动画中获取每帧动画人物面部表情的控制参数及对应的语音，提取多种语音特征并进行拼接融合得到融合语音特征，将所述融合语音特征与控制器参数对应起来，共同构成训练数据；S2、搭建深度学习网络模型，对所述语音特征从多个维度进行建模，得到抽象特征以用于训练和回归预测，得到面部表情控制器参数；S3、模型训练，将步骤S1所述的融合语音特征输入至步骤S2所述的深度学习网络模型中获取实际输出，将语音特征对应的表情控制器参数作为网络的目标输出，获取实际输出与目标输出的均方误差，利用Adam优化器最小化误差，优化网络参数；S4、根据步骤S3的步骤训练若干轮数，以得到最终模型；S5、将一条语音特征经过特征提取和处理后输入所述深度学习网络模型中，回归预测得到一系列控制器参数，用输出的控制器参数驱动动画模型以生成面部表情动画。2.根据权利要求1所述的一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，步骤S2的所述深度学习网络模型包括若干层CNN网络层，其每层均对融合语音特征在特征维度上进行卷积操作，以实现对特征的降维处理，得到抽象特征；RNN层，其采用双向lstm网络，对所述CNN层提取出的特征做时间维度上的序列建模，得到特征向量；全连接网络层，对所述特征向量进行回归预测，以得到面部表情控制器参数值。3.根据权利要求1所述的一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，步骤S3...

【专利技术属性】
技术研发人员：赵锐，候志迎，李帆，
申请(专利权)人：江苏原力数字科技股份有限公司，
类型：发明
国别省市：