虚拟人授课动画生成方法、装置、计算机设备和存储介质制造方法及图纸

本申请属于人工智能的机器学习技术领域，可用于金融领域的投资教育、医疗领域的病理教学等场景，特别涉及一种虚拟人授课动画生成方法、装置、计算机设备和存储介质。方法包括：获取音频、人脸照片和动作视频，音频包括内容信息和感情信息；基于音频及预训练的声脸推理模型获得第一人脸关键点；基于人脸照片获得第二人脸关键点；根据第一人脸关键点和第二人脸关键点获取目标人脸文件；基于动作视频获得目标动作文件；将目标人脸文件和目标动作文件导入预设的虚拟人模型，获得脸部动画和身体动作动画；将脸部动画和身体动作动画合成，获得虚拟人模型的授课动画。上述方法、装置、计算机设备和存储介质可提高教学效果。和存储介质可提高教学效果。和存储介质可提高教学效果。

【技术实现步骤摘要】
虚拟人授课动画生成方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能
，具体而言，本申请涉及一种虚拟人授课动画生成方法、装置、计算机设备和存储介质。

技术介绍

[0002]目前，很多领域都有教学需求(如金融领域的投资教育、医疗领域的病理教学、教育领域的课程培训等)，网络视频教学也越来越流行，而聘请真人教师制作视频往往成本较高，这时虚拟人讲师的性价比较高，而且真人的吸引力往往也不如虚拟动画。现有的虚拟人教学动画也存在授课基本无表情动作，说话没有对应的口型等问题,而人脸的表情和口型对语言表达却很重要，因此需要投入更多的研究。

技术实现思路

[0003]本申请的主要目的为提供一种虚拟人授课动画生成方法、装置、计算机设备和存储介质，旨在解决现有的虚拟人教学动画人脸的表情和口型与真实的语言表达匹配度较低，导致教学效果较差的技术问题。
[0004]为了实现上述专利技术目的，本申请提供一种虚拟人授课动画生成方法，包括：
[0005]获取待处理的音频、人脸照片和动作视频，其中，所述音频包括内容信息和感情信息；
[0006]基于所述音频以及预训练的声脸推理模型获得第一人脸关键点，以及基于所述人脸照片获得第二人脸关键点；根据所述第一人脸关键点和所述第二人脸关键点获取目标人脸文件；
[0007]基于所述动作视频获得目标动作文件；
[0008]将所述目标人脸文件和所述目标动作文件导入预设的虚拟人模型，获得所述虚拟人模型的脸部动画和身体动作动画；
[0009]将所述脸部动画和所述身体动作动画合成，获得所述虚拟人模型的授课动画。
[0010]在一个实施例中，所述根据所述第一人脸关键点和所述第二人脸关键点获取目标人脸文件的步骤，包括；
[0011]将所述第一人脸关键点与所述第二人脸关键点对齐，生成人脸网格序列；
[0012]将所述人脸网格序列导出为第一预设格式的目标人脸文件。
[0013]在一个实施例中，所述基于所述视频获得目标动作文件的步骤，包括：
[0014]提取所述视频中的骨骼动作序列；
[0015]将所述骨骼动作序列导出为第二预设格式的目标动作文件。
[0016]在一个实施例中，在所述将所述目标人脸文件和所述目标动作文件导入所述预设的虚拟人模型的步骤之后，还包括：
[0017]调整所述虚拟人模型骨骼与所述目标动作文件中的骨骼动作序列的各关节的映射。
[0018]在一个实施例中，在所述将所述脸部动画和所述身体动作动画合成，获得所述虚拟人模型的授课动画的步骤之后，还包括：
[0019]添加与所述虚拟人模型的授课动画相应的场景动画。
[0020]在一个实施例中，所述预训练的声脸推理模型的训练步骤，包括：
[0021]获取训练集，所述训练集包括内容、长度相同，但情感不同的音频对；
[0022]从所述训练集中提取出音频的内容信息和感情信息；
[0023]将所述内容信息和感情信息交叉重构，获得交叉信息；
[0024]将所述交叉信息输入至声脸推理模型，计算训练损失；
[0025]根据所述训练损失调整所述声脸推理模型的参数并重复训练过程，直至所述训练损失满足预设条件。
[0026]在一个实施例中，所述获取训练集的步骤，包括:
[0027]从语料库中获取时间长度不同的原始音频；
[0028]通过时间对齐算法对原始音频进行处理，生成时间长度相同的音频对。
[0029]本申请还提供一种虚拟人授课动画生成装置，包括：
[0030]目标获取模块，用于获取待处理的音频、人脸照片和动作视频，其中所述音频包括内容信息和感情信息；
[0031]人脸关键点获取模块，用于基于所述音频以及预训练的声脸推理模型获得第一人脸关键点，以及基于所述人脸照片获得第二人脸关键点；
[0032]目标人脸文件获取模块，用于根据所述第一人脸关键点和所述第二人脸关键点获取目标人脸文件；
[0033]目标动作文件获取模块，用于基于所述动作视频获得目标动作文件；
[0034]文件导入模块，用于将所述目标人脸文件和所述目标动作文件导入预设的虚拟人模型，获得所述虚拟人模型的脸部动画和身体动作动画；
[0035]授课动画获取模块，用于将所述脸部动画和所述身体动作动画合成，获得所述虚拟人模型的授课动画。
[0036]本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例提供的虚拟人授课动画生成方法的步骤。
[0037]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例提供的虚拟人授课动画生成方法的步骤。
[0038]本申请所提供的一种虚拟人授课动画生成方法、装置、计算机设备和存储介质，包括：获取音频、人脸照片和动作视频，其中，所述音频包括内容信息和感情信息；基于所述音频以及预训练的声脸推理模型获得第一人脸关键点，以及基于所述人脸照片获得第二人脸关键点；根据所述第一人脸关键点和所述第二人脸关键点获取目标人脸文件；基于所述动作视频获得目标动作文件；将所述目标人脸文件和所述目标动作文件导入预设的虚拟人模型，获得所述虚拟人模型的脸部动画和身体动作动画；将所述脸部动画和所述身体动作动画合成，获得所述虚拟人模型的授课动画。通过音频的感情信息，可以更准确捕获人物面部的情绪特征，使得生成的虚拟人的面部表情及口型与真实的语言表达的匹配度得到提高；
且在虚拟人动画中加入了相应的身体动作动画，使虚拟人动画更生动，从而提高虚拟人教学动画的教学效果。
附图说明
[0039]图1为本申请一实施例的虚拟人授课动画生成方法的流程示意图；
[0040]图2为本申请一实施例的虚拟人授课动画生成方法中步骤S30的流程示意图；
[0041]图3为本申请一实施例的虚拟人授课动画生成方法中步骤S40的流程示意图；
[0042]图4为本申请另一实施例的虚拟人授课动画生成方法的流程示意图；
[0043]图5为本申请一实施例的声脸推理模型训练的流程示意图；
[0044]图6为本申请一实施例的声脸推理模型训练中步骤S01的流程示意图；
[0045]图7为本申请一实施例的虚拟人授课动画生成装置的结构示意图；
[0046]图8为本申请一实施例的计算机设备的结构示意图。
具体实施方式
[0047]虚拟人指存在于非物理世界中，由计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等计算机手段创造及使用，并具有多重人类特征(外貌特征、人类表演能力、人类交互能力等)的综合产物，也称为虚拟形象、虚拟数字人、数字人等。虚拟数字人的三大特征是虚拟化、NLP\CV\语音等多种技术共同成熟、高度拟人化，其高度拟人化为用户带来的亲切感、关怀感与沉浸感是多数用户的核心使用动力。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟人授课动画生成方法，其特征在于，包括：获取待处理的音频、人脸照片和动作视频，其中，所述音频包括内容信息和感情信息；基于所述音频以及预训练的声脸推理模型获得第一人脸关键点，以及基于所述人脸照片获得第二人脸关键点；根据所述第一人脸关键点和所述第二人脸关键点获取目标人脸文件；基于所述动作视频获得目标动作文件；将所述目标人脸文件和所述目标动作文件导入预设的虚拟人模型，获得所述虚拟人模型的脸部动画和身体动作动画；将所述脸部动画和所述身体动作动画合成，获得所述虚拟人模型的授课动画。2.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，所述根据所述第一人脸关键点和所述第二人脸关键点获取目标人脸文件的步骤，包括；将所述第一人脸关键点与所述第二人脸关键点对齐，生成人脸网格序列；将所述人脸网格序列导出为第一预设格式的目标人脸文件。3.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，所述基于所述动作视频获得目标动作文件的步骤，包括：提取所述动作视频中的骨骼动作序列；将所述骨骼动作序列导出为第二预设格式的目标动作文件。4.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，在所述将所述目标人脸文件和所述目标动作文件导入所述预设的虚拟人模型的步骤之后，还包括：调整所述虚拟人模型的骨骼与所述目标动作文件中的骨骼动作序列的各关节的映射。5.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，在所述将所述脸部动画和所述身体动作动画合成，获得所述虚拟人模型的授课动画的步骤之后，还包括：添加与所述虚拟人模型的授课动画相应的场景动画。6.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，所述预训练的声脸推理模型的训练步骤，包括：获取训练集，所述训练集包括内...

【专利技术属性】
技术研发人员：郑喜民，黄嘉铉，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：