视频生成方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种视频生成方法、装置、存储介质及电子设备。该视频生成方法包括：确定目标文本对应的标准发音视频，所述标准发音视频包括标准发音音频和标准发音脸部图像帧序列；根据所述标准发音音频和目标用户的音色信息，得到具有目标用户音色特征的目标发音音频；根据所述标准发音脸部图像帧序列和所述目标用户的脸部图像模板，得到具有目标用户脸部特征的目标发音脸部图像帧序列；将所述目标发音音频和所述目标发音脸部图像帧序列，合成目标发音视频。采用这种方式，可根据任意文本生成具有目标用户音色和脸部特征的目标发音视频。

【技术实现步骤摘要】
视频生成方法、装置、存储介质及电子设备
本公开涉及视频
，具体地，涉及一种视频生成方法、装置、存储介质及电子设备。
技术介绍
在语言教学场景下，通常给出教学文本，用户通过点击音频按钮以播放该教学文本对应的标准发音音频。用户通过模仿该标准发音音频来学习该教学文本的正确发音。然而，只通过声音来判断应该如何发音是较为困难的，加上每个人的音色大相径庭，导致发音模仿更加困难，使得发音学习效果较差，效率较低。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开提供一种视频生成方法，所述方法包括：确定目标文本对应的标准发音视频，所述标准发音视频包括标准发音音频和标准发音脸部图像帧序列；根据所述标准发音音频和目标用户的音色信息，得到具有目标用户音色特征的目标发音音频；根据所述标准发音脸部图像帧序列和所述目标用户的脸部图像模板，得到具有目标用户脸部特征的目标发音脸部图像帧序列；将所述目标发音音频和所述目标发音脸部图像帧序列，合成目标发音视频。第二方面，本公开提供一种视频生成装置，所述装置包括：确定模块，用于确定目标文本对应的标准发音视频，所述标准发音视频包括标准发音音频和标准发音脸部图像帧序列；第一执行模块，用于根据所述标准发音音频和目标用户的音色信息，得到具有目标用户音色特征的目标发音音频；第二执行模块，用于根据所述标准发音脸部图像帧序列和所述目标用户的脸部图像模板，得到具有目标用户脸部特征的目标发音脸部图像帧序列；合成模块，用于将所述目标发音音频和所述目标发音脸部图像帧序列，合成目标发音视频。第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现上述第一方面所述方法的步骤。第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现上述第一方面所述方法的步骤。采用上述技术方案，至少可以达到如下技术效果：确定目标文本对应的标准发音音频和标准发音脸部图像帧序列。根据标准发音音频和目标用户的音色信息，得到具有目标用户音色特征的目标发音音频。同时根据标准发音脸部图像帧序列和目标用户的脸部图像模板，得到具有目标用户脸部特征的目标发音脸部图像帧序列。将目标发音音频和目标发音脸部图像帧序列，合成目标发音视频。采用这种方式，可根据任意文本生成具有目标用户音色和脸部特征的目标发音视频。在发音教学场景下，根据这种标准地、具有目标用户音色和脸部特征的目标发音视频对目标用户进行发音教学，可提升目标用户的发音学习效率。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：图1是根据本公开一示例性实施例示出的一种视频生成方法的流程图。图2是根据本公开一示例性实施例示出的一种音色转换模型架构图。图3是根据本公开一示例性实施例示出的一种视频生成装置的框图。图4是根据本公开一示例性实施例示出的一种电子设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。在对本公开的技术方案进行详细地实施例说明之前，需声明的是，本公开实施例中所使用的与用户相关的信息，如用户音频、视频、面部图像等信息，均为在获得用户授权或同意的情况下采集/使用的。图1是根据本公开一示例性实施例示出的一种视频生成方法的流程图，如图1所示，该视频生成方法包括以下步骤：S11、确定目标文本对应的标准发音视频，所述标准发音视频包括标准发音音频和标准发音脸部图像帧序列。目标文本为任意长度的文本，由一个或多个因素、字、词、或者句子组成。标准发音脸部图像帧序列用于组成无声视频。一种可实现的实施方式，所述确定目标文本对应的标准发音视频包括：将所述目标文本输入视频生成模型，得到所述视频生成模型输出的所述标准发音视频。其中，视频生成模型可通过如下方式得到：采集标准发音人在干净录音棚场景下念读文本样本的录像，积累10小时时长的视频样本。其中，视频样本包括音频以及标准发音人在念读文本样本时的脸部动作(如嘴唇动作)图像。根据文本样本、视频样本以及样本的标注信息训练视频生成模型。一种实施方式，视频生成模型可采用与TTSA(TextToSpeech&Animation)模型相同或相类似的架构。训练完成的视频生成模型可实现根据文本生成对应的语音及语音对应的动画，该动画可为脸部动画或嘴唇动画。S12、根据所述标准发音音频和目标用户的音色信息，得到具有目标用户音色特征的目标发音音频。值得说明的是，本公开中的音频包括音色信息、口音信息、以及文本内容信息。标准发音音频中的音色信息、口音信息由用于训练视频生成模型的视频样本对应的标准发音人确定，文本内容信息由用于训练视频生成模型的文本样本确定。通过将标准发音音频中的音色信息替换为目标用户的音色信息，可实现将标准发音音频转换为具有目标用户音色特征的标准发音音频，得到目标发音音频。目标用户的音色信息可通过如下方式得到：首先，根据目标用户的语音和大量其他用户的语音训练语音分类模型。其次，利用训练完成的语音分类模型中的编本文档来自技高网...

【技术保护点】
1.一种视频生成方法，其特征在于，所述方法包括：/n确定目标文本对应的标准发音视频，所述标准发音视频包括标准发音音频和标准发音脸部图像帧序列；/n根据所述标准发音音频和目标用户的音色信息，得到具有目标用户音色特征的目标发音音频；/n根据所述标准发音脸部图像帧序列和所述目标用户的脸部图像模板，得到具有目标用户脸部特征的目标发音脸部图像帧序列；/n将所述目标发音音频和所述目标发音脸部图像帧序列，合成目标发音视频。/n

【技术特征摘要】
1.一种视频生成方法，其特征在于，所述方法包括：
确定目标文本对应的标准发音视频，所述标准发音视频包括标准发音音频和标准发音脸部图像帧序列；
根据所述标准发音音频和目标用户的音色信息，得到具有目标用户音色特征的目标发音音频；
根据所述标准发音脸部图像帧序列和所述目标用户的脸部图像模板，得到具有目标用户脸部特征的目标发音脸部图像帧序列；
将所述目标发音音频和所述目标发音脸部图像帧序列，合成目标发音视频。


2.根据权利要求1所述的方法，其特征在于，所述根据所述标准发音音频和目标用户的音色信息，得到具有目标用户音色特征的目标发音音频，包括：
将所述标准发音音频输入音色转换模型，所述音色转换模型结合所述目标用户的音色信息输出所述目标发音音频；
其中，所述音色转换模型是通过如下方式训练得到的：
将所述目标用户念读给定例句的音频、根据该音频确定的所述目标用户的音色信息以及标准发音音频作为所述音色转换模型的训练数据；
根据所述训练数据训练得到所述音色转换模型。


3.根据权利要求2所述的方法，其特征在于，所述音色转换模型包括特征提取模块、音色转换模块以及声码器模块，所述特征提取模块用于，提取所述标准发音音频的音素后验概率向量；
所述音色转换模块用于，将所述音素后验概率向量与所述目标用户的音色信息结合得到目标发音梅尔特征信息；
所述声码器模块用于，根据所述目标发音梅尔特征信息得到所述目标发音音频。


4.根据权利要求2所述的方法，其特征在于，所述音色转换模型包括特征提取模块、音色转换模块以及声码器模块，所述特征提取模块用于，提取所述标准发音音频的音素后验概率向量以及所述标准发音音频的口音信息；
所述音色转换模块用于，将所述音素后验概率向量、所述标准发音音频的口音信息与所述目标用户的音色信息结合得到目标发音梅尔特征信息；
所述声码器模块用于，根据所述目标发音梅尔特征信息...

【专利技术属性】
技术研发人员：殷翔，马泽君，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：北京;11