【技术实现步骤摘要】
本申请涉及语音处理，具体而言，涉及一种嘴型同步鉴别器的生成方法及装置。
技术介绍
1、在嘴型同步技术中，嘴型同步鉴别器扮演着至关重要的角色。嘴型同步鉴别器是确保生成的数字人说话视频的嘴部运动与输入音频的节奏和语调保持同步，以创造出自然、逼真的说话效果。
2、然而，在现有技术中，首先，训练一个高性能的嘴型同步鉴别器需要庞大的数据集，而且这些数据必须是高质量、多样性的。获取和准备这样的数据是非常耗时耗力的，而且往往难以满足实际需求。其次，鉴别器的性能高度依赖于数据的质量，即便在训练数据质量稍微下降的情况下，生成的视频质量也可能受到严重影响。因此，现有技术的局限性主要体现在数据获取难、训练复杂度高、对数据质量的极高要求。
3、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种嘴型同步鉴别器的生成方法及装置，以至少解决嘴型同步鉴别器的训练难度高、对数据质量的要求高的技术问题。
2、根据本申请实施例的一个方面，提供了一种嘴型同步鉴别器的生成方法，包括：利用第一训练数据集对神经网络模型进行第一阶段训练，得到用于嘴型同步的第一鉴别器，并利用所述第一鉴别器对所述第一训练数据集进行筛选，得到第二训练数据集；利用所述第二训练数据集对所述第一鉴别器进行第二阶段训练，得到用于嘴型同步的第二鉴别器，其中，在所述第二阶段训练中，所述第一鉴别器不断增加所述第二训练数据集中的真训练数据的相似度与假训练数据的相似度之间的差值；利用所述第二训练数
3、根据本申请实施例的另一方面，还提供了一种嘴型同步鉴别器的生成装置，包括：第一训练模块，被配置为利用第一训练数据集对神经网络模型进行第一阶段训练，得到用于嘴型同步的第一鉴别器，并利用所述第一鉴别器对所述第一训练数据集进行筛选，得到第二训练数据集；第二训练模块，被配置为利用所述第二训练数据集对所述第一鉴别器进行第二阶段训练，得到用于嘴型同步的第二鉴别器，其中，在所述第二阶段训练中，所述第一鉴别器不断增加所述第二训练数据集中的真训练数据的相似度与假训练数据的相似度之间的差值；第三训练模块，被配置为利用所述第二训练数据集对所述第二鉴别器进行第三阶段训练，得到用于嘴型同步的第三鉴别器。
4、根据本申请实施例的又一个方面，还提供了一种嘴型同步方法，包括：利用上述方法生成的第三鉴别器来进行嘴型同步。
5、根据本申请实施例的又一个方面，还提供了一种嘴型同步装置，包括上述嘴型同步鉴别器的生成装置。
6、在本申请实施例中，利用第一训练数据集对神经网络模型进行第一阶段训练，得到用于嘴型同步的第一鉴别器，并利用所述第一鉴别器对所述第一训练数据集进行筛选，得到第二训练数据集；利用所述第二训练数据集对所述第一鉴别器进行第二阶段训练，得到用于嘴型同步的第二鉴别器，其中，在所述第二阶段训练中，所述第一鉴别器不断增加所述第二训练数据集中的真训练数据的相似度与假训练数据的相似度之间的差值；利用所述第二训练数据集对所述第二鉴别器进行第三阶段训练，得到用于嘴型同步的第三鉴别器。通过上述方案，解决了现有技术中嘴型同步鉴别器的训练难度高、对数据质量的要求高的技术问题。
本文档来自技高网...【技术保护点】
1.一种嘴型同步鉴别器的生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，利用所述第一鉴别器对所述第一训练数据集进行筛选，得到第二训练数据集，包括：
3.根据权利要求2所述的方法，其特征在于，利用所述第一鉴别器对所述第一训练数据集中的全部训练数据进行同步性分析，包括：
4.根据权利要求1所述的方法，其特征在于，利用所述第二训练数据集对所述第一鉴别器进行第二阶段训练，得到用于嘴型同步的第二鉴别器，其中，在所述第二阶段训练中，所述第一鉴别器步进增大所述第二训练数据集中的真训练数据的相似度与假训练数据的相似度之间的差值，直至所述差值大于预设差值阈值，包括循环执行以下步骤直至所述差值大于所述预设差值阈值：
5.根据权利要求4所述的方法，其特征在于，基于所述第一相似度、所述第二相似度、以及增大后的所述差值，利用所述第二训练数据集对所述第一鉴别器进行所述第二阶段训练，包括：
6.根据权利要求1所述的方法，其特征在于，在利用第一训练数据集对神经网络模型进行第一阶段训练之前，所述方法还包括：
7.一种嘴
8.一种嘴型同步鉴别器的生成装置，其特征在于，包括：
9.一种嘴型同步装置，其特征在于，包括如权利要求8所述的嘴型同步鉴别器的生成装置。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，在所述程序运行时，使得计算机执行如权利要求1至6中任一项所述的方法。
...【技术特征摘要】
1.一种嘴型同步鉴别器的生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，利用所述第一鉴别器对所述第一训练数据集进行筛选，得到第二训练数据集，包括：
3.根据权利要求2所述的方法，其特征在于，利用所述第一鉴别器对所述第一训练数据集中的全部训练数据进行同步性分析，包括：
4.根据权利要求1所述的方法，其特征在于，利用所述第二训练数据集对所述第一鉴别器进行第二阶段训练，得到用于嘴型同步的第二鉴别器，其中，在所述第二阶段训练中，所述第一鉴别器步进增大所述第二训练数据集中的真训练数据的相似度与假训练数据的相似度之间的差值，直至所述差值大于预设差值阈值，包括循环执行以下步骤直至所述差值大于所述预设差值阈值：
5.根据权利要求4所述的...
【专利技术属性】
技术研发人员：蒋正浩，张鹏起，吴建伟，
申请(专利权)人：世优北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。