本申请公开语音合成模型训练方法，其可包括：获取初始训练数据；从连贯文本中选取多个第一文本段、第二文本段、第三文本段，并从连贯音频中获取第一音频段、第二音频段、第三音频段；检测多个音频段、文本段是否满足可拼接条件；将满足可拼接条件的多个文本段、音频段，按照文本顺序，以文本和音频交替的方式拼接生成组合训练数据，以生成组合训练数据集；根据组合训练数据集，对所述初始语音生成模型进行训练，得到训练好的语音合成模型，在所述训练中所述第二文本段和/或所述第三文本段中的韵律、音律和/或情感特征被提取。本申请还公开了语音合成方法。本申请能够利用文本、音频的上下文进行文字理解，捕捉场景中的韵律、音律和情感。
1、语音合成技术是一种将文本转换成语音的技术，可以通过神经网络模型实现文本转语音功能。当前的文字生成语音模型中，仅对输入的当前文本进行语音转换，生成的语音难以和整体文本语义、韵律、情感契合，造成说话人声音不符合情景，还造成发音前后衔接不顺畅的问题。
1、因此，本申请实施例意图提供一种语音合成模型训练方法、语音合成方法以及相关的电子设备及存储介质。通过本申请实施例的方案，可以基于上下文的文字理解，捕捉当前场景的韵律、音律和情感，使得生成的语音更加符合真实场景。
4、从所述连贯文本中选取多个第一文本段、多个位于第一文本段前与所述第一文本段相邻的第二文本段、多个位于第一文本段后与所述第一文本段相邻的第三文本段，并从所述连贯音频中获取与所述多个第一文本段、第二文本段和第三文本段分别对应的多个第一音频段、第二音频段、第三音频段；
>6、将满足可拼接条件的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段，按照文本顺序，以文本和音频交替的方式拼接得到组合训练数据，以生成包括多个所述组合训练数据的组合训练数据集；7、根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，在所述训练中所述第二文本段和/或所述第三文本段中的韵律、音律和/或情感特征被提取。
8、本申请的一些实施例中，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：
9、获取所述第一文本段、第二文本段和第三文本段的组合文本长度，获取所述第一音频段、第二音频段和第三音频段的组合音频时长，当组合文本长度小于长度阈值且组合音频时长小于时长阈值时，所述第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段对应的文本、语音满足第一可拼接条件。
10、本申请的一些实施例中，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：
11、获取第一音频段、第二音频段和第三音频段相互之间的声纹特征近似度，当声纹特征近似度大于声纹近似阈值时，所述第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段对应的文本、语音满足第二可拼接条件。
12、本申请的一些实施例中，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：
13、当所述第一音频段、第二音频段和第三音频段中相邻音频段的发声时间点间距小于间隔阈值时，所述第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段对应的文本、语音满足第三可拼接条件。
14、本申请的一些实施例中，所述按照文本顺序，以文本和音频交替的方式拼接得到组合训练数据，包括：
15、对所述第一文本段、第二文本段和第三文本段进行分词处理，生成第一文本序列、第二文本序列和第三文本序列，对所述第一文本序列、第二文本序列和第三文本序列进行向量转换，生成第一文本向量、第二文本向量和第三文本向量；
16、对所述第一音频段、第二音频段和第三音频段进行离散化处理并提取音频特征，生成第一音频特征序列、第二音频特征序列和第三音频特征序列，对所述第一音频特征序列、第二音频特征序列和第三音频特征序列进行向量转换，生成第一音频向量、第二音频向量和第三音频向量；
17、按照第二文本向量、第二音频特征序列、第一文本向量、第一音频特征序列、第三文本向量、第三音频特征序列的顺序，对所述第二文本向量、第二音频特征序列、第一文本向量、第一音频特征序列、第三文本向量和第三音频特征序列进行向量拼接，生成所述组合训练数据。
18、本申请的一些实施例中，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
19、将所述组合训练数据集中的组合训练数据迭代输入到所述初始语音合成模型，获取与所述第一文本段对应的第一输出音频段，根据所述第一输出音频段和第一音频段的音频特征，计算第一损失值，根据所述第一损失值调整所述初始语音合成模型的模型参数，直至所述初始语音合成模型收敛，将收敛的初始语音合成模型作为所述训练好的语音合成模型。
20、本申请的一些实施例中，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
21、将所述组合训练数据集中的组合训练数据输入到所述初始语音合成模型，获取与所述第二文本段对应的第二输出音频段，根据所述第二输出音频段和第二音频段的音频特征，计算第二损失值，根据所述第二损失值调整所述初始语音合成模型的模型参数，迭代更新直至所述初始语音合成模型收敛，将收敛的初始语音合成模型作为所述训练好的语音合成模型；
22、本申请的一些实施例中，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
23、将所述组合训练数据集中的组合训练数据迭代输入到所述初始语音合成模型，获取与所述第三文本段对应的第三输出音频段，根据所述第三输出音频段和第三音频段的音频特征，计算第三损失值，根据所述第三损失值调整所述初始语音合成模型的模型参数，直至所述初始语音合成模型收敛，将收敛的初始语音合成模型作为所述训练好的语音合成模型。
24、本申请的一些实施例中，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
25、将所述组合训练数据集中的组合训练数据迭代输入到所述初始语音合成模型，获取与所述第一文本段对应的第一输出音频段、与所述第二文本段对应的第二输出音频段和与所述第三文本段对应的第三输出音频段；根据所述第一输出音频段和第一音频段的音频特征，计算第一损失值，根据所述第二输出音频段和第二音频段的音频特征，计算第二损失值，根据所述第三输出音频段和第三音频段的音频特征，计算第三损失值，根据第一损失值、第二损失值和第三损失值获取第四损失值；根据所述第四损失值调整所述初始语音合成模型的模型参数，直至所述初始语音合成模型收敛，将收敛的初始语音合成模型作为所述训练好的语音合成模型。
26、第二方面，本申请实施例提供了语音合成方法，其可包括：...
【技术保护点】
1.一种语音合成模型训练方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：
3.根据权利要求1所述的方法，其特征在于，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：
4.根据权利要求1中任一项所述的方法，其特征在于，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：
5.根据权利要求1所述的方法，其特征在于，所述按照文本顺序，以文本和音频交替的方式拼接得到组合训练数据，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
8.根据权利要求1所述的方法，其特征在于，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
9.根据权利要求1所述的方法，其特征在于，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
10.一种语音合成方法，其特征在于，包括如下步骤：
11.一种语音合成方法，其特征在于，包括如下步骤：
12.根据权利要求10或11所述的方法，其特征在于，所述训练好的语音合成模型是执行如权利要求1至9中任一项所述的方法得到的。
13.根据权利要求10或11所述的方法，其特征在于，所述将所述目标文本按照文本顺序分成多个目标文本段，包括：
14.根据权利要求10或11所述的方法，其特征在于，所述将各个目标音频段进行拼接处理，生成目标音频，还包括：
15.一种语音合成模型，其特征在于，包括编码器、解码器，其中所述语音合成模型由根据权利要求1至9中任一项所述的方法训练得到。
16.一种语音合成模型训练装置，其特征在于，包括训练集数据获取模块、预处理模块、拼接检测模块、向量拼接模块和训练模块，其中，
17.一种语音合成装置，其特征在于，包括目标文本获取模块、初始生成模块、文本-音频拼接模块、循环生成模块和音频拼接模块，其中，
18.一种电子设备，其特征在于，包括处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行权利要求1至14中任一项所述的方法。
19.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被配置为被运行时执行权利要求1至14中任一项所述的方法。
...
【技术特征摘要】
1.一种语音合成模型训练方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：
3.根据权利要求1所述的方法，其特征在于，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：
4.根据权利要求1中任一项所述的方法，其特征在于，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：
5.根据权利要求1所述的方法，其特征在于，所述按照文本顺序，以文本和音频交替的方式拼接得到组合训练数据，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
8.根据权利要求1所述的方法，其特征在于，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：
9.根据权利要求1所述的方法，其特征在于，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合...
【专利技术属性】
技术研发人员：金瑞洋，杨明祺，李亚伟，
申请(专利权)人：上海稀宇极智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。