System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于场景的多情绪语音生成方法、系统、设备和介质技术方案_技高网

一种基于场景的多情绪语音生成方法、系统、设备和介质技术方案

技术编号:44500898 阅读:4 留言:0更新日期:2025-03-04 18:09
本发明专利技术为解决现有技术中在生成多情绪语音时,需要大量的人工干预的问题,提供一种基于场景的多情绪语音生成方法、系统、设备和介质。一种基于场景的多情绪语音生成方法,包括以下步骤:输入需要生成语音的对话文本;对对话文本进行文本预处理,生成预处理后的文本;对预处理后的文本使用自然语言处理技术进行情感分析,生成情感标签;将情感标签导入情感语音生成模型;生成对应情感的语音信号,并输出。一种基于场景的多情绪语音生成系统,包括文本预处理模块、情感分析模块和情感语音生成模块,实施前述的一种基于场景的多情绪语音生成方法。本发明专利技术相比现有技术,减少了人工干预,提高了情感识别的准确性,以及能够支持复杂情感表达。

【技术实现步骤摘要】

本专利技术涉及自然语言处理和语音合成领域,尤其是涉及一种基于场景的多情绪语音生成方法、系统、设备和介质


技术介绍

1、随着语音合成技术的快速发展,个性化和情感化的语音生成在许多应用中需求量大增。现有的语音生成技术,已经能够生成高质量的语音并适应不同说话者的风格。然而,这些模型在生成多情绪语音时仍存在一定的局限性。

2、现有技术在生成多情绪语音时,往往需要大量的人工干预,降低了自动化程度。


技术实现思路

1、本专利技术为解决现有技术中在生成多情绪语音时,需要大量的人工干预的问题,提供一种基于场景的多情绪语音生成方法、系统、设备和介质。

2、本专利技术采用的技术方案是:

3、一种基于场景的多情绪语音生成方法,包括以下步骤:

4、步骤s1:输入需要生成语音的对话文本,所述对话文本为单句或多句对话,并包括不同的情感和语气。

5、步骤s2:对所述步骤s1输入的所述对话文本进行文本预处理,生成预处理文本。

6、步骤s3:对所述步骤s2生成的所述预处理文本使用自然语言处理技术进行情感分析,生成情感标签。

7、步骤s4:将所述步骤s3生成的所述情感标签导入情感语音生成模型,并由所述情感语音生成模型基于所述情感标签和所述对话文本,生成对应情感的语音信号,并输出。

8、进一步地,所述步骤s2在进行所述文本预处理时,具体执行以下步骤:

9、步骤s21:对所述步骤s1输入的所述对话文本进行文本清理,生成第一文本;其中,所述步骤s21中执行文本清理时,具体包括:去除不必要的噪音词汇、标点符号和特殊字符。

10、步骤s22:对所述步骤s21文本清理后的所述第一文本进行标准化处理,生成所述预处理文本;其中,所述步骤s22中执行标准化处理时,具体包括大小写转换和词形还原。

11、进一步地,所述步骤s3在进行情感分析时,具体执行以下步骤:

12、步骤s31:对所述步骤s2生成的所述预处理文本进行情感分析,并将所述预处理文本分为不同的情感类别;其中所述情感类别包括:愤怒、喜悦、悲伤、疑问、普通。

13、步骤s32:基于所述步骤s31进行情感分析的结果,生成情感标签;其中所述情感标签包含所述预处理文本对应的所述情感类别和角色信息。

14、进一步地,根据权利要求3所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤s32生成的所述情感标签,采用json格式进行存储和传递。

15、进一步地,所述步骤s4中生成的所述情感语音信号是混合情绪语音信号时,通过控制情感属性向量 ,实现多情绪的混合生成;其中,所述混合情绪语音是指包含两种及两种以上的所述情感类别。

16、进一步地,所述步骤s4中通过控制情感属性向量 ,实现多情绪的混合生成时,具体包括向量插值、情感权重调整。

17、向量插值技术可以实现从一种情绪到另一种情绪的渐变效果,因此可以提升用户体验。在交互设计领域,尤其是涉及情感交互的应用中,如虚拟助手、游戏角色等,能够让用户感受到更加自然和连贯的情感反应。当虚拟角色从一种情绪过渡到另一种情绪时,不是突然的转变,而是通过平滑过渡,增强了用户与虚拟实体之间的情感连接和沉浸感。向量插值技术的实现方法是使用球面线性插值算法和多向量插值算法实现在两个或多个情感属性向量之间创建平滑过渡。

18、情感权重调整可以为不同情绪分配权重,允许精确控制每种情绪在最终混合结果中的占比。还可以实现动态调整,使情绪混合可以随时间或语境变化。情感权重调整的实现方法是结合动态权重调整函数和注意力机制,能够更加灵活、可控得调整情感属性向量的权重。动态权重调整函数根据上下文或时间动态调整权重,并且使用sigmoid函数来平滑权重的变化。使用深度学习中的注意力机制自动学习不同情感的权重,可以根据输入的文本内容动态调整情感混合。

19、基于同样的专利技术构思,本专利技术还提供一种基于场景的多情绪语音生成系统,实施上述的一种基于场景的多情绪语音生成方法,包括:

20、文本预处理模块,所述文本预处理模块用于对输入的需要生成语音的对话文本进行文本预处理,生成预处理文本。

21、情感分析模块:所述情感分析模块用于对由所述文本预处理模块生成的所述预处理文本进行情感分析,生成情感标签。

22、情感语音生成模块,所述情感语音生成模块内置有情感语音生成模型;所述情感语音生成模块用于接收所述情感分析模块生成的所述情感标签,基于所述情感标签和所述对话文本,生成对应情感的语音信号,并输出。

23、基于同样的专利技术构思,本专利技术还提供一种计算机设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行上述的一种基于场景的多情绪语音生成方法。

24、基于同样的专利技术构思,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行上述的一种基于场景的多情绪语音生成方法。

25、本专利技术的有益效果是:

26、本专利技术可以减少人工干预:由于本专利技术的从文本输入到情感语音输出的全自动化流程,减少了人工干预。这不仅降低了操作难度和成本,而且提高了生成效率和一致性。

27、本专利技术提高情感识别的准确性:本专利技术通过引入自然语言处理技术进行情感分析,能够更准确地分析和分类对话文本中的情感和语气,这种高精度的情感识别确保了生成的语音能够真实反映文本的情感内容。相比现有技术,本专利技术具有更高的情感识别的准确性。

28、本专利技术支持复杂情感表达:本专利技术能够生成混合情绪的语音,通过控制情感属性向量,实现多种情感的混合表达。这种复杂情感的表达能力使得生成的语音更加生动和多样化,适用于游戏角色配音等需要复杂情感表达的场景。

本文档来自技高网...

【技术保护点】

1.一种基于场景的多情绪语音生成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤S2在进行所述文本预处理时,具体执行以下步骤:

3.根据权利要求1或2中所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤S3在进行情感分析时,具体执行以下步骤:

4.根据权利要求3所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤S32生成的所述情感标签,采用JSON格式进行存储和传递。

5.根据权利要求3所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤S4中生成的所述情感语音信号是混合情绪语音信号时,通过控制情感属性向量 ,实现多情绪的混合生成;其中,所述混合情绪语音是指包含两种及两种以上的所述情感类别。

6.根据权利要求5所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤S4中通过控制情感属性向量 ,实现多情绪的混合生成时,具体包括向量插值、情感权重调整。

7.一种基于场景的多情绪语音生成系统,实施如权利要求1~6中任意一项所述的一种基于场景的多情绪语音生成方法,其特征在于,包括:

8.一种计算机设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如权利要求1~6中任意一项所述的一种基于场景的多情绪语音生成方法。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行如权利要求1~6中任意一项所述的一种基于场景的多情绪语音生成方法。

...

【技术特征摘要】

1.一种基于场景的多情绪语音生成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤s2在进行所述文本预处理时,具体执行以下步骤:

3.根据权利要求1或2中所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤s3在进行情感分析时,具体执行以下步骤:

4.根据权利要求3所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤s32生成的所述情感标签,采用json格式进行存储和传递。

5.根据权利要求3所述的一种基于场景的多情绪语音生成方法,其特征在于,所述步骤s4中生成的所述情感语音信号是混合情绪语音信号时,通过控制情感属性向量 ,实现多情绪的混合生成;其中,所述混合情绪语音是指包含两种及两种以上的所述情感类别。

<...

【专利技术属性】
技术研发人员:杨继生闵冬翌
申请(专利权)人:昱易昇成都科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1