System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种语音疲劳度检测方法、装置及计算机可读存储介质制造方法及图纸_技高网

一种语音疲劳度检测方法、装置及计算机可读存储介质制造方法及图纸

技术编号:44025836 阅读:7 留言:0更新日期:2025-01-15 01:08
本发明专利技术提供一种语音疲劳度检测方法、装置及计算机可读存储介质,该方法包括:获取目标语音信号;对所述目标语音信号进行预处理以获取对应的目标向量;将所述目标向量输入预设的基于胶囊网络的循环卷积神经网络CRNN‑Cap,得到所述目标语音信号归属于每个疲劳度分类的预测概率值。该方法、装置及计算机可读存储介质能够解决现有的语音疲劳度检测方法中无法考虑语音特征的空间关系的问题。

【技术实现步骤摘要】

本专利技术涉及一种语音疲劳度检测方法、装置及计算机可读存储介质


技术介绍

1、现有的语音疲劳度检测方法中大多采用卷积神经网络cnn,但是卷积神经网络在处理语音数据的过程中会丢失语音信号的部分特征,无法考虑语音特征的空间关系。


技术实现思路

1、本专利技术所要解决的技术问题是针对现有技术的上述不足,提供一种语音疲劳度检测方法、装置及计算机可读存储介质,引入胶囊网络以处理向量形式的输入,保留语音特征中的空间关系,以解决现有的语音疲劳度检测方法中无法考虑语音特征的空间关系的问题。

2、第一方面,本专利技术提供一种语音疲劳度检测方法,包括:

3、获取目标语音信号;

4、对所述目标语音信号进行预处理以获取对应的目标向量;

5、将所述目标向量输入预设的基于胶囊网络的循环卷积神经网络crnn-cap,得到所述目标语音信号归属于每个疲劳度分类的预测概率值。

6、优选地,所述对所述目标语音信号进行预处理以获取目标向

7、量包括:

8、获取所述目标语音信号的梅尔倒谱系数mfcc及其一阶差分和二阶差分;

9、根据所述mfcc及其一阶差分和二阶差分获取目标向量。

10、优选地,所述基于胶囊网络的循环卷积神经网络crnn-cap包括依次连接的卷积层、双向长短期记忆人工神经网络lstm层和胶囊层;

11、所述卷积层包括第一卷积层、第二卷积层以及池化层;

12、所述第一卷积层的输出与所述池化层的输入连接;

13、所述池化层的输出与所述第二卷积层的输入连接。

14、优选地,所述第一卷积层和所述第二卷积层都具有第一卷积核和第二卷积核;

15、所述第一卷积层以及第二卷积层的激活函数为修整线性单元relu;

16、所述池化层采用最大池化采样;

17、所述lstm层的激活函数为双曲正切函数tanh。

18、优选地,所述将所述目标向量输入预设的基于胶囊网络的循环卷积神经网络crnn-cap,得到所述目标语音信号归属于每个疲劳度分类的预测概率值,具体包括:

19、将所述目标向量输入卷积层以对所述目标向量进行卷积;

20、将所述卷积的结果输入双向长短期记忆人工神经网络lstm,并将lstm在正向和反向的输出进行拼接;

21、通过所述胶囊层对所述拼接后的结果进行动态路由以得到目标语音信号归属于每个疲劳度分类的预测概率值。

22、优选地,所述通过胶囊层对所述拼接后的结果进行动态路由以得到目标语音信号在目标疲劳度级别的概率,包括:

23、对所述拼接后的结果进行动态路由以获取输出胶囊;

24、使用挤压函数squash作为胶囊层的激活函数对所述输出胶囊进行归一化处理;

25、根据所述归一化处理的结果得到目标语音信号归属于每个疲劳度分类的预测概率值。

26、第二方面,本专利技术还提供一种语音疲劳度检测装置,包括:

27、获取模块,用于获取目标语音信号;

28、预处理模块,与所述获取模块连接,用于对所述目标语音信号进行预处理以获取对应的目标向量;

29、概率模块,与所述预处理模块连接,用于将所述目标向量输入预设的基于胶囊网络的循环卷积神经网络crnn-cap,得到所述目标语音信号归属于每个疲劳度分类的预测概率值。

30、优选地,所述预处理模块具体包括:

31、获取单元,用于获取所述目标语音信号的梅尔倒谱系数mfcc及其一阶差分和二阶差分;

32、向量单元,用于根据所述mfcc及其以及差分和二阶差分获取目标输入向量。

33、第三方面,本专利技术还提供一种语音疲劳度检测装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以实现上述第一方面所述的语音疲劳度检测方法。

34、第四方面,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的语音疲劳度检测方法。

35、本专利技术提供的语音疲劳度检测方法、装置及计算机可读存储介质,首先获取目标语音信号,再对所述目标语音信号进行预处理以获取对应的目标向量后,将所述目标向量输入预设的基于胶囊网络的循环卷积神经网络crnn-cap,得到所述目标语音信号归属于每个疲劳度分类的预测概率值,由于本专利技术引入了胶囊网络处理向量形式的输入,保留语音特征中的空间关系,解决了现有的语音疲劳度检测方法中无法考虑语音特征的空间关系的问题。

本文档来自技高网...

【技术保护点】

1.一种语音疲劳度检测方法,其特征在于,包括:

2.根据权利要求1所述的语音疲劳度检测方法,其特征在于,所述对所述目标语音信号进行预处理以获取目标向量包括:

3.根据权利要求1所述的语音疲劳度检测方法,其特征在于,所述基于胶囊网络的循环卷积神经网络CRNN-Cap包括依次连接的卷积层、双向长短期记忆人工神经网络LSTM层和胶囊层;

4.根据权利要求3所述的语音疲劳度检测方法,其特征在于,所述第一卷积层和所述第二卷积层都具有第一卷积核和第二卷积核;

5.根据权利要求3所述的语音疲劳度检测方法,其特征在于,所述将所述目标向量输入预设的基于胶囊网络的循环卷积神经网络CRNN-Cap,得到所述目标语音信号归属于每个疲劳度分类的预测概率值,具体包括:

6.根据权利要求5所述的语音疲劳度检测方法,其特征在于,所述通过胶囊层对所述拼接后的结果进行动态路由以得到目标语音信号在目标疲劳度级别的概率,包括:

7.一种语音疲劳度检测装置,其特征在于,包括:

8.根据权利要求7所述的语音疲劳度检测装置,其特征在于,所述预处理模块具体包括:

9.一种语音疲劳度检测装置,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以实现如权利要求1-6中任一项所述的语音疲劳度检测方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的语音疲劳度检测方法。

...

【技术特征摘要】

1.一种语音疲劳度检测方法,其特征在于,包括:

2.根据权利要求1所述的语音疲劳度检测方法,其特征在于,所述对所述目标语音信号进行预处理以获取目标向量包括:

3.根据权利要求1所述的语音疲劳度检测方法,其特征在于,所述基于胶囊网络的循环卷积神经网络crnn-cap包括依次连接的卷积层、双向长短期记忆人工神经网络lstm层和胶囊层;

4.根据权利要求3所述的语音疲劳度检测方法,其特征在于,所述第一卷积层和所述第二卷积层都具有第一卷积核和第二卷积核;

5.根据权利要求3所述的语音疲劳度检测方法,其特征在于,所述将所述目标向量输入预设的基于胶囊网络的循环卷积神经网络crnn-cap,得到所述目标语音信号归属于每个疲劳度分类的预测概率值,具体包括...

【专利技术属性】
技术研发人员:朱嘉祺
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1