System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及音频处理,具体而言,涉及一种神经网络的训练方法、语音降噪方法、计算机程序产品、设备及存储介质。
技术介绍
1、在一些语音采集的场景,语音采集设备采集的语音数据中可能夹杂着较多的环境噪声,收音效果非常差,需要对采集的语音数据进行降噪处理。传统的语音降噪技术要么通过改进硬件电路实现降噪,要么通过信号处理的方式实现降噪,但是通过改进硬件电路实现降噪的方式只能抑制特定频率范围的噪声,而通过信号处理实现降噪的方式只能抑制稳态的噪声,无法抑制一些瞬时的、突发的噪声(比如,汽车鸣笛等)。
2、随着ai技术的发展,该技术逐渐应用到语音降噪领域,目前通过预训练的神经网络进行语音降噪可以达到非常好的降噪效果,这种方式可以抑制各种各样的噪声(比如,稳态的、瞬态的、与语音本身相关的噪声),并极大程度地保留语音本身的信息。然而,由于神经网络本身网络结构较复杂,网络参数较多,并且对于录音等对语音质量要求很高的领域,对音频流的要求也更高(通常采样率48 khz,位宽24bit),从而导致在利用神经网络对语音数据进行降噪处理的过程中,涉及到的数据量非常大,需占用较大的内存,且计算量较大,对处理设备的硬件性能要求较高,使得基于神经网络的语音降噪方法难以应用到一些低性能的语音采集设备中。
技术实现思路
1、有鉴于此,本申请提供一种神经网络的训练方法、语音降噪方法、计算机程序产品、设备及存储介质。
2、根据本申请的第一方面,提供一种语音降噪神经网络的训练方法,所述方法包括:
4、对预设的神经网络的当前网络参数进行位宽截断处理,基于位宽截断处理后的网络参数和所述第一目标语音特征确定对所述带噪语音数据进行降噪的预测降噪参数;
5、根据所述预测降噪参数与实际降噪参数的差异确定第一损失;其中,所述实际降噪参数基于所述带噪语音数据和所述纯净语音数据确定;
6、根据位宽截断处理后的网络参数和所述当前网络参数的差异确定第二损失;
7、根据所述第一损失和所述第二损失确定目标损失,并基于所述目标损失对所述当前网络参数进行调整;
8、重复以上步骤直至所述目标损失满足预设条件,并对当前一轮调整得到的所述当前网络参数进行所述位宽截断处理,作为训练好的语音降噪神经网络的网络参数。
9、根据本申请的第二方面,提供一种语音降噪方法,所述方法包括:
10、获取待降噪语音数据;
11、对所述待降噪语音数据进行特征提取,得到第二目标语音特征;
12、将所述第二目标语音特征输入至利用上述第一方面提及的方法训练得到的语音降噪神经网络中,以通过所述语音降噪神经网络预测对所述待降噪语音数据进行降噪处理的降噪参数;
13、通过所述降噪参数对所述待降噪语音数据进行降噪处理。
14、根据本申请的第三方面,提供一种电子设备,所述电子设备包括处理器、存储器、存储于所述存储器可供所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面和/或第二方面提及的方法。
15、根据本申请的第四方面,提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被执行时实现上述第一方面和/或第二方面提及的方法。
16、根据本申请的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被执行时实现上述第一方面和/或第二方面提及的方法。
17、应用本申请提供的方案,为了让语音降噪神经网络可以部署到低性能的语音采集设备中,在训练神经网络时,可以对神经网络的网络参数进行位宽截断处理,利用位宽截断处理后的网络参数确定的降噪参数的准确度,以及位宽截断处理对网络参数本身的影响作为神经网络训练过程中的约束,从而可以最小化位宽截断处理对数据精度的影响,训练得到轻量级且性能较好的语音降噪神经网络,使得该轻量级的语音降噪神经网络可以部署到低性能的语音采集设备中。
18、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
本文档来自技高网...【技术保护点】
1.一种语音降噪神经网络的训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,对所述带噪语音数据进行特征提取,得到第一目标语音特征,包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,对所述带噪语音数据进行特征提取,得到第一目标语音特征,包括:
5.根据权利要求1所述的方法,其特征在于,根据位宽截断处理后的网络参数和所述当前网络参数的差异确定第二损失,包括:
6.根据权利要求1所述的方法,其特征在于,所述语音降噪神经网络用于对目标语音采集设备采集的语音数据进行降噪处理,所述带噪语音数据中的噪声通过模拟所述目标语音采集设备的实际工作场景得到。
7.根据权利要求1所述的方法,其特征在于,所述语音降噪神经网络包括噪声估计子网络和降噪参数确定子网络,
8.一种语音降噪方法,其特征在于,所述方法包括:
9.根据权利要求8所述的方法,其特征在于,所述语音降噪神经网络部署在嵌入式平台中,所述嵌入式平台包括多个计算单
10.根据权利要求9所述的方法,其特征在于,所述待降噪语音数据和所述语音降噪神经网络的网络参数以高维张量的形式存储,所述嵌入式平台在利用所述多个计算单元并行地对所述待降噪语音数据和所述网络参数进行计算时,包括:
11.根据权利要求10所述的方法,其特征在于,所述嵌入式平台包括输入指针定向模块、逻辑运算模块、以及输出指针定向模块;
12.根据权利要求8所述的方法,其特征在于,对所述待降噪语音数据进行特征提取,得到第二目标语音特征,包括:
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被执行时实现权利要求1-7或8-12任一项所述的方法。
14.一种电子设备,其特征在于,所述电子设备包括处理器、存储器,以及存储在所述存储器上的计算机指令,所述处理器执行所述计算机指令时实现权利要求1-7或8-12任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被执行时实现如权利要求1-7或8-12任一项所述的方法。
...【技术特征摘要】
1.一种语音降噪神经网络的训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,对所述带噪语音数据进行特征提取,得到第一目标语音特征,包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,对所述带噪语音数据进行特征提取,得到第一目标语音特征,包括:
5.根据权利要求1所述的方法,其特征在于,根据位宽截断处理后的网络参数和所述当前网络参数的差异确定第二损失,包括:
6.根据权利要求1所述的方法,其特征在于,所述语音降噪神经网络用于对目标语音采集设备采集的语音数据进行降噪处理,所述带噪语音数据中的噪声通过模拟所述目标语音采集设备的实际工作场景得到。
7.根据权利要求1所述的方法,其特征在于,所述语音降噪神经网络包括噪声估计子网络和降噪参数确定子网络,
8.一种语音降噪方法,其特征在于,所述方法包括:
9.根据权利要求8所述的方法,其特征在于,所述语音降噪神经网络部署在嵌入式平台中,所述嵌入式平台包括多个计算单元,所述待降噪语音数据和所述语音降噪神经网络的网络参数按照预设的存储格式存储,其中,所述预设的存储格式为符合所述嵌入...
【专利技术属性】
技术研发人员:刘德志,魏宏,银嘉诚,黄洪运,
申请(专利权)人:深圳市昊一源科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。