【技术实现步骤摘要】
本申请涉及音频处理，尤其涉及一种语音降噪方法、电子设备及介质。
技术介绍
1、随着人工智能的发展，语音交互(比如语音唤醒、语音识别)在移动设备或穿戴设备(比如平板、手机、智能手表)上的应用广泛，以手机为例，用户可通过特定语音内容唤醒手机助手，或是设备通过语音识别应用将用户输入的语音转换为对应的文字。
2、在语音交互的过程中，输入的语音可能会受到嘈杂环境的影响，导致包括原始语音和噪音。输入的语音中包含噪音，则可能会导致语音唤醒的唤醒率或语音识别的识别率较低。为了解决该技术问题，相关技术中一般采用语音降噪模型对输入的语音进行降噪处理，以去除噪音对语音交互所带来的影响。
3、但是，设备对带噪语音进行降噪时存在浪费系统资源，且导致语音交互过程中时延较高的问题。
技术实现思路
1、本申请提供的语音降噪方法、电子设备及介质，解决了设备对带噪语音降噪时浪费系统资源、语音交互时延较高的问题。
2、为达到上述目的，本申请采用如下技术方案：
3、第一方面，本申请实施例提供一种语音降噪方法，包括：获取包括第一原始语音和第一噪音的第一带噪语音，然后根据第一带噪语音的第一噪声强度确定第一带噪语音对应的第一信噪比，进一步基于第一信噪比确定语音降噪模型中语音增强模块的第一数量，然后利用第一数量的语音增强模块对第一带噪语音进行降噪，得到第一原始语音；获取包括第二原始语音和第二噪音的第二带噪语音，然后根据第二带噪语音的第二噪声强度确定第二带噪语音对应的第二信噪比，其中
4、需要说明的是，在本申请实施例中，通过不同噪声强度的带噪语音(第一带噪语音和第二带噪语音)确定对应的信噪比(第一信噪比和第二信噪比)，从而根据不同的信噪比选择不同数量的语音增强模块，并利用对应数量的语音增强模块进行降噪，从而得到原始语音(第一语音和第二语音)，实现语音降噪的自适应调节，减少对系统资源的浪费，降低语音交互的时延。
5、作为一种示例，语音降噪模型包括多个串联的语音增强模块；其中，第i+1个语音增强模块的输入为第i个语音增强模块的输出，i为大于或等于1的正整数；当i＝0时，第一个语音增强模块的输入为第一带噪语音或第二带噪语音。也即，本申请实施例中的语音降噪模型中的语音增强模块是串联的，前一个语音增强模块的输出作为下一个语音增强模块的输入，以实现针对带噪语音的不同程度的降噪，也即，每段带噪语音的噪声强度可能不同，对应的语音增强模块的数量也不同，通过带噪语音的噪声强度相匹配的语音增强模块的数量对带噪语音进行处理，可以实现语音降噪的自适应调节，减少对系统资源的浪费，降低语音交互的时延。
6、作为一种示例，语音降噪模型还包括噪声强度确定模块，该噪声强度确定模块用于基于多头注意力机制对带噪语音特征进行处理得到第一中间特征，然后对第一中间特征进行残差连接和层归一化操作得到第二中间特征，进一步基于前馈层对第二中间特征进行处理得到第三中间特征，然后对第三中间特征进行残差连接和层归一化操作得到输出语音特征，进一步利用激活函数对输出语音特征进行处理得到带噪语音的噪声强度。其中，带噪语音特征基于带噪语音得到，带噪语音为第一带噪语音或第二带噪语音，带噪语音特征为第一带噪语音对应的第一带噪语音特征或第二带噪语音特征对应的第二带噪语音特征，输出语音特征为第一带噪语音特征对应的第一输出语音特征或第二带噪语音特征对应的第二输出语音特征，噪声强度为第一带噪语音对应的第一噪声强度或第二带噪语音对应的第二噪声强度。
7、应理解的是，通过两次残差连接和层归一化操作可以关注第一中间特征或第三中间特征中的差异部分，并通过反馈层进行处理，可以获取第二中间特征中更深层次的特征信息，提高噪声强度预测的准确性。
8、作为一种示例，在得到输出语音特征之后，本申请实施例提供的方法还包括：对输出语音特征进行全局平均池化得到一维向量，然后基于全连接层将一维向量转换为带噪特征。对应的，利用激活函数将带噪特征映射至预设区间内，得到噪声强度。其中，通过对输出语音特征进行降维和映射处理，可以将输出语音特征从时间维度进行压缩，得到一维向量，并将一维向量转换为带噪特征，从而可以利用激活函数将带噪特征映射到预设区间内，预测出带噪语音的噪声强度。
9、作为一种示例，该语音降噪模型还包括前处理卷积模块，该前处理卷积模块用于获取带噪语音对应的带噪语谱图，其中带噪语谱图由带噪语音进行短时傅里叶变换得到，带噪语音为第一带噪语音或第二带噪语音，带噪语谱图为第一带噪语音对应的第一带噪语谱图或第二带噪语音对应的第二带噪语谱图；然后基于带噪语谱图确定带噪语音对应的带噪语音特征，其中带噪语音特征为第一带噪语音对应的第一带噪语音特征或第二带噪语音特征对应的第二带噪语音特征。其中，通过将带噪语音转换为带噪语谱图，可以减少确定带噪语音特征时的计算量，提高带噪语音特征的确定效率。
10、作为一种示例，利用第一数量的语音增强模块对第一带噪语音进行降噪，得到第一原始语音，包括：利用第一数量的语音增强模块对第一带噪语音进行处理得到第一处理特征，然后确定第一处理特征对应的第一掩膜，其中第一掩膜与第一带噪语谱图的尺寸相同，进一步将第一掩膜与第一带噪语谱图相乘得到第一原始语谱图，然后对第一原始语谱图进行反傅里叶变换得到第一带噪语音对应的第一原始语音。其中，利用第一掩膜将第一带噪语谱图中的噪声进行过滤，从而得到第一原始语谱图，实现语音降噪。
11、作为一种示例，利用第二数量的语音增强模块对第二带噪语音进行降噪，得到第二原始语音，包括：利用第二数量的语音增强模块对第二带噪语音进行处理得到第二处理特征，确定第二处理特征对应的第二掩膜，其中第二掩膜与第二带噪语谱图的尺寸相同，将第二掩膜与第二带噪语谱图相乘得到第二原始语谱图，进一步对第二原始语谱图进行反傅里叶变换得到第二带噪语音对应的第二原始语音。其中，利用第二掩膜将第二带噪语谱图中的噪声进行过滤，从而得到第二原始语谱图，实现语音降噪。
12、第二方面，本申请实施例提供一种语音降噪方法，包括：
13、获取包括原始语音和噪音的带噪语音，然后根据带噪语音的噪声强度选择对应的语音降噪模式，然后基于语音降噪模式对带噪语音进行降噪，得到原始语音。
14、在本申请实施例中，通过确定带噪语音的噪声强度，以确定带噪语音中噪音的强弱，然后根据噪声强度选择不同的语音降噪模式，并根据选择的语音降噪模式对带噪语音进行降噪，实现语音降噪的自适应调节，减少对系统资源的浪费，降低语音交互的时延。
15、作为一种示例，通过确定带噪语音对应的带噪语音特征，然后对带噪语音特征进行增强处理得到输出语音特征，再利用激活函数对输出语音特征进行处理，得到带噪语音的噪声强度。其中本文档来自技高网...
【技术保护点】
1.一种语音降噪方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述语音降噪模型包括多个串联的语音增强模块；其中，第i+1个语音增强模块的输入为第i个语音增强模块的输出，所述i为大于或等于1的正整数；当i＝0时，第一个语音增强模块的输入为所述第一带噪语音或所述第二带噪语音。
3.根据权利要求1所述的方法，其特征在于，所述语音降噪模型还包括噪声强度确定模块；所述噪声强度确定模块，用于基于多头注意力机制对带噪语音特征进行处理，得到第一中间特征；所述带噪语音特征基于带噪语音得到；所述带噪语音为所述第一带噪语音或所述第二带噪语音；所述带噪语音特征为所述第一带噪语音对应的第一带噪语音特征或所述第二带噪语音特征对应的第二带噪语音特征；
4.根据权利要求3所述的方法，其特征在于，在得到所述输出语音特征之后，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述语音降噪模型还包括前处理卷积模块；所述前处理卷积模块，用于获取所述带噪语音对应的带噪语谱图；所述带噪语谱图由所述带噪语音进行短时傅里叶变换得到；所述带噪语音为所
6.根据权利要求5所述的方法，其特征在于，所述利用所述第一数量的语音增强模块对所述第一带噪语音进行降噪，得到所述第一原始语音，包括：
7.根据权利要求5所述的方法，其特征在于，所述利用所述第二数量的语音增强模块对所述第二带噪语音进行降噪，得到所述第二原始语音，包括：
8.根据权利要求1所述的方法，其特征在于，所述语音降噪模型，通过以下方式训练得到：
9.一种电子设备，其特征在于，包括：处理器和存储器；
10.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，所述电子设备执行如权利要求1-8任一项所述的方法。
...【技术特征摘要】
1.一种语音降噪方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述语音降噪模型包括多个串联的语音增强模块；其中，第i+1个语音增强模块的输入为第i个语音增强模块的输出，所述i为大于或等于1的正整数；当i＝0时，第一个语音增强模块的输入为所述第一带噪语音或所述第二带噪语音。
3.根据权利要求1所述的方法，其特征在于，所述语音降噪模型还包括噪声强度确定模块；所述噪声强度确定模块，用于基于多头注意力机制对带噪语音特征进行处理，得到第一中间特征；所述带噪语音特征基于带噪语音得到；所述带噪语音为所述第一带噪语音或所述第二带噪语音；所述带噪语音特征为所述第一带噪语音对应的第一带噪语音特征或所述第二带噪语音特征对应的第二带噪语音特征；
4.根据权利要求3所述的方法，其特征在于，在得到所述输出语音特征之后，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述语音降噪模型还包括前处理卷积模...
【专利技术属性】
技术研发人员：夏殷锋，孙玉涛，王满洪，李佳树，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。