基于深度学习的声音隔离方法、装置和存储介质制造方法及图纸

本申请公开了基于深度学习的声音隔离方法、装置和存储介质，本申请的方法包括获得用于构建DeepAudioSep模型的音频文件并对所述用于构建DeepAudioSep模型的音频文件进行预处理；构建DeepAudioSep模型并训练所述DeepAudioSep模型，所述DeepAudioSep模型包括一个混合源输入和十个隔离的源输出；通过所述DeepAudioSep模型进行声音分离。本申请将数据驱动和深度学习思想引入声音分离及噪声隔离处理，提升在环境监测领域对于声音分离及噪声隔离处理能力，因此具有广泛的噪声处理前景及实用价值。实用价值。实用价值。

【技术实现步骤摘要】
基于深度学习的声音隔离方法、装置和存储介质


[0001]本申请涉及声音隔离领域，尤其是基于深度学习的声音隔离方法、装置和存储介质。

技术介绍

[0002]目前，针对噪声分离及隔离通常使用复杂的算法模型进行模型训练，而在实际应用中，由于声音的复杂性，这就导致利用少样本数据训练出的模型往往无法达到理想的效果，此外，常规的噪声分离往往是指定，但在实际的环境监测中，对于噪声往往是根据环境情况界定的，如果评估环境，往往是指扣除指定类型的噪声，譬如鸣笛，缺乏灵活的手段将混合声音分离为不同的声音并根据需要扣除某类判定为噪声的声音。
[0003]因此，相关技术存在的上述技术问题亟待解决。

技术实现思路

[0004]本申请旨在解决相关技术中的技术问题之一。为此，本申请实施例提供基于深度学习的声音隔离方法、装置和存储介质，能够提高声音分离的准确性、可靠性和稳定性。
[0005]根据本申请实施例一方面，提供一种基于深度学习的声音隔离方法，所述方法包括：
[0006]获得用于构建DeepAudioSep模型的音频文件并对所述用于构建DeepAudioSep模型的音频文件进行预处理；
[0007]构建DeepAudioSep模型并训练所述DeepAudioSep模型，所述DeepAudioSep模型包括一个混合源输入和十个隔离的源输出，其中所有源输出都经过了特征提取和归一化处理；
[0008]通过所述DeepAudioSep模型进行声音分离。
[0009]在其中一个实施例中，获得用于构建DeepAudioSep模型的音频文件，包括：
[0010]将若干个类别的声音进行合成，得到第一音频文件，所述若干个类别的声音至少包括风声、雨声、雷声、虫声、蛙声、鸟声、狗声、人声；
[0011]将若干个随机选择的额外音频文件叠加到所述第一音频文件中，得到所述用于构建DeepAudioSep模型的音频文件。
[0012]在其中一个实施例中，对所述用于构建DeepAudioSep模型的音频文件进行预处理，包括：
[0013]将所述用于构建DeepAudioSep模型的音频文件处理为5秒的音频段，音高移动2或4步，拉伸1.2倍，响度在
‑
5和+5点之间的值移动；
[0014]使用PCM编解码器在WAV格式编码，单声声道和采样频率为44100Hz，通过将输入和输出的音频文件转换为22050Hz，将音频文件的持续时间缩短到3秒，使用最小MAX参数进行归一化。
[0015]在其中一个实施例中，构建DeepAudioSep模型并训练所述DeepAudioSep模型，包
括：
[0016]从所述DeepAudioSep模型输出中提取若干个类，得到滤波器；
[0017]对每个滤波器乘以所述DeepAudioSep模型的输入，得到预测的隔离输出滤波器，用于输入以获得十个计算输出，通过测量计算和提供的误差之间的均方误差计算每个类的损失目标输出；
[0018]将每个类的损失目标输出汇总，使用ADAM优化算法优化所述DeepAudioSep模型。
[0019]在其中一个实施例中，所述方法还包括：对所述DeepAudioSep模型进行验证和调优，包括：
[0020]增加并优化训练数据；
[0021]优化所述DeepAudioSep模型的模型网络；
[0022]调整网络参数。
[0023]在其中一个实施例中，所述网络参数，包括：隐藏单元的大小、输入大小、损失优化、训练迭代次数、归一化技术类型、数据集大小。
[0024]在其中一个实施例中，通过所述DeepAudioSep模型进行声音分离，包括：
[0025]输入混合声音文件；
[0026]通过调用模型将所述混合声音文件输出到不同类别的声音文件中；
[0027]根据结果评估声音分离的保留结果；
[0028]其中，评估声音分离的保留结果基于信号失真比、源干扰比和源与干扰比进行，将比率最高的作为声音分离及隔离的结果。
[0029]根据本申请实施例一方面，提供基于深度学习的声音隔离装置，所述装置包括：
[0030]第一模块，用于获得用于构建DeepAudioSep模型的音频文件并对所述用于构建DeepAudioSep模型的音频文件进行预处理；
[0031]第二模块，用于构建DeepAudioSep模型并训练所述DeepAudioSep模型，所述DeepAudioSep模型包括一个混合源输入和十个隔离的源输出，其中所有源输出都经过了特征提取和归一化处理；
[0032]第三模块，用于通过所述DeepAudioSep模型进行声音分离。
[0033]根据本申请实施例一方面，提供基于深度学习的声音隔离装置，所述装置包括：
[0034]至少一个处理器；
[0035]至少一个存储器，所述存储器用于存储至少一个程序；
[0036]当至少一个所述程序被至少一个所述处理器执行时实现如前面实施例所述的基于深度学习的声音隔离方法。
[0037]根据本申请实施例一方面，提供存储介质，所述存储介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如前面实施例所述的基于深度学习的声音隔离方法。
[0038]本申请实施例提供的基于深度学习的声音隔离方法、装置和存储介质的有益效果为：本申请的方法包括获得用于构建DeepAudioSep模型的音频文件并对所述用于构建DeepAudioSep模型的音频文件进行预处理；构建DeepAudioSep模型并训练所述DeepAudioSep模型，所述DeepAudioSep模型包括一个混合源输入和十个隔离的源输出；通过所述DeepAudioSep模型进行声音分离。本申请将数据驱动和深度学习思想引入声音分离
及噪声隔离处理，提升在环境监测领域对于声音分离及噪声隔离处理能力，因此具有广泛的噪声处理前景及实用价值。
[0039]本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0040]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本申请实施例提供的一种基于深度学习的声音隔离方法的流程图；
[0042]图2为本申请实施例提供的一种基于深度学习的声音隔离方法的模型训练流程图；
[0043]图3为本申请实施例提供的声音分离算法流程图；
[0044]图4为本申请实施例提供的DeepAudioSep模型结构示意图；
[0045]图5为本申请实施例提供的一种基于深度学习的声音隔离装置的示意图；
[0046]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的声音隔离方法，其特征在于，所述方法包括：获得用于构建DeepAudioSep模型的音频文件并对所述用于构建DeepAudioSep模型的音频文件进行预处理；构建DeepAudioSep模型并训练所述DeepAudioSep模型，所述DeepAudioSep模型包括一个混合源输入和十个隔离的源输出，其中所有源输出都经过了特征提取和归一化处理；通过所述DeepAudioSep模型进行声音分离。2.根据权利要求1所述的基于深度学习的声音隔离方法，其特征在于，获得用于构建DeepAudioSep模型的音频文件，包括：将若干个类别的声音进行合成，得到第一音频文件，所述若干个类别的声音至少包括风声、雨声、雷声、虫声、蛙声、鸟声、狗声、人声；将若干个随机选择的额外音频文件叠加到所述第一音频文件中，得到所述用于构建DeepAudioSep模型的音频文件。3.根据权利要求1所述的基于深度学习的声音隔离方法，其特征在于，对所述用于构建DeepAudioSep模型的音频文件进行预处理，包括：将所述用于构建DeepAudioSep模型的音频文件处理为5秒的音频段，音高移动2或4步，拉伸1.2倍，响度在
‑
5和+5点之间的值移动；使用PCM编解码器在WAV格式编码，单声声道和采样频率为44100Hz，通过将输入和输出的音频文件转换为22050Hz，将音频文件的持续时间缩短到3秒，使用最小MAX参数进行归一化。4.根据权利要求1所述的基于深度学习的声音隔离方法，其特征在于，构建DeepAudioSep模型并训练所述DeepAudioSep模型，包括：从所述DeepAudioSep模型输出中提取若干个类，得到滤波器；对每个滤波器乘以所述DeepAudioSep模型的输入，得到预测的隔离输出滤波器，用于输入以获得十个计算输出，通过测量计算和提供的误差之间的均方误差计算每个类的损失目标输出；将每个类的损失目标输出汇总，使用ADAM优化算法优...

【专利技术属性】
技术研发人员：刘立峰，母健康，宋卫华，王文重，张建军，
申请(专利权)人：珠海高凌信息科技股份有限公司，
类型：发明
国别省市：