混音处理方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种混音处理方法、装置、电子设备和存储介质，其中方法包括：通过获取采集的外部音频信号，并根据播放信号对采集的外部音频信号进行自适应回声滤波处理，得到消除了线性回声的第二声音信号，并对第二声音信号进行语音信号检测，当没有检测到语音信号时才对第二声音信号进行非线性残余回声处理，以得到消除残余回声的第三声音信号，进而根据播放信号与外部音频信号的延时将第三声音信号和播放信号进行叠加混音，得到目标音频信号。由于本公开只有在没有检测到语音信号时才进一步进行非线性残余回声抑制处理，从而不存在损坏语音信号的情况，且通过对去除了线性和非线性回声的第三声音信号与播放信号的对齐叠加，得到了优质的音质效果。

Mixing processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
混音处理方法、装置、电子设备和存储介质
本公开涉及音频信号处理
，特别是涉及一种混音处理方法、装置、电子设备和存储介质。
技术介绍
随着互联网技术的不断发展，网络直播已成为一种新兴的网络社交方式，由于网络直播可以同一时间透过网络系统并在不同的交流平台进行现场直播，其具有直观、快速以及交互性强的特点。在进行网络直播时，一般主播会通过播放背景音乐(BackgroundMusic，BGM)来调节直播间气氛，以提升观众体验。而对于如何在直播过程中将BGM播放给观众收听，目前一般采用的方式如图1所示：主播通过本地终端的扬声器播放BGM，并利用本地终端的音频采集设备(如麦克风)采集外放的BGM，再混合主播的人声，一起直播给观众(即远端终端)，然而，BGM经过扬声器播放后再由音频采集设备采集，使得原本的立体声已变成了单声道，其音质下降明显。
技术实现思路
基于此，有必要针对上述直播过程中BGM音质较差的问题，提供一种能够有效改善BGM音质的混音处理方法、装置、电子设备和存储介质。为了实现上述目的，根据本公开实施例的第一方面，提供了一种混音处理方法，所述方法包括：获取采集的外部音频信号，其中，外部音频信号为采集的外部环境中的第一声音信号，具体的，第一声音信号中包括终端内部播放的背景音乐通过扬声器扩散后产生的该背景音乐的回声信号；根据播放信号对采集的外部音频信号进行自适应回声滤波处理，得到滤除部分回声后的第二声音信号，其中，播放信号为终端内部播放背景音乐的原始信号；对所述第二声音信号进行语音信号检测；若在第二声音信号中没有检测到语音信号，则对第二声音信号进行非线性残余回声抑制处理，得到消除残余回声后的第三声音信号；根据播放信号与外部音频信号的延时将第三声音信号和播放信号进行叠加混音，以得到目标音频信号。在其中一个实施例中，在对第二声音信号进行语音信号检测之后，上述方法还包括：若在第二声音信号中检测到语音信号，则根据播放信号与外部音频信号的延时将第二声音信号和播放信号进行叠加混音，以得到目标音频信号。在其中一个实施例中，若在第二声音信号中检测到语音信号，则进一步检测播放信号的音量大小；若音量大小超过预设阈值，则将播放信号的音量大小减弱至预设阈值；进而根据播放信号与外部音频信号的延时，将第二声音信号和减弱音量的播放信号进行叠加混音，以得到目标音频信号。在其中一个实施例中，根据播放信号对采集的外部音频信号进行自适应回声滤波处理之前，还包括：检测终端内部是否正在播放背景音乐；若检测到终端内部正在播放背景音乐，则获取终端内部当前播放的背景音乐的原始信号。在其中一个实施例中，获取播放信号与背景音乐的回声信号之间的第一延时；将该第一延时确定为播放信号与外部音频信号的延时。在其中一个实施例中，根据播放信号与外部音频信号的延时将第三声音信号和播放信号进行对齐；将对齐后的第三声音信号和播放信号进行叠加，以得到目标音频信号。根据本公开实施例的第二方面，提供了一种混音处理装置，包括：采集模块，用于获取采集的外部音频信号，其中，外部音频信号为采集的外部环境中的第一声音信号，具体的，第一声音信号中包括终端内部播放的背景音乐通过扬声器扩散后产生的该背景音乐的回声信号；第一回声处理模块，用于根据播放信号对采集的外部音频信号进行自适应回声滤波处理，得到滤除部分回声后的第二声音信号，其中，播放信号为终端内部播放背景音乐的原始信号；语音信号检测模块，用于对所述第二声音信号进行语音信号检测；第二回声处理模块，用于若在第二声音信号中没有检测到语音信号，则对第二声音信号进行非线性残余回声抑制处理，得到消除残余回声后的第三声音信号；混音模块，用于根据播放信号与外部音频信号的延时将第三声音信号和播放信号进行叠加混音，以得到目标音频信号。在其中一个实施例中，混音模块还用于：若在第二声音信号中检测到语音信号，则根据播放信号与外部音频信号的延时将第二声音信号和播放信号进行叠加混音，以得到目标音频信号。根据本公开实施例的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。根据本公开实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。上述混音处理方法、装置、电子设备和存储介质，通过获取采集的外部音频信号，并根据播放信号对采集的外部音频信号进行自适应回声滤波处理，得到消除了线性回声的第二声音信号，并对第二声音信号进行语音信号检测，当没有检测到语音信号时，则对第二声音信号进行非线性残余回声抑制处理，以得到消除残余回声后的第三声音信号，进而根据播放信号与外部音频信号的延时将第三声音信号和播放信号进行叠加混音，以得到目标音频信号。由于本公开只有在没有检测到语音信号时才进一步进行非线性残余回声抑制处理，从而不存在损坏语音信号的情况，且通过对去除了线性和非线性回声的第三声音信号与播放信号的对齐叠加，得到了优质的直播音质效果。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明图1为采用传统技术直播时BGM的混音原理图；图2(A)为一个实施例中混音处理方法的应用环境图；图2(B)为一个实施例中混音处理方法的原理图；图3为一个实施例中混音处理方法的流程示意图；图4为另一个实施例中混音处理方法的流程示意图；图5为一个实施例中步骤304的流程示意图；图6为一个实施例中回声抵消原理示意图；图7为另一个实施例中步骤310的流程示意图；图8为一个实施例中语音处理引擎进行混音处理的流程示意图；图9为一个实施例中混音处理装置的结构框图；图10为另一个实施例中混音处理装置的结构框图；图11为一个实施例中电子设备的内部结构图。具体实施方式为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。本公开提供的混音处理方法，可以应用于如图2(A)所示的应用环境中。其中，终端102和终端104与服务器106通过网络进行通信，当终端102为本地终端(即进行直播的终端)时，终端104则为远端终端(即观众终端)，而当终端104为本地终端时，终端102则为远端终端。具体的，终端102和终端104可以是各种个人计算机、笔记本电脑、智能手机、平板电脑等中的至少一种，服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中混音处理方法的原理如图2(B)所示，以终端102为本地终端(即主播终端)、终端104为远端终端(即观众终端)为例进行说明，通过主播终端的语音处理引擎采集主播终端的播放信号，即主播终端播本文档来自技高网...

【技术保护点】
1.一种混音处理方法，其特征在于，所述方法包括：/n获取采集的外部音频信号，所述外部音频信号为采集的外部环境中的第一声音信号，所述第一声音信号中包括终端内部播放的背景音乐通过扬声器扩散后产生的所述背景音乐的回声信号；/n根据播放信号对采集的所述外部音频信号进行自适应回声滤波处理，得到滤除部分回声后的第二声音信号，所述播放信号为终端内部播放所述背景音乐的原始信号；/n对所述第二声音信号进行语音信号检测；/n若在所述第二声音信号中没有检测到语音信号，则对所述第二声音信号进行非线性残余回声抑制处理，得到消除残余回声后的第三声音信号；/n根据所述播放信号与所述外部音频信号的延时将所述第三声音信号和所述播放信号进行叠加混音，以得到目标音频信号。/n

【技术特征摘要】
1.一种混音处理方法，其特征在于，所述方法包括：
获取采集的外部音频信号，所述外部音频信号为采集的外部环境中的第一声音信号，所述第一声音信号中包括终端内部播放的背景音乐通过扬声器扩散后产生的所述背景音乐的回声信号；
根据播放信号对采集的所述外部音频信号进行自适应回声滤波处理，得到滤除部分回声后的第二声音信号，所述播放信号为终端内部播放所述背景音乐的原始信号；
对所述第二声音信号进行语音信号检测；
若在所述第二声音信号中没有检测到语音信号，则对所述第二声音信号进行非线性残余回声抑制处理，得到消除残余回声后的第三声音信号；
根据所述播放信号与所述外部音频信号的延时将所述第三声音信号和所述播放信号进行叠加混音，以得到目标音频信号。


2.根据权利要求1所述的混音处理方法，其特征在于，所述对所述第二声音信号进行语音信号检测之后，所述方法还包括：
若在所述第二声音信号中检测到语音信号，则根据所述播放信号与所述外部音频信号的延时将所述第二声音信号和所述播放信号进行叠加混音，以得到目标音频信号。


3.根据利要求2所述的混音处理方法，其特征在于，若在所述第二声音信号中检测到语音信号之后，所述方法还包括：
检测所述播放信号的音量大小；
若所述音量大小超过预设阈值，则将所述播放信号的音量大小减弱至预设阈值；
所述根据所述播放信号与所述外部音频信号的延时将所述第二声音信号和所述播放信号进行叠加混音，包括：
根据所述播放信号与所述外部音频信号的延时，将所述第二声音信号和减弱音量的所述播放信号进行叠加混音，以得到目标音频信号。


4.根据权利要求1所述的混音处理方法，其特征在于，所述根据播放信号对采集的所述外部音频信号进行自适应回声滤波处理之前，所述方法还包括：
检测所述终端内部是否正在播放背景音乐；
若检测到所述终端内部正在播放背景音乐，则获取所述终端内部当前播放的背景音乐的原始信号。


5.根据权利要求4所述的混音处理方法，其特征在于，所述播放信号与所述外部音频信号的延时通过如下方法...

【专利技术属性】
技术研发人员：张晨，邢文浩，郭亮，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11