音频信号处理方法、系统、音频交互装置及计算机设备制造方法及图纸

本发明专利技术实施例公开了音频信号处理方法、系统、音频交互装置及计算机设备。该方法包括：对所获取音频输入信号中的回声信号进行回声消除，获得所述音频输入信号的音频残差信号；对所述音频残差信号中的噪声信号进行噪声消除，获得噪声消除后的音频增强信号；对所述音频增强信号进行残留噪声信号检测，如果所述音频增强信号中存在残留噪声信号，则对所述残留噪声信号进行过滤。利用该方法，能够去除音频交互时音频输入信号中的回声信号和环境噪声信号，同时实现了对残留噪声的检测及过滤，有效抑制了环境噪声对音频交互过程的影响，更好提升了音频交互过程中回声及噪声的消除效果，从而提高了音频交互装置对回声及噪声的消除性能。

【技术实现步骤摘要】
音频信号处理方法、系统、音频交互装置及计算机设备
本专利技术实施例涉及音频信号处理
，尤其涉及音频信号处理方法、系统、音频交互装置及计算机设备。
技术介绍
对于具备语音交互功能的智能音频交互装置而言，其既可以通过麦克风接受用户的语音指令，又可以将反馈信息通过扬声器播报给用户。但是，扬声器播报给用户的声音也会同时作为声学回声再次被麦克风采集到，由此影响交互设备对用户语音的识别和理解，从而降低音频交互设备的工作性能。此外，在实际应用中，由于智能音频交互装置的硬件结构不同，麦克风和扬声器的距离和安装方式各异，系统应用的场所也多种多样，回声路径和回声的延时情况也会各有不同，这些因素都增加了回声消除问题的难度和复杂性。因此，如何有效消除音频交互时产生的声学回声成为技术人员需要解决的问题。目前，一般采用自适应滤波的方法来解决回声消除问题，图1给出了现有的基于自适应滤波进行回声消除的基本原理图，具体地，由图1可以发现，扬声器信号x经过回声路径w形成回声信号y，该回声信号y和用户语音信号v一同被电子设备的扬声器采集形成扬声器信号d；图1中的自适应滤波器可以通过自适应更新其滤波器系数矢量以使不断的模拟和逼近回声路径w，并根据对输入的扬声器信号x进行处理，之后将输出的模拟回声信号从扬声器信号d中减去，最终得到误差信号e，该误差信号e中将主要包含用户语音信号v，其回声信号基本被消除。考虑到电子设备中实时的语音交互系统对语音输入的延时有一定要求，因此，实现回声消除时会分段估计计算滤波器系数矢量，常用的计算方法是分段块频率域自适应滤波(PartitionedBlockFrequencyDomainAdaptiveFilter，PBFDAF)算法。基于PBFDAF算法的回声消除技术，在网络电话和网页实时通信中被证明能够有效的消除回声，改善话音通讯的质量，然而，在智能音频交互装置的回声消除上的表现却不尽如人意。首先，PBFDAF算法尽管可以降低扬声器产生的回声，但是对于同样会干扰智能语音交互的环境噪声，基本上没有效果；其次，由于使用环境和回声路径多变，语音交互情景各异等因素的影响，自适应滤波算法难以将滤波器的估计误差收敛到理想的情况，因此对回声及噪声的消除效果无法达到智能音频交互装置的要求。
技术实现思路
本专利技术实施例提供了音频信号处理方法、系统、音频交互装置及计算机设备，更好地抑制了环境噪声对智能音频交互装置的影响，提高了智能音频交互装置的噪声消除性能。第一方面，本专利技术实施例提供了一种音频信号处理方法，包括：对所获取音频输入信号中的回声信号进行回声消除，获得所述音频输入信号的音频残差信号；对所述音频残差信号中的噪声信号进行噪声消除，获得噪声消除后的音频增强信号；对所述音频增强信号进行残留噪声信号检测，如果所述音频增强信号中存在残留噪声信号，则对所述残留噪声信号进行过滤。第二方面，本专利技术实施例提供了一种音频信号处理系统，包括：回声信号消除模块，用于对所获取音频输入信号中的回声信号进行回声消除，获得所述音频输入信号的音频残差信号；噪声信号消除模块，用于对所述音频残差信号中的噪声信号进行噪声消除，获得噪声消除后的音频增强信号；残留噪声检测模块，用于对所述音频增强信号进行残留噪声信号检测；残留噪声过滤模块，用于当所述音频增强信号中存在残留噪声信号时，对所述残留噪声信号进行过滤。第三方面，本专利技术实施例还提供了一种音频交互装置，该音频交互装置包括了本专利技术上述实施例提供的音频信号处理系统。第四方面，本专利技术实施例也提供了一种计算机设备，该设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术上述实施例提供的音频信号处理方法。第五方面，本专利技术实施例又提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本专利技术上述实施例提供的音频信号处理方法。本专利技术实施例提供了音频信号处理方法、系统、音频交互装置及计算机设备，该音频信号处理方法首先对所获取音频输入信号中的回声信号进行回声消除，获得该音频输入信号的音频残差信号；然后对该音频残差信号中的噪声信号进行噪声消除，获得噪声消除后的音频增强信号；最终对音频增强信号进行残留噪声检测，并在检测到残留噪声信号时，对该残留噪声信号进行过滤。利用该方法，有效去除了音频交互时音频输入信号中的回声信号和环境噪声信号，同时实现了对残留噪声的检测及过滤，与现有方法相比，有效抑制了环境噪声对音频交互过程的影响，更好提升了音频交互过程中回声及噪声的消除效果，从而提高了音频交互装置对回声及噪声的消除性能。附图说明图1给出了现有的基于自适应滤波进行回声消除的基本原理图；图2为本专利技术实施例一提供的一种音频信号处理方法的流程示意图；图3为本专利技术实施例二提供的一种音频信号处理方法的流程示意图；图4a为本专利技术实施例三提供的一种音频信号处理方法的流程示意图；图4b为基于本专利技术实施例三提供的一种音频信号处理方法进行音频信号处理的基本原理图；图5a为本专利技术实施例四提供的音频信号处理方法的优选实施例的流程示意图；图5b为本专利技术实施例四提供的优选实施例中音频输入信号的波形图；图5c为本专利技术实施例四提供的优选实施例中音频参考信号的波形图；图5d为本专利技术实施例四提供的优选实施例中对音频输入信号进行处理的处理效果图；图5e为基于现有的一种音频信号处理方法对音频输入信号进行处理的处理效果图；图5f为基于现有的另一种音频信号处理方法对音频输入信号进行处理的处理效果图；图6为本专利技术实施例五提供的一种音频信号处理系统的结构框图；图7为本专利技术实施例六提供的一种计算机设备的结构框图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图2为本专利技术实施例一提供的一种音频信号处理方法的流程示意图，该方法适用于具有音频交互功能的音频交互装置进行音频交互时对拾取的音频输入信号进行回声和噪声处理的情况，该方法可以由音频信号处理系统执行，其中该系统可由软件和/或硬件实现，并一般集成在具有音频交互功能的音频交互装置上。需要说明的是，所述音频交互具体可理解为用户与音频交互装置之间的语音交互，所述音频交互装置可以是智能语音助手、智能家居以及语音导航仪等带有语音交互功能的电子产品。如图2所示，本专利技术实施例一提供的音频信号处理方法，包括如下操作：S101、对所获取音频输入信号中的回声信号进行回声消除，获得所述音频输入信号的音频残差信号。在本实施例中，可以从预先设定的输入缓存区中以帧为单位获取音频输入信号，其中，所述输入缓存区预先设置在音频交互装置中，输入缓存区中音频输入信号可以在音频交互时通过音频交互装置上的音频输入设备拾取，所述音频输入设备具体可指音频交互装置中的话筒和麦克风等用于拾取音频信号数据的音频拾取器件。具体地，进行音频交互时，所获取的音频输入信号中往往包括了回声信号以及噪声信号等，所述回声信号具体可理解为音频输出设备输出的音频参考信号在外界环境中经过一次或多次反射后被音频输入本文档来自技高网...

【技术保护点】
一种音频信号处理方法，其特征在于，包括：对所获取音频输入信号中的回声信号进行回声消除，获得所述音频输入信号的音频残差信号；对所述音频残差信号中的噪声信号进行噪声消除，获得噪声消除后的音频增强信号；对所述音频增强信号进行残留噪声信号检测，如果所述音频增强信号中存在残留噪声信号，则对所述残留噪声信号进行过滤。

【技术特征摘要】
1.一种音频信号处理方法，其特征在于，包括：对所获取音频输入信号中的回声信号进行回声消除，获得所述音频输入信号的音频残差信号；对所述音频残差信号中的噪声信号进行噪声消除，获得噪声消除后的音频增强信号；对所述音频增强信号进行残留噪声信号检测，如果所述音频增强信号中存在残留噪声信号，则对所述残留噪声信号进行过滤。2.根据权利要求1所述的方法，其特征在于，所述对所述音频残差信号中的噪声信号进行噪声消除，获得噪声消除后的音频增强信号，包括：根据所述音频残差信号的功率谱以及预先确定的所述音频残差信号中噪声信号的噪声功率谱，确定所述音频残差信号的第一后验信噪比和先验信噪比；根据所述第一后验信噪比和所述先验信噪比，确定所述音频残差信号中噪声信号的第一衰减系数；根据所述第一衰减系数消除所述音频残差信号中的噪声信号，获得所述音频残差信号的音频增强信号。3.根据权利要求2所述的方法，其特征在于，在根据所述音频残差信号的功率谱以及预先确定的所述音频残差信号中噪声信号的噪声功率谱，确定所述音频残差信号的第一后验信噪比和先验信噪比之后，还包括：根据所述第一后验信噪比和所述先验信噪比，确定所述音频残差信号的噪声估计调节参数；如果所述噪声估计调节参数小于设定调节参数阈值，则更新所述噪声功率谱并保存。4.根据权利要求3所述的方法，其特征在于，分别根据下述第一后验信噪比公式以及先验信噪比公式获得所述音频残差信号的第一后验信噪比和先验信噪比，所述第一后验信噪比公式表示为：所述先验信噪比公式表示为：其中，j表示频率域的频率编号，为0～M-1中的任一整数值，M表示频率域长度，n表示当前所处理音频输入信号的帧号，α为0～1之间的任一常数，SNRpost(n,j)表示第n帧音频输入信号的音频残差信号的第一后验信噪比，SNRprio(n,j)表示第n帧音频输入信号的音频残差信号的先验信噪比，|E(n,j)|2表示第n帧音频输入信号的音频残差信号的功率谱，|NE(n,j)|2表示第n帧音频输入信号的音频残差信号中噪声信号的噪声功率谱，|E1(n-1,j)|2表示第n-1帧音频输入信号的音频残差信号的增强信号功率谱；根据下述第一衰减系数公式获得所述音频残差信号中噪声信号的第一衰减系数，所述第一衰减系数公式表示为：其中，ζ1(n,j)表示第n帧音频输入信号的音频残差信号的第一衰减系数；相应的，根据下述增强信号功率谱公式确定第n帧音频输入信号的音频残差信号的增强信号功率谱，所述增强信号功率谱公式表示为：|E1(n,j)|2＝ζ1(n,j)|E(n,j)|2，其中，|E1(n,j)|2表示第n帧音频输入信号的音频残差信号的增强信号功率谱；根据下述噪声估计调节参数公式获得所述音频残差信号的噪声估计调节参数，所述噪声估计调节参数公式表示为：其中，β表示第n帧音频残差信号的噪声估计调节参数；根据下述噪声功率谱更新公式更新所述噪声功率谱，所述噪声功率谱更新公式表示为：|NE(n,j)|2＝ε|NE(n-1,j)|2+(1-ε)|E(n,j)|2，其中，|NE(n-1,j)|2表示第n-1帧音频输入信号的音频残差信号中噪声信号的噪声功率谱。5.根据权利要求1所述的方法，其特征在于，对所述音频增强信号进行残留噪声信号检测，如果所述音频增强信号中存在残留噪声信号，则对所述残留噪声信号进行过滤，包括：根据所述音频输入信号、所述音频增强信号和预设的检测参数公式，确定所述音频增强信号的残留噪声检测参数；如果所述残留噪声检测参数小于设定的检测参数阈值，则确定所述音频增强信号中存在残留噪声信号；根据所述残留噪声检测参数以及所述检测参数阈值，获得所述残留噪声信号在所述音频增强信号中的第二衰减系数；根据所述第二衰减系数，过滤所述音频增强信号中的残留噪声信号。6.根据权利要求5所述的方法，其特征在于，所述检测参数公式表示为：其中，n表示当前所处理音频输入信号的帧号，∑|d(n,t)|2表示第n帧音频输入信号的能量值；∑|e1(n,t)|2表示第n帧音频输入信号的音频增强信号的能量值；RD(n)表示第n帧音频输入信号的音频增强信号的残留噪声检测参数；根据下述第二衰减系数公式确定所述残留噪声信号在所述音频增强信号中的第二衰减系数，所述第二衰减系数公式表示为：ζ2(n)＝max(RDth/RD(n),ζmin)，其中，RDth为设定的检测参数阈值；ζmin为设定的最小衰减系数；ζ2(n)表示第n帧音频输入信号的音频增强信号中残留噪声信号的第二衰减系数。7.根据权利要6所述的方法，其特征在于，在对所述残留噪声信号进行过滤之后，还包括：根据下述信号确定公式，确定待输出的目标音频信号；所述信号确定公式表示为：s(n)＝ζ2(n)*e1(n)，其中，e1(n)表示第n帧音频输入信号的音频增强信号，s(n)表示待输出的第n帧音频输入信号的目标音频信号。8.根据权利要求1所述的方法，其特征在于，所述对所获取音频输入信号中的回声信号进行回声消除，获得所述音频输入信号的音频残差信号，包括：获取音频输入设备拾取的音频输入信号以及音频输出设备输出的音频参考信号；根据当前确定的自适应滤波系数处理所述音频参考信号，获得所述音频参考信号的回声估计信号；将所述音频输入信号与所述回声估计信号的差值确定为所述音频输入信号的音频残差信号。9.根据权利要求8所述的方法，其特征在于，在将所述音频输入信号与所述回声估计信号的差值确定为所述音频输入信号的音频残差信号之后，还包括：根据所述音频参考信号和确定的音频残差信号，确定频率域滤波器系数的更新因子；根据所述更新因子更新所述自适应滤波系数并保存。10.根据权利要求9所述的方法，其特征在于，在对所获取音频输入信号中的回声信号进行回声消除，获得所述音频输入信号的音频残差信号之后，还包括：检测所述音频输入信号中是否包含用户语音信号，并检测所述音频参考信号中是否包含回声信号；当所述音频输入信号中包含所述用户语音信号时，停止更新所述自适应滤波系数；或者，当所述音频输入信号中不包含所述用户语音信号且所述音频参考信号中不包含回声信号时，停止更新所述自适应滤波系数；或者，当所述音频输入信号中不包含所述用户语音信号且所述音频参考信号中包含回声信号时，更新所述自适应滤波系数并保存。11.根据权利要求10所述的方法，其特征在于，所述检测所述音频输入信号中是否包含用户语音信号，包括：根据所述音频输入信号的能量值及所述音频参考信号的能量值，确定所述音频输入信号与所述音频参考信号的瞬时能量比；如果所述瞬时能量比小于第一设定阈值，则确定所述音频输入信号中不包含用户语音信号；否则，确定包含所述用户语音信号。12.根据权利要求10所述的方法，其特征在于，所述检测所述音频参考信号中是否包含回声信号，包括：根据所述音频输入信号的功率谱及所述音频残差信号对应的噪声功率谱，确定所述音频输入信号的第二后验信噪比；根据所述音频输入信号的功率值及所述音频残差信号的功率值，确定所述音频输入信号与所述音频残差信号的互相关系数；如果所述第二后验信噪比小于第二设定阈值，则确定所述音频参考信号中不包含回声信号；或者，如果所述第二后验信噪比不小于第二设定阈值且所述互相关系数不小于第三设定阈值，则确定所述音频参考信号中包含回声信号且所述回声信号的回声路径发生了变化；或者，如果所述第二后验信噪比不小于所述第二设定阈值且所述互相关系数小于所述第三设定阈值，则确定所述音频参考信号中包含回声信号且所述回声信号的回声路径没有发生变化。13.一种音频信号处理系统，其特征在于，包括：回声信号消除模块，用于对所获取音频输入信号中的回声信号进行回声消除，获得所述音频输入信号的音频残差信号；噪声信号消除模块，用于对所述音频残差信号中的噪声信号进行噪声消除，获得噪声消除后的音频增强信号；残留噪声检测模块，用于对所述音频增强信号进行残留噪声信号检测；残留噪声过滤模块，用于当所述音频增强信号中存在残留噪声信号时，对所述残留噪声信号进行过滤。14.根据权利要求13所述的系统，其特征在于，所述噪声信号消除模块，包括：第一信噪比确定单元，用于根据所述音频残差信号的功率谱以及预先确定的所述音频残差信号中噪声信号的噪声功...

【专利技术属性】
技术研发人员：余世经，朱频频，
申请(专利权)人：上海智臻智能网络科技股份有限公司，
类型：发明
国别省市：上海,31