【技术实现步骤摘要】
本专利技术涉及声音信号处理领域，具体涉及一种基于两阶段深度复数网络的多通道噪声抑制方法。
技术介绍
1、在现代语音通信、自动语音识别(asr)和声事件检测等应用中，清晰的目标声信号质量是至关重要的。然而，在实际场景中麦克风阵列采集到的目标声信号通常会受到噪声的干扰，从而导致信号的质量和清晰度下降。噪声抑制技术旨在减轻噪声对目标声信号的影响，从麦克风采集到的目标声与噪声混合的带噪信号中提取出干净的目标声。多通道噪声抑制方法利用多个麦克风组成的麦克风阵列获取的空间信息，可以有选择地增强或抑制某些方向的信号，在一定程度上能够改善目标声信号的质量，逐渐成为当前研究关注的热点。
2、近年来，基于深度学习的多通道噪声抑制方法在性能上取得了显著进展，主要可分为两种：一种是基于深度神经网络的端到端的方法；另一种是波束形成与深度神经网络结合的方法。
3、基于深度神经网络的端到端的噪声抑制方法是通过训练网络来估计掩码或带噪信号到目标信号的映射函数，从而获得增强的信号。虽然端到端的方法表现出较好的降噪能力，但没有施加无失真约束，在降噪过程中不可避免地会引入非线性失真。波束形成与深度神经网络结合的方法是利用神经网络来估计波束形成的权重或使用的掩码，再通过波束形成实现空间滤波，获得增强的信号。这种方法可以通过方向性滤波有效抑制来自其他方向的噪声，而不破坏目标信号的原始结构，可以消除或减少非线性失真的问题。
4、复频谱在笛卡尔坐标下可以分解为实部和虚部，在极坐标下可以分解为幅度和相位。幅度决定了声音信号的强度，而相位则描
技术实现思路
1、本专利技术的目的是在于提供一种基于两阶段深度复数网络的多通道噪声抑制方法，能够对多通道带噪信号复频谱中的关联信息合理建模，并采用两阶段增强策略实现信号的幅度和相位增强，恢复目标声信号的相位信息，解决相位失真的问题，并减少目标声信号的失真，抑制波束形成阶段的残余噪声，有效地提升信号的质量。
2、为了实现上述目的，本专利技术提供了如下技术方案：
3、一种基于两阶段深度复数网络的多通道噪声抑制方法，包括以下步骤：
4、s1：利用短时傅里叶变换将麦克风阵列接收到的多通道带噪信号变换到时频域，并进行频谱压缩，得到压缩的多通道带噪复频谱，并选择其中的一个通道作为参考通道；
5、s2：构建深度复数门控卷积注意网络，所述的深度复数门控卷积注意网络包括若干个复数编码器模块、若干个复数解码器模块、复数conformer模块和若干个编解码注意力模块；若干复数编码器模块、复数conformer模块、若干复数解码器模块依次顺序连接，每个复数编码器模块与对应的复数解码器模块之间通过编解码注意力模块进行跳跃连接；
6、s3：利用深度复数门控卷积注意网络构建包含波束形成阶段和后置滤波阶段的两阶段深度复数网络；
7、s4：将压缩的多通道带噪复频谱作为输入，经过由深度复数门控卷积注意网络、复数掩码生成器和最小方差无失真响应波束形成器构成的波束形成阶段，得到粗降噪的单通道复频谱；
8、s5：将粗降噪的单通道复频谱和参考通道的带噪复频谱作为输入，经过由深度复数门控卷积注意网络和复数掩码生成器构成的后置滤波阶段，获得最终增强的复频谱；
9、s6：将增强的复频谱通过频谱解压缩和短时傅里叶逆变换后得到时域上增强的目标信号。
10、进一步的，所述步骤s1中对经过短时傅里叶变换转换到时频域并进行频谱压缩，频谱压缩方法表示为：
11、
12、其中，yori表示经过短时傅里叶变换的复频谱，|yori|和分别表示经过短时傅里叶变换的复频谱的幅值和相位角。
13、进一步的，所述复数编码器模块包括门控卷积、复数批量归一化和prelu激活函数；复数解码器模块包括门控解卷积、复数批量归一化和prelu激活函数。
14、进一步的，所述复数conformer模块包含两个conformer模块，分别为实部(r)和虚部(i)两个处理部分，其中每个conformer模块包括依次连接的卷积模块、多头自注意模块、前馈模块和层归一化。
15、进一步的，所述编解码注意力模块连接在每一个复数解码器模块和对应的复数编码器模块之间，将来自复数解码器模块和对应的复数编码器模块的特征信息作为输入，进行融合得到高维特征，将融合得到的高维特征与复数解码器模块输入的特征信息拼接起来作为输出。
16、进一步的，所述两阶段深度复数网络，第一阶段为波束形成阶段，对多通道带噪输入进行粗降噪，得到粗降噪的单通道复频谱，第二阶段为后置滤波阶段，对第一阶段的输出进一步增强，抑制残余噪声，得到最终增强的复频谱。
17、进一步的，所述波束形成阶段包括依次连接的深度复数门控卷积注意网络、复数掩码生成器和最小方差无失真响应波束形成器，其中，所述深度复数门控卷积注意网络用于对多通道带噪复频谱进行建模；所述复数掩码生成器用于生成一组复理想比率掩码，从而求得最小方差无失真响应波束形成器的权重系数；所述最小方差无失真响应波束形成器利用权重系数，用于对多通道带噪复频谱实现噪声抑制，得到粗降噪的单通道复频谱。
18、进一步的，所述后置滤波阶段包括依次连接的深度复数门控卷积注意网络、复数掩码生成器，其中，所述深度复数门控卷积注意网络用于对粗降噪的单通道复频谱进行建模；所述复数掩码生成器用于生成复理想比率掩码，将粗降噪的单通道复频谱与之相乘，得到最终增强的复频谱。
19、本专利技术与现有技术相比，其有益效果是：
20、(1)本专利技术构建了深度复数门控卷积注意网络，通过引入复数conformer模块、复数编码器和复数解码器模块，对带噪信号复数频谱中实部和虚部进行相关性建模，能够同时增强幅度和相位信息，从而有效减少相位失真，并通过引入编解码注意力模块强化复数解码器对细节特征的感知能力，增强重构信号的质量；
21、(2)本专利技术采用两阶段增强策略将噪声抑制任务分解为两步：第一阶段即波束形成阶段，将深度复数门控卷积注意网络与波束形成技术结合，进行粗略的噪声抑制，去除主干噪声并保留目标声信号的原始结构；第二阶段即后置滤波阶段，对第一阶段输出的信号进行细化处理，去除波束形成阶段的残余噪声并进一步增强目标信号的质本文档来自技高网...
【技术保护点】
1.一种基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤S1中对经过短时傅里叶变换转换到时频域并进行频谱压缩，频谱压缩方法表示为：
3.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤S2所述复数编码器模块包括门控卷积、复数批量归一化和PreLU激活函数；复数解码器模块包括门控解卷积、复数批量归一化和PreLU激活函数。
4.根据权利要求3所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤S2所述复数编码器模块中除第一层复数卷积门控单元的核大小设置为(2,5)，其余层的核大小均设置为(2,3)，每一层复数卷积门控单元的步长均设置为(1,2)，通过逐层的卷积操作，所有复数编码器模块的通道数都设置为64。
5.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤S2所述复数Conformer模块包含两个Conformer模块，分别为实部r和虚部i两个处理部
6.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤S2所述编解码注意力模块连接在每一个复数解码器模块和对应的复数编码器模块之间，将来自复数解码器模块和对应的复数编码器模块的特征信息作为输入，进行融合得到高维特征，将融合得到的高维特征与复数解码器模块输入的特征信息拼接起来作为输出。
7.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤S3所述两阶段深度复数网络，第一阶段为波束形成阶段，对多通道带噪输入进行粗降噪，得到粗降噪的单通道复频谱，第二阶段为后置滤波阶段，对第一阶段的输出进一步增强，抑制残余噪声，得到最终增强的复频谱。
8.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤S3所述波束形成阶段包括依次连接的深度复数门控卷积注意网络、复数掩码生成器和最小方差无失真响应波束形成器，其中，所述深度复数门控卷积注意网络用于对多通道带噪复频谱进行建模；所述复数掩码生成器用于生成一组复理想比率掩码，从而求得最小方差无失真响应波束形成器的权重系数；所述最小方差无失真响应波束形成器利用权重系数，用于对多通道带噪复频谱实现噪声抑制，得到粗降噪的单通道复频谱。
9.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤S3所述后置滤波阶段包括依次连接的深度复数门控卷积注意网络、复数掩码生成器，其中，所述深度复数门控卷积注意网络用于对粗降噪的单通道复频谱进行建模；所述复数掩码生成器用于生成复理想比率掩码，将粗降噪的单通道复频谱与之相乘，得到最终增强的复频谱。
...【技术特征摘要】
1.一种基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤s1中对经过短时傅里叶变换转换到时频域并进行频谱压缩，频谱压缩方法表示为：
3.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤s2所述复数编码器模块包括门控卷积、复数批量归一化和prelu激活函数；复数解码器模块包括门控解卷积、复数批量归一化和prelu激活函数。
4.根据权利要求3所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤s2所述复数编码器模块中除第一层复数卷积门控单元的核大小设置为(2,5)，其余层的核大小均设置为(2,3)，每一层复数卷积门控单元的步长均设置为(1,2)，通过逐层的卷积操作，所有复数编码器模块的通道数都设置为64。
5.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤s2所述复数conformer模块包含两个conformer模块，分别为实部r和虚部i两个处理部分，其中每个conformer模块包括依次连接的卷积模块、多头自注意模块、前馈模块和层归一化。
6.根据权利要求1所述的基于两阶段深度复数网络的多通道噪声抑制方法，其特征在于，步骤s2所述编解码注意力模块连接在每一个复数解码器模块和对应的复数编码器模块之...
【专利技术属性】
技术研发人员：罗丽燕，樊小青，王玫，刘争红，宋浠瑜，张愈朗，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。