一种伴奏回踩检测方法、设备及计算机可读存储介质技术

本申请公开了一种伴奏回踩检测方法、电子设备及计算机可读存储介质，获取录制的目标音频信号及其对应的伴奏音频信号，经傅里叶变换获得目标音频信号的功率谱和伴奏音频的功率谱，获得目标音频信号的中高频点信息和伴奏音频信号的中高频点信息，判断目标音频信号的中高频点信息与伴奏音频信号的中高频点信息是否相似，若目标音频信号的中高频点信息与伴奏音频信号的中高频点信息的目标相似度大于阈值，便确定目标音频信号存在伴奏回踩。可见，本申请在伴奏回踩检测中引入了音频的功率谱信息、中高频点信息及相似性判断，便可以快速进行伴奏回踩检测，无需借助现有AEC工具，计算量小，检测效率高。检测效率高。检测效率高。

【技术实现步骤摘要】
一种伴奏回踩检测方法、设备及计算机可读存储介质


[0001]本申请涉及音频处理
，更具体地说，涉及一种伴奏回踩检测方法、设备及计算机可读存储介质。

技术介绍

[0002]用户在录制音频的过程中，一般会戴着耳机听着伴奏进行音频录制，如果耳机漏音或者开麦唱歌时，会使得录制的音频中存在伴奏，带来伴奏回踩，这会使得录制的音频质量大打折扣。为了保证录制音频的质量，需要对录制音频进行伴奏回踩检测，比如通过声学回声消除(Acoustic Echo Cancellation，AEC)工具来计算回声信号与目标信号的能量比，或者借助该方法中的Double Talk Detection(双讲检测技术)，得到回踩概率。然而，上述方案强烈依赖于AEC的输出效果，计算量比较大，伴奏回踩检测效率低。
[0003]综上所述，如何快速进行伴奏回踩检测是目前本领域技术人员亟待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种伴奏回踩检测方法、设备及介质，能够有效提高伴奏回踩的检测速度。其具体方案如下：
[0005]第一方面，本申请公开了一种伴奏回踩检测方法，包括：
[0006]获取录制的目标音频信号及其对应的伴奏音频信号；
[0007]将所述目标音频信号和所述伴奏音频信号经傅里叶变换分别获得所述目标音频信号的功率谱和所述伴奏音频信号的功率谱；
[0008]基于所述目标音频信号的功率谱和所述伴奏音频信号的功率谱分别获得所述目标音频信号的中高频点信息和所述伴奏音频信号的中高频点信息；
[0009]若所述目标音频信号的中高频点信息与所述伴奏音频信号的中高频点信息的目标相似度大于阈值，则确定所述目标音频信号存在伴奏回踩。
[0010]可选的，所述基于所述目标音频信号的功率谱和所述伴奏音频信号的功率谱分别获得所述目标音频信号的中高频点信息和所述伴奏音频信号的中高频点信息，包括：
[0011]将所述目标音频信号的功率谱和所述伴奏音频信号的功率谱经去除包络处理，分别获得所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱；
[0012]基于所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱分别获得所述目标音频信号的目标中高频谐波点和所述伴奏音频信号的目标中高频谐波点；
[0013]将所述目标音频信号的目标中高频谐波点作为所述目标音频信号的中高频点信息；
[0014]将所述伴奏音频信号的目标中高频谐波点作为所述伴奏音频信号的中高频点信息。
[0015]可选的，所述基于所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱分别获得所述目标音频信号的目标中高频谐波点和所述伴奏音频信号的目标中
高频谐波点，包括：
[0016]对于选取的每帧所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱，分别确定出功率值大于对应的平均功率值的所述目标音频信号的初始中高频谐波点和所述伴奏音频信号的初始中高频谐波点；
[0017]分别选取所述目标音频信号的初始中高频谐波点和所述伴奏音频信号的初始中高频谐波点中功率值位于波峰位置的谐波点，作为所述目标音频信号的目标中高频谐波点和所述伴奏音频信号的目标中高频谐波点。
[0018]可选的，所述对于选取的每帧所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱，分别确定出功率值大于对应的平均功率值的所述目标音频信号的初始中高频谐波点和所述伴奏音频信号的初始中高频谐波点，包括：
[0019]将所述目标音频信号的密度小于预设密度的中高频点范围确定为目标频点范围；
[0020]对于选取的每帧所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱，在所述目标频点范围内，分别确定出功率值大于对应的平均功率值的所述目标音频信号的初始中高频谐波点和所述伴奏音频信号的初始中高频谐波点。
[0021]可选的，所述将所述目标音频信号的功率谱和所述伴奏音频信号的功率谱经去除包络处理，分别获得所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱，包括：
[0022]对所述目标音频信号的功率谱和所述伴奏音频信号的功率谱分别取对数，得到所述目标音频信号的对数功率谱和所述伴奏音频信号的对数功率谱；
[0023]将所述目标音频信号的对数功率谱和所述伴奏音频信号的对数功率谱经去除包络处理，分别获得所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱。
[0024]可选的，所述将所述目标音频信号的对数功率谱和所述伴奏音频信号的对数功率谱经去除包络处理，分别获得所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱，包括：
[0025]基于去包络处理公式，将所述目标音频信号的对数功率谱和所述伴奏音频信号的对数功率谱经零相位延迟滤波处理，分别获得所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱；
[0026]所述去包络处理公式包括：
[0027][0028][0029]其中，表示去包络功率谱；L
p
(k,n)表示对数功率谱；filtfilt表示零相位延迟滤波处理算法；b、a表示滤波参数；n表示帧索引；k表示帧上的帧点索引。
[0030]可选的，所述若所述目标音频信号的中高频点信息与所述伴奏音频信号的中高频点信息的目标相似度大于阈值，则确定所述目标音频存在伴奏回踩，包括：
[0031]计算各个相同帧的所述目标音频信号的中高频点信息和所述伴奏音频信号的中高频点信息的并集数值；
[0032]计算各个相同帧的所述目标音频信号的中高频点信息和所述伴奏音频信号的中
高频点信息的交集数值；
[0033]将相同帧对应的所述交集数值与所述并集数值的比值，确定为相同帧的所述目标音频信号的中高频点信息和所述伴奏音频信号的中高频点信息的Jaccard相似度值；
[0034]基于各个相同帧的所述目标音频信号的中高频点信息和所述伴奏音频信号的中高频点信息的Jaccard相似度值，确定所述目标音频信号的中高频点信息与所述伴奏音频信号的中高频点信息的所述目标相似度；
[0035]若所述目标相似度大于所述阈值，则确定所述目标音频信号存在伴奏回踩。
[0036]可选的，所述基于各个相同帧的所述目标音频信号的中高频点信息和所述伴奏音频信号的中高频点信息的Jaccard相似度值，确定所述目标音频信号的中高频点信息与所述伴奏音频信号的中高频点信息的所述目标相似度，包括：
[0037]将预设时长内的各个相同帧的所述目标音频信号的中高频点信息和所述伴奏音频信号的中高频点信息的Jaccard相似度值的平均值确定为所述目标相似度。
[0038]可选的，所述获取录制的目标音频信号，包括：
[0039]获取录制的初始音频信号；
[0040]对所述初始音频信号进行延迟补偿，得到所述目标音频信号。
[0041]第二方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种伴奏回踩检测方法，其特征在于，包括：获取录制的目标音频信号及其对应的伴奏音频信号；将所述目标音频信号和所述伴奏音频信号经傅里叶变换分别获得所述目标音频信号的功率谱和所述伴奏音频信号的功率谱；基于所述目标音频信号的功率谱和所述伴奏音频信号的功率谱分别获得所述目标音频信号的中高频点信息和所述伴奏音频信号的中高频点信息；若所述目标音频信号的中高频点信息与所述伴奏音频信号的中高频点信息的目标相似度大于阈值，则确定所述目标音频信号存在伴奏回踩。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标音频信号的功率谱和所述伴奏音频信号的功率谱分别获得所述目标音频信号的中高频点信息和所述伴奏音频信号的中高频点信息，包括：将所述目标音频信号的功率谱和所述伴奏音频信号的功率谱经去除包络处理，分别获得所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱；基于所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱分别获得所述目标音频信号的目标中高频谐波点和所述伴奏音频信号的目标中高频谐波点；将所述目标音频信号的目标中高频谐波点作为所述目标音频信号的中高频点信息；将所述伴奏音频信号的目标中高频谐波点作为所述伴奏音频信号的中高频点信息。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱分别获得所述目标音频信号的目标中高频谐波点和所述伴奏音频信号的目标中高频谐波点，包括：对于选取的每帧所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱，分别确定出功率值大于对应的平均功率值的所述目标音频信号的初始中高频谐波点和所述伴奏音频信号的初始中高频谐波点；分别选取所述目标音频信号的初始中高频谐波点和所述伴奏音频信号的初始中高频谐波点中功率值位于波峰位置的谐波点，作为所述目标音频信号的目标中高频谐波点和所述伴奏音频信号的目标中高频谐波点。4.根据权利要求3所述的方法，其特征在于，所述对于选取的每帧所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱，分别确定出功率值大于对应的平均功率值的所述目标音频信号的初始中高频谐波点和所述伴奏音频信号的初始中高频谐波点，包括：将所述目标音频信号的密度小于预设密度的中高频点范围确定为目标频点范围；对于选取的每帧所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱，在所述目标频点范围内，分别确定出功率值大于对应的平均功率值的所述目标音频信号的初始中高频谐波点和所述伴奏音频信号的初始中高频谐波点。5.根据权利要求2所述的方法，其特征在于，所述将所述目标音频信号的功率谱和所述伴奏音频信号的功率谱经去除包络处理，分别获得所述目标音频信号的去包络功率谱和所述伴奏音频信号的去包络功率谱，包括：对所述目标音频信号的功率谱和所述伴奏音频信号的功率谱分别取对数，得到所述目标音频信号的对数功率谱和所述...

【专利技术属性】
技术研发人员：张超鹏，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：