车载多音区语音分离方法及电子设备和存储介质技术

本发明专利技术公开一种车载多音区语音分离方法、电子设备和存储介质，其中，一种车载多音区语音分离方法，包括：将获取的高保真音频与获取的房间脉冲响应数据进行卷积，得到混合信号和至少一个语音标签；基于所述混合信号和所述至少一个语音标签训练融合波束成形的网络模型；基于预设的仿真测试集测试所述融合波束成形的网络模型，判断所述融合波束成形的网络模型是否达到预设要求；若达到预设要求，基于所述融合波束成形的网络模型预测所述混合信号和所述至少一个语音标签的波束成形的权重，得到每一音区分离信号。每一音区分离信号。每一音区分离信号。

【技术实现步骤摘要】
车载多音区语音分离方法及电子设备和存储介质


[0001]本申请实施例涉及语音识别
，特别是涉及一种车载多音区语音方法及电子设备和存储介质。

技术介绍

[0002]随着汽车智能座舱的发展，对于车载多音区语音交互要求越来越高，尤其体现在多音区语音分离。
[0003]现有技术中，传统算法的车载多音区语音分离方案，主要涉及回声消除(AEC)、波束形成(BF)、盲源分离(BSS)以及后处理(POST)等技术。AEC主要作为语音分离的前处理，用于消除车载场景下，麦克风采集到的本机播放以及TTS语音播报；BF通过麦克风之间的相位信息，对各个音区进行增强；BSS基于信号源的独立性假设，通过信号的统计分布解混成若干独立成分；POST主要对分离后各个通道残余的干扰做进一步的抑制。缺陷是处理过程繁琐且各个模块较难同时达到最优，导致整体分离效果欠佳。
[0004]基于NN的车载多音区语音分离方案，也包括AEC部分，但相较于传统方案，BF、BSS、POST则采用端到端的NN(神经网络)方案代替。针对端到端的NN方案，主要分为基于时域和基于频域两大类，而基于频域的NN方案又可通过优化目标的不同分为，基于掩码的，如理想二进制掩码(IBM)或理想比率掩码(IRM)和基于映射的方法，如对数功率谱(LPS)或幅度谱(MS)。缺陷是由于仿真的房间冲激响应(RIR)与实际车内RIR有一定差距，导致NN直出的多音区分离音频失真较大，对识别，唤醒等后端影响较大。

技术实现思路

[0005]本专利技术实施例提供了一种车载多音区语音分离方法以及装置，用于至少解决上述技术问题之一。
[0006]第一方面，本专利技术实施例提供了一种车载多音区语音分离方法，包括：将获取的高保真音频与获取的房间脉冲响应数据进行卷积，得到混合信号和至少一个语音标签；基于所述混合信号和所述至少一个语音标签训练融合波束成形的网络模型；基于预设的仿真测试集测试所述融合波束成形的网络模型，判断所述融合波束成形的网络模型是否达到预设要求；若达到预设要求，基于所述融合波束成形的网络模型预测所述混合信号和所述至少一个语音标签的波束成形的权重，得到每一音区分离信号。
[0007]第二方面，本专利技术实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术上述任一项车载多音区语音分离方法。
[0008]第三方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本专利技术上述任一项车载多音区语音分离方法。
[0009]第四方面，本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项车载多音区语音分离方法。
[0010]本申请的方法通过采用三维建模软件基于车辆三维模型获取实车数据，从而可以实现比实车测量具有更高的准确性以及提前进行模型训练；然后采用波束成形网络模块基于大量先验信息预测波束成形的权重，从而可以大大减小了音区间的模糊区域，使用户在车内可以采用更自由的坐姿去进行交互，提高音区分离的分辨率以及精度；进一步地，使用各个音区的分离信号指导传统盲源分离的分离，从而可以使其具有更高的分离度。
附图说明
[0011]图1为本专利技术一实施例提供的一种车载多音区语音分离方法的流程图；
[0012]图2为本专利技术一实施例提供的另一种车载多音区语音分离方法的流程图；
[0013]图3为本专利技术一实施例提供的又一种车载多音区语音分离方法的流程图；
[0014]图4为本专利技术一实施例提供的再一种车载多音区语音分离方法的流程图；
[0015]图5为本专利技术一实施例提供的一种车载多音区语音分离方法的一个具体示例的双音区的结构示意图；
[0016]图6为本专利技术一实施例提供的一种车载多音区语音分离方法的一个具体示例的车载多音区语音分离设计框图；
[0017]图7为本专利技术一实施例提供的一种车载多音区语音分离方法的一个具体示例的车载多音区语音分离流程框图；
[0018]图8为本专利技术一实施例提供的一种车载多音区语音分离方法的一个具体示例的四音区RIR区域划分图；
[0019]图9为本专利技术一实施例提供的一种车载多音区语音分离方法的一个具体示例的融合BF的NN模块框图；
[0020]图10本专利技术一实施例提供的电子设备的结构示意图。
具体实施方式
[0021]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]请参考图1，其示出了本专利技术一实施例提供的一种车载多音区语音分离方法的流程图。
[0023]如图1所示，在步骤101中，将获取的高保真音频与获取的房间脉冲响应数据进行卷积，得到混合信号和至少一个语音标签；
[0024]在步骤102中，基于所述混合信号和所述至少一个语音标签训练融合波束成形的网络模型；
[0025]在步骤103中，基于预设的仿真测试集测试所述融合波束成形的网络模型，判断所述融合波束成形的网络模型是否达到预设要求；
[0026]在步骤104中，若达到预设要求，基于所述融合波束成形的网络模型预测所述混合信号和所述至少一个语音标签的波束成形的权重，得到每一音区分离信号。
[0027]在本实施例中，对于步骤101，车载多音区语音分离装置将获取的高保真音频与获取的房间脉冲响应数据进行卷积，得到混合信号和至少一个语音标签，例如，从预先生成好多批量房间声学冲激响应数据中随机选择，之后将选择好的房间声学冲激响应数据与高保真音频中的噪声和人声数据进行卷积，然后根据车内实际信噪比、信干比进行混合，最后动态的输出各个音区标签语音和混合语音。
[0028]然后，对于步骤102，车载多音区语音分离装置基于混合信号和至少一个语音标签训练融合波束成形的网络模型，例如，将获取的混和信号以及语音标签一起输送到融合波束成形的神经网络模型形进行训练，其中，融合波束成形的网络模型主要包括经典的Encoder(编码器)/Decoder(解码器)结构进行上下采样获取空间以及频段特征，中间采用LSTM(Long Short
‑
Term Memory，长短期记忆网络)进行时间维度建模，最后预测波束成形的权重，获得各个音区的分离信号，进一步地，在Encoder与Decoder之间采用跳过连接(Skip Connection本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载多音区语音分离方法，包括：将获取的高保真音频与获取的房间脉冲响应数据进行卷积，得到混合信号和至少一个语音标签；基于所述混合信号和所述至少一个语音标签训练融合波束成形的网络模型；基于预设的仿真测试集测试所述融合波束成形的网络模型，判断所述融合波束成形的网络模型是否达到预设要求；若达到预设要求，基于所述融合波束成形的网络模型预测所述混合信号和所述至少一个语音标签的波束成形的权重，得到每一音区分离信号。2.根据权利要求1所述的方法，其中，在所述若达到预设要求，基于所述融合波束成形的网络模型预测所述混合信号和所述至少一个语音标签的波束成形的权重，得到每一音区分离信号之后，所述方法还包括；基于所述每一音区分离信号指导传统盲源分离算法进行分离，得到分离结果；基于预设实车测试集验证所述分离结果是否达到指标要求；若达到指标要求则输出多音区分离音频，用于后续的语音交互系统。3.根据权利要求1所述的方法，其中，在所述将获取的高保真音频与获取的房间脉冲响应数据进行卷积，得到混合信号和至少一个语音标签之前，所述方法还包括；采集车辆的麦克风三维坐标信息、声源位置信息和车内尺寸；基于所述麦克风三维坐标信息、声源位置信息和车内尺寸进行多音区房间脉冲响应仿真；对房间脉冲响应仿真区域的声源位置进行随机模拟采样生成批量房间脉冲响应数据。4.根据权利要求1所述的方法，其...

【专利技术属性】
技术研发人员：邹昌利，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：