一种声纹识别方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种声纹识别方法、装置、设备及存储介质，其中，方法包括：获取目标语音；通过预先建立的声纹提取模型，确定目标语音的文本标签，根据目标语音的文本标签对目标语音进行文本验证；若文本验证通过，利用声纹提取模型和目标语音的文本标签，对目标语音进行声纹验证。本申请提供的声纹识别方法，基于预先建立的声纹提取模型，既可实现文本的验证又可实现声纹的验证，这使得声纹识别流程大大简化，进而使得声纹识别系统的复杂度大大降低。

A method, device, equipment and storage medium for voiceprint recognition

【技术实现步骤摘要】
一种声纹识别方法、装置、设备及存储介质
本申请涉及声纹识别
，尤其涉及一种声纹识别方法、装置、设备及存储介质。
技术介绍
声纹识别技术又称说话人识别技术，其是利用人的声音来检测说话人的身份的技术。与其它生物识别技术相比，声纹识别技术利用语音信号进行身份确认，具有成本低廉、采集简便、易于存储、难于模仿、交互友好等特点，同时也可以通过电话或网络等方式进行远程操作。因此，声纹识别技术在安防、军事、经济、生活等很多领域都具有良好而广阔的应用前景。根据对语音数据的要求，声纹识别可以分为与文本相关和与文本无关两类。其中，与文本相关的声纹识别对注册语音和测试语音的语义文本会有所限制，需要用户的积极配合。与文本相关的声纹识别要求对文本和声纹同时验证通过。目前，与文本相关的声纹识别过程比较复杂，这导致与文本相关的声纹识别系统比较复杂。
技术实现思路
有鉴于此，本申请提供了一种声纹识别方法、装置、设备及存储介质，用以简化与文本相关的声纹识别过程，降低与文本相关的声纹识别系统的复杂程度，其技术方案如下：一种声纹识别方法，包括：获取目标语音；通过预先建立的声纹提取模型，确定所述目标语音的文本标签，其中，所述文本标签用于指示所述目标语音对应的文本；根据所述目标语音的文本标签对所述目标语音进行文本验证；若文本验证通过，利用所述声纹提取模型和所述目标语音的文本标签，对所述目标语音进行声纹验证。可选的，所述利用所述声纹提取模型和所述目标语音的文本标签，对所述目标语音进行声纹验证，包括：利用所述声纹提取模型和所述目标语音的文本标签，确定所述目标语音对应的声纹模型；根据所述目标语音对应的声纹模型对所述目标语音进行声纹验证。可选的，所述确定所述目标语音的文本标签，包括：获取所述目标语音的目标特征，其中，所述目标语音的目标特征包含所述目标语音对应文本的结构化信息，且包含所述目标语音的关键帧信息和上下文相对位置信息；根据所述目标语音的目标特征，确定所述目标语音的文本标签。可选的，所述确定所述目标语音对应的声纹模型，包括：根据所述目标语音的目标特征和所述目标语音的文本标签，确定所述目标语音对应的文本中每个文本单元对应的说话人身份向量；其中，所述目标语音对应的文本中所有文本单元对应的说话人身份向量组成所述目标语音对应的声纹模型。可选的，所述根据所述目标语音的目标特征和所述目标语音的文本标签，确定所述目标语音对应的文本中每个文本单元对应的说话人身份向量，包括：根据所述目标语音的文本标签，确定所述目标语音对应的文本中每个文本单元在所述目标语音中的起始位置和结束位置；根据所述目标语音对应的文本中每个文本单元在所述目标语音中的起始位置和结束位置，从所述目标语音的目标特征中获取所述目标语音对应的文本中每个文本单元的特征片段；根据所述目标语音对应的文本中每个文本单元的特征片段，确定所述目标语音对应的文本中每个文本单元对应的说话人身份向量。可选的，预先建立所述声纹提取模型的过程，包括：从训练数据集中获取训练语音，其中，所述训练语音具有一真实说话人标签和一真实文本标签；预测所述训练语音的文本标签；确定所述训练语音对应的声纹模型，并根据所述训练语音对应的声纹模型预测所述训练语音的说话人标签；根据预测的文本标签和预测的说话人标签，以及所述训练语音的真实文本标签和真实说话人标签，更新声纹提取模型的参数；在文本预测准确率和说话人预测准确率稳定后，移除声纹提取模型中用于预测说话人标签的说话人预测模块。可选的，所述预测所述训练语音的文本标签，包括：获取所述训练语音的语音特征；通过声纹提取模型中的特征处理模块和所述训练语音的语音特征，确定所述训练语音的目标特征，其中，所述训练语音的目标特征包含所述训练语音对应文本的结构化信息，且包含所述训练语音的关键帧信息和上下文相对位置信息；通过声纹提取模型中的文本预测模块和所述训练语音的目标特征，预测所述训练语音的文本标签。可选的，所述确定所述训练语音对应的声纹模型，并根据所述训练语音对应的声纹模型预测所述训练语音的说话人标签，包括：通过声纹提取模型的身份表征模块和所述训练语音的目标特征，确定所述训练语音对应的文本中每个文本单元对应的说话人身份向量；通过声纹提取模型的说话人预测模块和所述训练语音对应的文本中每个文本单元对应的说话人身份向量，预测所述训练语音对应的文本中每个文本单元的说话人标签。可选的，所述根据预测的文本标签和预测的说话人标签，以及所述训练语音的真实文本标签和真实说话人标签，更新声纹提取模型的参数，包括：根据所述预测的文本标签和所述训练语音的真实文本标签，确定所述训练语音的文本预测损失；根据预测的所述训练语音对应的文本中每个文本单元的说话人标签和所述训练语音的真实说话人标签，确定所述训练语音的说话人预测损失；根据所述训练语音的文本预测损失和所述训练语音的说话人预测损失，确定所述训练语音的预测损失；根据所述训练语音的预测损失，更新声纹提取模型的参数。可选的，所述预先建立所述声纹提取模型的过程还包括：将移除所述说话人预测模块后的模型作为当前的声纹提取模型；将所述训练数据集中的每条训练语音分别输入当前的声纹提取模型，获得每条训练语音对应的文本中每个文本单元对应的说话人身份向量，其中，所述训练数据集中包括至少一个说话人的至少一条训练语音；针对任一说话人，通过属于该说话人的所有训练语音分别对应的文本中各个文本单元的说话人身份向量，确定该说话人的声纹模型，以得到每个说话人的声纹模型，其中，任一说话人的声纹模型包括属于该说话人的训练语音对应的文本中不同文本单元分别对应的说话人身份向量；以将训练语音对应的文本中每个文本单元的说话人身份向量拟合至对应说话人的声纹模型中对应的说话人身份向量为训练目标，用所述训练数据集中的训练语音训练当前的声纹提取模型。可选的，所述通过属于该说话人的训练语音对应的文本中各个文本单元的说话人身份向量，确定该说话人的声纹模型，包括：将该说话人的训练语音对应的文本中，相同文本单元对应的说话人身份向量求平均，将求平均后得到的所有向量组成该说话人的声纹模型。一种声纹识别装置，包括：语音获取模块、文本标签确定模块、文本验证模块和声纹验证模块；所述语音获取模块，用于获取目标语音；所述文本标签确定模块，用于通过预先建立的声纹提取模型确定所述目标语音的文本标签，其中，所述文本标签用于指示所述目标语音对应的文本；所述文本验证模块，用于根据所述目标语音的文本标签对所述目标语音进行文本验证；所述声纹验证模块，用于当文本验证通过时，利用所述声纹提取模型和所述目标语音的文本标签，对所述目标语音进行声纹验证。一种声纹识别设备，包括：存储器和处理器；所述存储器，用于本文档来自技高网...

【技术保护点】
1.一种声纹识别方法，其特征在于，包括：/n获取目标语音；/n通过预先建立的声纹提取模型，确定所述目标语音的文本标签，其中，所述文本标签用于指示所述目标语音对应的文本；/n根据所述目标语音的文本标签对所述目标语音进行文本验证；/n若文本验证通过，利用所述声纹提取模型和所述目标语音的文本标签，对所述目标语音进行声纹验证。/n

【技术特征摘要】
1.一种声纹识别方法，其特征在于，包括：
获取目标语音；
通过预先建立的声纹提取模型，确定所述目标语音的文本标签，其中，所述文本标签用于指示所述目标语音对应的文本；
根据所述目标语音的文本标签对所述目标语音进行文本验证；
若文本验证通过，利用所述声纹提取模型和所述目标语音的文本标签，对所述目标语音进行声纹验证。


2.根据权利要求1所述的声纹识别方法，其特征在于，所述利用所述声纹提取模型和所述目标语音的文本标签，对所述目标语音进行声纹验证，包括：
利用所述声纹提取模型和所述目标语音的文本标签，确定所述目标语音对应的声纹模型；
根据所述目标语音对应的声纹模型对所述目标语音进行声纹验证。


3.根据权利要求2所述的声纹识别方法，其特征在于，所述确定所述目标语音的文本标签，包括：
获取所述目标语音的目标特征，其中，所述目标语音的目标特征包含所述目标语音对应文本的结构化信息，且包含所述目标语音的关键帧信息和上下文相对位置信息；
根据所述目标语音的目标特征，确定所述目标语音的文本标签。


4.根据权利要求3所述的声纹识别方法，其特征在于，所述确定所述目标语音对应的声纹模型，包括：
根据所述目标语音的目标特征和所述目标语音的文本标签，确定所述目标语音对应的文本中每个文本单元对应的说话人身份向量；
其中，所述目标语音对应的文本中所有文本单元对应的说话人身份向量组成所述目标语音对应的声纹模型。


5.根据权利要求4所述的声纹识别方法，其特征在于，所述根据所述目标语音的目标特征和所述目标语音的文本标签，确定所述目标语音对应的文本中每个文本单元对应的说话人身份向量，包括：
根据所述目标语音的文本标签，确定所述目标语音对应的文本中每个文本单元在所述目标语音中的起始位置和结束位置；
根据所述目标语音对应的文本中每个文本单元在所述目标语音中的起始位置和结束位置，从所述目标语音的目标特征中获取所述目标语音对应的文本中每个文本单元的特征片段；
根据所述目标语音对应的文本中每个文本单元的特征片段，确定所述目标语音对应的文本中每个文本单元对应的说话人身份向量。


6.根据权利要求1所述的声纹识别方法，其特征在于，预先建立所述声纹提取模型的过程，包括：
从训练数据集中获取训练语音，其中，所述训练语音具有一真实说话人标签和一真实文本标签；
预测所述训练语音的文本标签；
确定所述训练语音对应的声纹模型，并根据所述训练语音对应的声纹模型预测所述训练语音的说话人标签；
根据预测的文本标签和预测的说话人标签，以及所述训练语音的真实文本标签和真实说话人标签，更新声纹提取模型的参数；
在文本预测准确率和说话人预测准确率稳定后，移除声纹提取模型中用于预测说话人标签的说话人预测模块。


7.根据权利要求6所述的声纹识别方法，其特征在于，所述预测所述训练语音的文本标签，包括：
获取所述训练语音的语音特征；
利用声纹提取模型中的特征处理模块和所述训练语音的语音特征，确定所述训练语音的目标特征，其中，所述训练语音的目标特征包含所述训练语音对应文本的结构化信息，且包含所述训练语音的关键帧信息和上下文相对位置信息；
利用声纹提取模型中的文本预测模块和所述训练语音的目标特征，预测所述训练语音的文本标签。


8.根据权利要求7所述的声纹识...

【专利技术属性】
技术研发人员：闫杰，方昕，
申请(专利权)人：科大讯飞股份有限公司，咪咕数字传媒有限公司，
类型：发明
国别省市：安徽;34