基于情绪识别的交互处理方法、装置、设备和存储介质制造方法及图纸

本申请涉及一种基于情绪识别的交互处理方法、装置、设备和存储介质。所述方法包括：获取用户终端输入的语音信息；通过语音识别模型对所述语音信息进行语音识别，识别所述语音信息的语音环境特征；提取所述语音信息对应的文本信息，对所述文本信息进行上下文分析，得到所述文本信息的语义环境特征；根据所述语音环境特征和所述语义环境特征确定所述语音信息对应的情绪类别；根据所述情绪类别匹配对应的应答信息，将所述应答信息发送至所述用户终端。采用本方法能够有效提高语音情绪识别的准确率，并有效提高交互效率。

Interactive processing methods, devices, devices and storage media based on emotion recognition

【技术实现步骤摘要】
基于情绪识别的交互处理方法、装置、设备和存储介质
本申请涉及计算机
，特别是涉及一种基于情绪识别的交互处理方法、装置、计算机设备和存储介质。
技术介绍
随着人工智能技术的发展，出现了一些智能语音机器人，例如一些外呼机器人、聊天机器人、智能客服以及智能助手等，过语音识别、语义理解以及对话管理等人工智能技术，理解用户意图和提问，通过自然流畅的人机交互提供自主在线问答、咨询、指令执行等服务。然而，在实际的语音交互环境中可能存在大量噪音或口音等情形，难以准确地识别交互环境和用户情绪状态，应答信息匹配的准确性较低，导致交互效率较低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够有效提高情绪识别准确率以提高交互效率的基于情绪识别的交互处理方法、装置、计算机设备和存储介质。一种基于情绪识别的交互处理方法，所述方法包括：获取用户终端输入的语音信息；通过语音识别模型对所述语音信息进行语音识别，识别所述语音信息的语音环境特征；提取所述语音信息对应的文本信息，对所述文本信息进行上下文分析，得到所述文本信息的语义环境特征；根据所述语音环境特征和所述语义环境特征确定所述语音信息对应的情绪类别；根据所述情绪类别匹配对应的应答信息，将所述应答信息发送至所述用户终端。在其中一个实施例中，所述通过语音识别模型对所述语音信息进行语音识别，识别所述语音信息的语音环境特征包括：将所述语音信息输入至所述语音识别模型，通过所述语音识别模型提取所述语音信息对应的声学特征和频谱特征；根据所述声学特征和频谱特征识别所述语音信息的背景噪音信号和主语音信号；提取所述背景噪音信号，对所述背景噪音信号进行分类，得到对应的背景噪音类别，利用所述背景噪音类别生成所述语音信息的语音环境特征。在其中一个实施例中，所述通过语音识别模型对所述语音信息进行语音识别，识别所述语音信息的语音环境特征包括：根据所述声学特征和所述频谱特征识别所述主语音信号的语调特征；根据所述语调特征识别所述语音信息对应的语气特征类别；利用所述背景噪音类别和所述语气特征类别确定所述语音信息的语音环境特征。在其中一个实施例中，所述对所述文本信息进行上下文分析，得到所述文本信息的语义环境特征包括：获取当前会话对应的会话信息；根据所述会话信息对所述语音信息对应的文本信息进行上下文分析，得到所述文本信息的文本语义和实体信息；根据所述文本语义和实体信息确定文本信息对应的用户意图，根据所述用户意图确定所述语音信息的业务类型；根据所述文本语义、所述用户意图和所述业务类型确定所述语音信息对应的语义环境特征。在其中一个实施例中，所述语音环境特征包括背景噪音类别和语气特征类别，所述根据所述语音环境特征和所述语义环境特征确定所述语音信息对应的情绪类别包括：根据所述背景噪音类别确定所述语音信息的环境情绪特征；根据所述语气特征类别和所述语义环境特征确定所述语音信息的语义情绪特征；根据所述环境情绪特征和所述语义情绪特征对所述语音信息进行情绪分类，得到对应的情绪类别，并对所述语音信息添加对应的情绪标签。在其中一个实施例中，所述语音信息包括对应的用户意图和业务类型，所述根据所述情绪类别匹配对应的应答信息包括：根据所述业务类型确定业务应答数据库；根据所述情绪类别和所述用户意图计算与所述业务应答数据库中多个应答信息的匹配度；获取所述匹配度达到预设阈值的应答信息，将所述应答信息确定为所述语音信息对应的应答信息。在其中一个实施例中，所述根据所述情绪类别匹配对应的应答信息包括：若所述情绪类别为正常情绪类别时，根据所述语音信息和用户意图和业务类型获取相匹配的业务应答信息，将所述业务应答信息发送至所述用户终端；若所述情绪类别中存在异常情绪标签时，根据所述异常情绪标签获取相匹配的应答术语信息，将所述应答术语信息发送至所述用户终端。在其中一个实施例中，在获取用户终端输入的语音信息之前，还包括：获取语音样本数据，所述语音样本数据包括标注语音样本数据和未标注语音样本数据，所述标注语音样本数据包括语音环境特征和语义环境特征以及情绪标签；利用所述标注语音样本数据生成训练集，利用所述未标注语音样本数据生成验证集；将所述训练集输入至预先构建的深度学习模型，利用所述标注语音样本数据的语音环境特征和语义环境特征以及对所述深度学习模型进行学习训练，得到初始语音识别模型；将所述验证集输入至所述初始语音识别模型，利用所述验证集中的未标注语音样本数据对所述初始语音识别模型进行验证；直到所述验证集中满足条件阈值的样本数量达到验证阈值时，得到训练完成的语音识别模型。在其中一个实施例中，所述方法还包括：获取历史语音会话信息，所述历史语音会话信息包括识别出的情绪标签；利用所述包括情绪标签的历史语音会话信息对所述语音识别模型进行调优训练，得到训练结果；根据所述训练结果对所述语音识别模型的模型参数进行调整，得到更新的语音识别模型。一种基于情绪识别的交互处理装置，所述装置包括：信息获取模块，用于获取用户终端输入的语音信息；语音识别模块，用于通过语音识别模型对所述语音信息进行语音识别，识别所述语音信息的语音环境特征；语义识别模块，用于提取所述语音信息对应的文本信息，对所述文本信息进行上下文分析，得到所述文本信息的语义环境特征；情绪识别模块，用于根据所述语音环境特征和所述语义环境特征确定所述语音信息对应的情绪类别；应答处理模块，用于根据所述情绪类别匹配对应的应答信息，将所述应答信息发送至所述用户终端。在其中一个实施例中，所述语音识别模块还用于将所述语音信息输入至所述语音识别模型，通过所述语音识别模型提取所述语音信息对应的声学特征和频谱特征；根据所述声学特征和频谱特征识别所述语音信息的背景噪音信号和主语音信号；提取所述背景噪音信号，对所述背景噪音信号进行分类，得到对应的背景噪音类别，利用所述背景噪音类别生成所述语音信息的语音环境特征。在其中一个实施例中，所述所述语音识别模块还用于根据所述声学特征和所述频谱特征识别所述主语音信号的语调特征；根据所述语调特征识别所述语音信息对应的语气特征类别；利用所述背景噪音类别和所述语气特征类别确定所述语音信息的语音环境特征。在其中一个实施例中，所述语音环境特征包括背景噪音类别和语气特征类别，所述情绪识别模块还用于根据所述背景噪音类别确定所述语音信息的环境情绪特征；根据所述语气特征类别和所述语义环境特征确定所述语音信息的语义情绪特征；根据所述环境情绪特征和所述语义情绪特征对所述语音信息进行情绪分类，得到对应的情绪类别，并对所述语音信息添加对应的情绪标签。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请任意一个实施例中提供的基于情绪识别的交互处理方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意一个实施例中提供的基于情绪识别的交互处理方法的步骤。上述基本文档来自技高网...

【技术保护点】
1.一种基于情绪识别的交互处理方法，所述方法包括：/n获取用户终端输入的语音信息；/n通过语音识别模型对所述语音信息进行语音识别，识别所述语音信息的语音环境特征；/n提取所述语音信息对应的文本信息，对所述文本信息进行上下文分析，得到所述文本信息的语义环境特征；/n根据所述语音环境特征和所述语义环境特征确定所述语音信息对应的情绪类别；/n根据所述情绪类别匹配对应的应答信息，将所述应答信息发送至所述用户终端。/n

【技术特征摘要】
1.一种基于情绪识别的交互处理方法，所述方法包括：
获取用户终端输入的语音信息；
通过语音识别模型对所述语音信息进行语音识别，识别所述语音信息的语音环境特征；
提取所述语音信息对应的文本信息，对所述文本信息进行上下文分析，得到所述文本信息的语义环境特征；
根据所述语音环境特征和所述语义环境特征确定所述语音信息对应的情绪类别；
根据所述情绪类别匹配对应的应答信息，将所述应答信息发送至所述用户终端。


2.根据权利要求1所述的方法，其特征在于，所述通过语音识别模型对所述语音信息进行语音识别，识别所述语音信息的语音环境特征包括：
将所述语音信息输入至所述语音识别模型，通过所述语音识别模型提取所述语音信息对应的声学特征和频谱特征；
根据所述声学特征和频谱特征识别所述语音信息的背景噪音信号和主语音信号；
提取所述背景噪音信号，对所述背景噪音信号进行分类，得到对应的背景噪音类别，利用所述背景噪音类别生成所述语音信息的语音环境特征。


3.根据权利要求2所述的方法，其特征在于，所述通过语音识别模型对所述语音信息进行语音识别，识别所述语音信息的语音环境特征包括：
根据所述声学特征和所述频谱特征识别所述主语音信号的语调特征；
根据所述语调特征识别所述语音信息对应的语气特征类别；
利用所述背景噪音类别和所述语气特征类别确定所述语音信息的语音环境特征。


4.根据权利要求1所述的方法，其特征在于，所述对所述文本信息进行上下文分析，得到所述文本信息的语义环境特征包括：
获取当前会话对应的会话信息；
根据所述会话信息对所述语音信息对应的文本信息进行上下文分析，得到所述文本信息的文本语义和实体信息；
根据所述文本语义和实体信息确定文本信息对应的用户意图，根据所述用户意图确定所述语音信息的业务类型；
根据所述文本语义、所述用户意图和所述业务类型确定所述语音信息对应的语义环境特征。


5.根据权利要求1所述的方法，其特征在于，所述语音环境特征包括背景噪音类别和语气特征类别，所述根据所述语音环境特征和所述语义环境特征确定所述语音信息对应的情绪类别包括：
根据所述背景噪音类别确定所述语音信息的环境情绪特征；
根据所述语气特征类别和所述语义环境特征确定所述语音信息的语义情绪特征；
根据所述环境情绪特征和所述语义情绪特征对所述语音信息进行情绪分类，得到对应的情绪类别，并对所述语音信息添加对应的情绪标签。


6.根据权利要求1所述的方法，其特征在于，所述语音信息包括对应的用户意图和业务类型，所述根据所述情绪类别匹配对应的应答信息包括：
根据所述业务类型确定业务应答数据库；
根据所述情绪类别和所述用户意图计算与所述业务应答数据库中多个应答信息的匹配度；
获取所述匹配度达到预设阈值的应答信息，将所述应答信息确定为所述语音信息对应的应答信息。


7.根据权利要求6所述的方法，其特征在于，所述根据所述情绪类别匹配对应的应答信息包括：
若所述情绪类别为正常情绪类别时，根据所述语音信息和用户意图和业务类型获取相匹配的业务应答信息，将所述业务应答信息发送至所述用户终端；
若所述情绪类别中存在异常情绪标签时，根据所述异常情绪标签获取相匹配的应答术语信息，将所述应答术语信息发送至所述用户终端。

【专利技术属性】
技术研发人员：肖琴，
申请(专利权)人：深圳追一科技有限公司，
类型：发明
国别省市：广东;44