基于数字人的对话处理方法、训练方法、装置以及设备制造方法及图纸

本申请提供的一种基于数字人的对话处理方法，涉及人工智能技术领域。该方法包括响应于用户的问题请求，将问题请求输入至预设的对话回复模型中，确定与问题请求匹配的至少一个回复信息；根据至少一个回复信息，确定优先级最高的情绪标签对应的回复信息，为最优的回复信息；控制数字人向所述用户反馈最优的回复信息。采用本技术方案，能够准确地找到符合用户需求的回复，进而提升交互效率。进而提升交互效率。进而提升交互效率。

【技术实现步骤摘要】
基于数字人的对话处理方法、训练方法、装置以及设备


[0001]本申请涉及人工智能
，尤其涉及一种基于数字人的对话处理方法、训练方法、装置以及设备。

技术介绍

[0002]在金融行业电子客服的使用越来越广泛，电子客服将成为未来主要的对客渠道之一。当前电子客服主要通过大量的文本来实现各类对话功能，但是由于文本数量的限制，生成的对话内容并不能完全使用户满意，可能会需要用户重新提问，以得到符合用户自己需求的回复，导致交互的效率低、用户不能及时得到符合自己需求的回复
[0003]因此，亟需一种基于数字人的对话处理方法，能够准确地确定出让用户满意的回复文本，进而提高交互效率。

技术实现思路

[0004]本申请提供一种基于数字人的对话处理方法、训练方法、装置以及设备，能够准确地确定出让用户满意的回复文本，进而提高交互效率。
[0005]第一方面，本申请提供一种基于数字人的对话处理方法，包括：
[0006]响应于用户的问题请求，将所述问题请求输入至预设的对话回复模型中，确定与所述问题请求匹配的至少一个回复信息；其中，所述问题请求表征用户的用户问题；所述回复信息具有情绪标签；所述情绪标签具有优先级；所述情绪标签表征所述回复信息的情感信息；其中，所述预设的对话回复模型是基于预设对话训练集合进行训练所得到的，所述预设对话训练集合中包括至少一个待训练对话，所述待训练对话包括用户问题、回复信息、以及回复信息的情绪标签；
[0007]根据所述至少一个回复信息，确定优先级最高的情绪标签对应的回复信息，为最优的回复信息；
[0008]控制所述数字人向所述用户反馈所述最优的回复信息。
[0009]在一个示例中，所述响应于用户的问题请求，将所述问题请求输入至预设的对话回复模型中，确定与所述问题请求匹配的至少一个回复信息，包括：
[0010]响应于用户的问题请求，将所述问题请求输入至预设的对话回复模型中，确定与所述问题请求匹配的回复信息；
[0011]基于所述预设的对话回复模型，确定所述回复信息的情绪标签。
[0012]在一个示例中，所述根据所述至少一个回复信息，确定优先级最高的情绪标签对应的回复信息，为最优的回复信息，包括：
[0013]基于所述预设的对话回复模型，输出优先级最高的情绪标签对应的回复信息；其中，所述优先级最高的情绪标签对应的回复信息为最优的回复信息。
[0014]在一个示例中，所述方法还包括：
[0015]获取所述用户对所述最优的回复信息的指示消息；其中，所述指示消息用于指示
所述最优的回复信息在电子设备的展示方式；
[0016]根据所述指示消息，确定所述最优的回复信息在所述电子设备的展示方式。
[0017]第二方面，本申请提供一种应用于对话处理的对话回复模型的训练方法，所述方法包括：
[0018]获取预设对话训练集合；其中，所述预设对话训练集合中包括至少一个待训练对话，所述待训练对话包括用户问题、回复信息、以及回复信息的情绪标签；
[0019]将所述预设对话训练集合输入至预设初始模型中进行训练，得到对话回复模型；
[0020]其中，所述对话回复模型用于对用户的问题请求所表征的用户问题进行处理得到优先级最高的情绪标签对应的回复信息；其中，优先级最高的情绪标签对应的回复信息，为最优的回复信息；所述最优的回复信息用于基于数字人向用户反馈该最优的回复信息。
[0021]在一个示例中，所述待训练对话中的回复信息的情绪标签是基于多模态情绪识别模型所得到的；所述回复信息中包括文本信息、语音信息以及图像；
[0022]其中，所述多模态情绪识别模型为基于待训练对话中的回复信息和回复信息的情绪标签进行处理所得到的。
[0023]在一个示例中，所述多模态情绪识别模型中包括BERT模型、语音识别预训练模型和关键点识别表；所述方法，还包括：
[0024]对所述待训练对话中回复信息中的文本信息，基于所述多模态情绪识别模型中的BERT模型确定文本向量；
[0025]对所述待训练对话中回复信息中的语音信息，基于所述多模态情绪识别模型中的语音识别预训练模型进行语音分析，得到语音向量；
[0026]对所述待训练对话中回复信息中的图像，基于所述多模态情绪识别模型中的关键点识别表进行图像关键点识别，得到面部情绪向量；
[0027]根据文本向量、语音向量以及面部情绪向量，进行融合后，得到所述待训练对话中的回复信息的情绪标签。
[0028]在一个示例中，所述基于所述多模态情绪识别模型中的BERT模型确定文本向量，包括：
[0029]基于所述多模态情绪识别模型中的BERT模型，确定与所述文本信息相似度超过阈值的标签文本信息；
[0030]根据所述标签文本信息确定文本向量。
[0031]在一个示例中，所述基于所述多模态情绪识别模型中的关键点识别表进行图像关键点识别，得到面部情绪向量，包括：
[0032]基于所述多模态情绪识别模型中的关键点识别表进行图像关键点识别，确定出所述图像关键点连接线的弧度和所述图像关键点之间的距离；
[0033]根据所述图像关键点连接线的弧度和所述图像关键点之间的距离，确定出所述面部情绪向量。
[0034]第三方面，本申请提供一种基于数字人的对话处理装置，所述装置包括：
[0035]第一确定单元，用于响应于用户的问题请求，将所述问题请求输入至预设的对话回复模型中，确定与所述问题请求匹配的至少一个回复信息；其中，所述问题请求表征用户的用户问题；所述回复信息具有情绪标签；所述情绪标签具有优先级；所述情绪标签表征所
述回复信息的情感信息；其中，所述预设的对话回复模型是基于预设对话训练集合进行训练所得到的，所述预设对话训练集合中包括至少一个待训练对话，所述待训练对话包括用户问题、回复信息、以及回复信息的情绪标签；
[0036]第二确定单元，用于根据所述至少一个回复信息，确定优先级最高的情绪标签对应的回复信息，为最优的回复信息；
[0037]反馈单元，用于控制所述数字人向所述用户反馈所述最优的回复信息。
[0038]第四方面，本申请提供一种应用于对话处理的对话回复模型的训练装置，所述装置包括：
[0039]获取单元，用于获取预设对话训练集合；其中，所述预设对话训练集合中包括至少一个待训练对话，所述待训练对话包括用户问题、回复信息、以及回复信息的情绪标签；
[0040]训练单元，用于将所述预设对话训练集合输入至预设初始模型中进行训练，得到对话回复模型；
[0041]其中，所述对话回复模型用于对用户的问题请求所表征的用户问题进行处理得到优先级最高的情绪标签对应的回复信息；其中，优先级最高的情绪标签对应的回复信息，为最优的回复信息；所述最优的回复信息用于基于数字人向用户反馈该最优的回复信息。
[0042]第五方面，本申请提供一种电子设备，包括：处理器，以及与所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字人的对话处理方法，其特征在于，所述方法包括：响应于用户的问题请求，将所述问题请求输入至预设的对话回复模型中，确定与所述问题请求匹配的至少一个回复信息；其中，所述问题请求表征用户的用户问题；所述回复信息具有情绪标签；所述情绪标签具有优先级；所述情绪标签表征所述回复信息的情感信息；其中，所述预设的对话回复模型是基于预设对话训练集合进行训练所得到的，所述预设对话训练集合中包括至少一个待训练对话，所述待训练对话包括用户问题、回复信息、以及回复信息的情绪标签；根据所述至少一个回复信息，确定优先级最高的情绪标签对应的回复信息，为最优的回复信息；控制所述数字人向所述用户反馈所述最优的回复信息。2.根据权利要求1所述的方法，其特征在于，所述响应于用户的问题请求，将所述问题请求输入至预设的对话回复模型中，确定与所述问题请求匹配的至少一个回复信息，包括：响应于用户的问题请求，将所述问题请求输入至预设的对话回复模型中，确定与所述问题请求匹配的回复信息；基于所述预设的对话回复模型，确定所述回复信息的情绪标签。3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个回复信息，确定优先级最高的情绪标签对应的回复信息，为最优的回复信息，包括：基于所述预设的对话回复模型，输出优先级最高的情绪标签对应的回复信息；其中，所述优先级最高的情绪标签对应的回复信息为最优的回复信息。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述方法还包括：获取所述用户对所述最优的回复信息的指示消息；其中，所述指示消息用于指示所述最优的回复信息在电子设备的展示方式；根据所述指示消息，确定所述最优的回复信息在所述电子设备的展示方式。5.一种应用于对话处理的对话回复模型的训练方法，其特征在于，所述方法包括：获取预设对话训练集合；其中，所述预设对话训练集合中包括至少一个待训练对话，所述待训练对话包括用户问题、回复信息、以及回复信息的情绪标签；将所述预设对话训练集合输入至预设初始模型中进行训练，得到对话回复模型；其中，所述对话回复模型用于对用户的问题请求所表征的用户问题进行处理得到优先级最高的情绪标签对应的回复信息；其中，优先级最高的情绪标签对应的回复信息，为最优的回复信息；所述最优的回复信息用于基于数字人向用户反馈该最优的回复信息。6.根据权利要求5所述的方法，其特征在于，所述待训练对话中的回复信息的情绪标签是基于多模态情绪识别模型所得到的；所述回复信息中包括文本信息、语音信息以及图像；其中，所述多模态情绪识别模型为基于待训练对话中的回复信息和回复信息的情绪标签进行处理所得到的。7.根据权利要求6所述的方法，其特征在于，所述多模态情绪识别模型中包括BERT模型、语音识别预训练模型和关键点识别表；所述方法，还包括：对所述待训练对话中回复信息中的文本信息，基于所述多模态情绪识别模型中的BERT模型确定文本向量；对所述待训练对话中回复信息中的语音信息，基于所述多模态情绪识别模型中的语音
识别预训练模型进行语音分...

【专利技术属性】
技术研发人员：刘安平，金昕，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：