一种多轮对话方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种多轮对话方法、装置及电子设备，涉及人工智能技术领域，其中，多轮对话方法包括：接收用户在多轮对话过程中输入的第一对话内容；根据所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容，预测第一当前对话状态；基于所述第一当前对话状态确定所述第一对话内容对应的回复内容；输出所述第一对话内容对应的回复内容。本发明专利技术实施例利用对话的历史信息预测第一当前对话状态，能够提高状态追踪的准确性，从而能够提高进行多轮对话的对话效果。够提高进行多轮对话的对话效果。够提高进行多轮对话的对话效果。

【技术实现步骤摘要】
一种多轮对话方法、装置及电子设备


[0001]本专利技术涉及人工智能
，尤其涉及一种多轮对话方法、装置及电子设备。

技术介绍

[0002]随着人工智能的发展，多轮对话技术在机器与用户交互的场景下发挥着越来越重要的作用。通过多轮对话技术，机器可以实现与用户进行对话，解答用户问题。在机器与用户对话的过程中，一轮对话往往无法明确用户诉求，需要机器与用户之间进行多轮对话，才能最终解答用户问题。
[0003]现有技术中，常常采用基于规则的方法进行状态追踪，从而能够基于当前对话状态生成回复语句。基于规则的方法以单一的自然语言理解结果作为输入，使用人工制定的规则匹配得到当前对话状态，由于输入较为单一，会导致状态追踪的准确性较低，从而会导致进行多轮对话的对话效果较差。

技术实现思路

[0004]本专利技术实施例提供一种多轮对话方法、装置及电子设备，以解决现有技术中采用基于规则的方法进行状态追踪，状态追踪的准确性较低，从而会导致进行多轮对话的对话效果较差的问题。
[0005]为解决上述技术问题，本专利技术是这样实现的：
[0006]第一方面，本专利技术实施例提供了一种多轮对话方法，所述多轮对话方法包括：
[0007]接收用户在多轮对话过程中输入的第一对话内容；
[0008]根据所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容，预测第一当前对话状态；
[0009]基于所述第一当前对话状态确定所述第一对话内容对应的回复内容；
[0010]输出所述第一对话内容对应的回复内容。
[0011]可选的，所述根据所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容，预测第一当前对话状态，包括：
[0012]将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入预先训练的用于状态追踪的第一神经网络模型，输出第一对话状态概率分布；
[0013]基于所述第一对话状态概率分布预测第一当前对话状态；
[0014]所述基于所述第一当前对话状态确定所述第一对话内容对应的回复内容，包括：
[0015]将所述第一当前对话状态输入预先训练的用于回复解码的第二神经网络模型，输出第一回复内容概率分布；
[0016]基于所述第一回复内容概率分布确定所述第一对话内容对应的回复内容。
[0017]可选的，所述第一神经网络模型包括用于编码的第一神经网络子模型和用于状态解码的第二神经网络子模型，所述将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入预先训练的用于状态追踪的第一神经网络模型，输出第一
对话状态概率分布，包括：
[0018]将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络子模型，输出编码内容；
[0019]将所述编码内容输入所述第二神经网络子模型，输出第一对话状态概率分布。
[0020]可选的，所述第一神经网络模型和所述第二神经网络模型在训练过程中的训练样本包括有标签数据和无标签数据。
[0021]可选的，所述第一神经网络模型和所述第二神经网络模型在所述有标签数据下的训练过程如下：
[0022]将第二对话内容、与所述第二对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络模型，输出第二对话状态概率分布，所述第二对话内容属于有标签数据；
[0023]基于所述第二对话状态概率分布预测第二当前对话状态；
[0024]将所述第二当前对话状态输入所述第二神经网络模型，输出第二回复内容概率分布；
[0025]基于所述第二回复内容概率分布确定所述第二对话内容对应的回复内容；
[0026]将所述第二对话内容对应的回复内容、第二对话内容、与所述第二对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络模型，输出第三对话状态概率分布；
[0027]基于所述第二回复内容概率分布、所述第二对话状态概率分布、所述第三对话状态概率分布和所述第二对话内容对应的对话状态标签及回复内容标签计算最大似然估计值；
[0028]基于所述最大似然估计值对所述第一神经网络模型和所述第二神经网络模型进行联合训练。
[0029]可选的，所述第一神经网络模型和所述第二神经网络模型在所述无标签数据下的训练过程如下：
[0030]将第三对话内容、与所述第三对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络模型，输出第四对话状态概率分布，所述第三对话内容属于无标签数据；
[0031]基于所述第四对话状态概率分布预测第三当前对话状态；
[0032]将所述第三当前对话状态输入所述第二神经网络模型，输出第三回复内容概率分布；
[0033]基于所述第三回复内容概率分布确定所述第三对话内容对应的回复内容；
[0034]将所述第三对话内容对应的回复内容、第三对话内容、与所述第三对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络模型，输出第五对话状态概率分布；
[0035]分别计算所述第四对话状态概率分布及所述第五对话状态概率分布的熵值；
[0036]基于计算的熵值对所述第一神经网络模型和所述第二神经网络模型进行联合训练。
[0037]可选的，所述基于计算的熵值对所述第一神经网络模型和所述第二神经网络模型
进行联合训练，包括：
[0038]计算所述第四对话状态概率分布及所述第五对话状态概率分布的KL散度；
[0039]基于计算的KL散度及计算的熵值对所述第一神经网络模型和所述第二神经网络模型进行联合训练。
[0040]第二方面，本专利技术实施例提供了一种多轮对话装置，所述装置包括：
[0041]接收模块，用于接收用户在多轮对话过程中输入的第一对话内容；
[0042]预测模块，用于根据所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容，预测第一当前对话状态；
[0043]确定模块，用于基于所述第一当前对话状态确定所述第一对话内容对应的回复内容；
[0044]输出模块，用于输出所述第一对话内容对应的回复内容。
[0045]可选的，所述预测模块包括：
[0046]第一输出单元，用于将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入预先训练的用于状态追踪的第一神经网络模型，输出第一对话状态概率分布；
[0047]预测单元，用于基于所述第一对话状态概率分布预测第一当前对话状态；
[0048]所述确定模块具体用于：
[0049]将所述第一当前对话状态输入预先训练的用于回复解码的第二神经网络模型，输出第一回复内容概率分布；
[0050]基于所述第一回复内容概率分布确定所述第一对话内容对应的回复内容。
[0051]可选的，所述第一神经网络模型包括用于编码的第一神经网络子模型和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多轮对话方法，其特征在于，所述方法包括：接收用户在多轮对话过程中输入的第一对话内容；根据所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容，预测第一当前对话状态；基于所述第一当前对话状态确定所述第一对话内容对应的回复内容；输出所述第一对话内容对应的回复内容。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容，预测第一当前对话状态，包括：将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入预先训练的用于状态追踪的第一神经网络模型，输出第一对话状态概率分布；基于所述第一对话状态概率分布预测第一当前对话状态；所述基于所述第一当前对话状态确定所述第一对话内容对应的回复内容，包括：将所述第一当前对话状态输入预先训练的用于回复解码的第二神经网络模型，输出第一回复内容概率分布；基于所述第一回复内容概率分布确定所述第一对话内容对应的回复内容。3.根据权利要求2所述的方法，其特征在于，所述第一神经网络模型包括用于编码的第一神经网络子模型和用于状态解码的第二神经网络子模型，所述将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入预先训练的用于状态追踪的第一神经网络模型，输出第一对话状态概率分布，包括：将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络子模型，输出编码内容；将所述编码内容输入所述第二神经网络子模型，输出第一对话状态概率分布。4.根据权利要求2所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型在训练过程中的训练样本包括有标签数据和无标签数据。5.根据权利要求4所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型在所述有标签数据下的训练过程如下：将第二对话内容、与所述第二对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络模型，输出第二对话状态概率分布，所述第二对话内容属于有标签数据；基于所述第二对话状态概率分布预测第二当前对话状态；将所述第二当前对话状态输入所述第二神经网络模型，输出第二回复内容概率分布；基于所述第二回复内容概率分布确定所述第二对话内容对应的回复内容；将所述第二对话内容对应的回复内容、第二对话内容、与所述第二对话内容对应的历史对话状态以及历史对话内容输入...

【专利技术属性】
技术研发人员：杜晓宇，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：