意图识别方法、装置、电子设备制造方法及图纸

本申请公开了一种意图识别方法，属于计算机技术领域，用于提升意图识别准确度。所述意图识别方法包括：通过预设编码器对待识别查询输入进行编码处理，确定所述待识别查询输入的特征编码；通过预先训练的意图分类模型对所述待识别查询输入的所述特征编码进行分类映射，确定所述待识别查询输入匹配预设意图类别的概率；其中，所述意图分类模型与预先训练的多任务模型中的意图分类任务共享模型参数，所述多任务模型是结合意图类别与查询输入的信息之间的关联，以及意图类别与查询输入的语义匹配关系训练得到的；根据所述待识别查询输入匹配所述预设意图类别的所述概率，确定所述待识别查询输入匹配的所述预设意图类别，提升了意图识别的准确度。

【技术实现步骤摘要】
意图识别方法、装置、电子设备
本申请实施例涉及计算机
，特别是涉及一种意图识别方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着人工智能和深度学习技术的快速发展，基于深度学习模型的意图识别已经成为了当前研究的大趋势，其应用场景也越来越多。以面向任务的对话系统为例，通常来说，面向任务的对话系统包括语音识别，意图识别，对话管理，自然语言生成，语音合成等多个模块。意图识别作为对话系统中的一个重要环节，其识别结果的准确度直接影响了对话系统的性能和用户体验。现有技术中，意图识别的常见流程是：将用户输入进行编码后得到用户输入的编码向量，之后，通过意图分类模块对编码向量进行分类处理，得到与用户输入匹配的意图类别。现有技术中，通常情况下，意图分类模型为基于用户输入与意图类别构建的训练样本训练的单任务分类模型，意图识别准确率有待提高。申请人注意到，现有技术中存在包括意图识别和实体识别两个任务的神经网络模型，意图识别任务和实体识别任务可以共用部分模型参数，其目的是提升意图识别的准确性。然而，现有技术中的这种意图识别方法，至少存在以下缺陷：意图和实体之间不存在必然联系，实体训练数据对意图识别准确度提升效果不稳定。可见，现有技术中的意图识别方法还需要改进。
技术实现思路
本申请实施例提供一种意图识别方法，有助于提升意图识别准确度。第一方面，本申请实施例提供了一种意图识别方法，包括：通过预设编码器对待识别查询输入进行编码处理，确定所述待识别查询输入的特征编码；通过预先训练的意图分类模型对所述待识别查询输入的所述特征编码进行分类映射，确定所述待识别查询输入匹配预设意图类别的概率；其中，所述意图分类模型与预先训练的多任务模型中的意图分类任务共享模型参数，所述多任务模型是结合意图类别与查询输入的信息之间的关联，以及意图类别与查询输入的语义匹配关系训练得到的；根据所述待识别查询输入匹配所述预设意图类别的所述概率，确定所述待识别查询输入匹配的所述预设意图类别。第二方面，本申请实施例提供了一种意图识别装置，包括：编码模块，用于通过预设编码器对待识别查询输入进行编码处理，确定所述待识别查询输入的特征编码；意图类别匹配概率确定模块，用于通过预先训练的意图分类模型对所述待识别查询输入的所述特征编码进行分类映射，确定所述待识别查询输入匹配预设意图类别的概率；其中，所述意图分类模型与预先训练的多任务模型中的意图分类任务共享模型参数，所述多任务模型是结合意图类别与查询输入的信息之间的关联，以及意图类别与查询输入的语义匹配关系训练得到的；意图类别确定模块，用于根据所述待识别查询输入匹配所述预设意图类别的所述概率，确定所述待识别查询输入匹配的所述预设意图类别。第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的意图识别方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的意图识别方法的步骤。本申请实施例公开的意图识别方法，通过预设编码器对待识别查询输入进行编码处理，确定所述待识别查询输入的特征编码；通过预先训练的意图分类模型对所述待识别查询输入的所述特征编码进行分类映射，确定所述待识别查询输入匹配预设意图类别的概率；其中，所述意图分类模型与预先训练的多任务模型中的意图分类任务共享模型参数，所述多任务模型是结合意图类别与查询输入的信息之间的关联，以及意图类别与查询输入的语义匹配关系训练得到的；根据所述待识别查询输入匹配所述预设意图类别的所述概率，确定所述待识别查询输入匹配的所述预设意图类别，有助于提升意图识别的准确度。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。附图说明为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1是本申请实施例一的意图识别方法流程图之一；图2是本申请实施例一的意图识别方法流程图之二；图3是本申请实施例一的意图识别方法中多任务模型结构示意图；图4是本申请实施例二的意图识别装置结构示意图之一；图5是本申请实施例二的意图识别装置结构示意图之二；图6示意性地示出了用于执行根据本申请的方法的电子设备的框图；以及图7示意性地示出了用于保持或者携带实现根据本申请的方法的程序代码的存储单元。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。实施例一本申请实施例公开的一种意图识别方法，如图1所示，所述方法包括：步骤110至步骤130。步骤110，通过预设编码器对待识别查询输入进行编码处理，确定所述待识别查询输入的特征编码。本申请实施例中所述的预设编码器可以为现有技术中通用的文本编码网络模型。例如，所述预设编码器可以为现有技术中的BERT模型，或者Word2Vec(词向量)模型、CNN(ConvolutionalNeuralNetwork，卷积神经网络模型)、RNN(RecurrentNeuralNetwork，循环神经网络模型)、LSTM(long-shorttermmemory，长短期记忆模型)等。本申请的一些实施例中，所述预设编码器为预先训练的多任务模型中主干网络结构中的编码网络模块。例如，多任务模型中的基础网络部分，可以基于BERT模型结构或者其他神经网络模型结构，实现所述预设编码器。在模型训练阶段和线上预测阶段，所述编码器用于对输入的文本进行编码，并输出编码处理后得到的向量表示。即预设编码器对查询输入文本进行编码处理后，将输出该查询输入文本的特征编码，预设编码器对意图类别文本进行编码处理后，将输出该意图类别文本的特征编码。步骤120，通过预先训练的意图分类模型对所述待识别查询输入的所述特征编码进行分类映射，确定所述待识别查询输入匹配预设意图类别的概率。其中，所述意图分类模型与预先训练的多任务模型中的意图分类任务共享模型参数，所述多任务模型是结合意图类别与查询输入的信息之间的关联，以及意图类别与查询输入的语义匹配关系训练得到的。本申请的一些实施例中，如图2所示，所述通过预设编码器对待识别查询输本文档来自技高网...

【技术保护点】
1.一种意图识别方法，其特征在于，包括：/n通过预设编码器对待识别查询输入进行编码处理，确定所述待识别查询输入的特征编码；/n通过预先训练的意图分类模型对所述待识别查询输入的所述特征编码进行分类映射，确定所述待识别查询输入匹配预设意图类别的概率；其中，所述意图分类模型与预先训练的多任务模型中的意图分类任务共享模型参数，所述多任务模型是结合意图类别与查询输入的信息之间的关联，以及意图类别与查询输入的语义匹配关系训练得到的；/n根据所述待识别查询输入匹配所述预设意图类别的所述概率，确定所述待识别查询输入匹配的所述预设意图类别。/n

【技术特征摘要】
1.一种意图识别方法，其特征在于，包括：
通过预设编码器对待识别查询输入进行编码处理，确定所述待识别查询输入的特征编码；
通过预先训练的意图分类模型对所述待识别查询输入的所述特征编码进行分类映射，确定所述待识别查询输入匹配预设意图类别的概率；其中，所述意图分类模型与预先训练的多任务模型中的意图分类任务共享模型参数，所述多任务模型是结合意图类别与查询输入的信息之间的关联，以及意图类别与查询输入的语义匹配关系训练得到的；
根据所述待识别查询输入匹配所述预设意图类别的所述概率，确定所述待识别查询输入匹配的所述预设意图类别。


2.根据权利要求1所述的方法，其特征在于，所述多任务模型中还包括意图匹配任务，所述通过预设编码器对待识别查询输入进行编码处理，确定所述待识别查询输入的特征编码的步骤之前，还包括：
根据查询输入与意图类别的若干匹配组合，训练所述多任务模型。


3.根据权利要求2所述的方法，其特征在于，所述根据查询输入与意图类别的若干匹配组合，训练所述多任务模型的步骤，包括：
通过所述预设编码器对每个所述匹配组合中的所述查询输入和所述意图类别分别进行编码处理，确定所述查询输入的特征编码和所述意图类别的特征编码；
通过所述意图分类任务，对所述匹配组合中所述查询输入的所述特征编码匹配预设意图类别的概率分布进行预估，确定第一损失值；
通过所述意图匹配任务，对所述匹配组合中所述查询输入的所述特征编码与所述意图类别的特征编码之间的语义相似度进行预估，确定第二损失值；
融合所述第一损失值和所述第二损失值，得到的所述多任务模型的损失值；
通过优化所述意图分类任务和所述意图匹配任务的网络参数，优化所述多任务模型的损失值，对所述多任务模型进行迭代训练。


4.根据权利要求3所述的方法，其特征在于，所述通过所述意图分类任务，对所述匹配组合中所述查询输入的所述特征编码匹配预设意图类别的概率分布进行预估，确定第一损失值的步骤，包括：
通过所述意图分类任务，对所述匹配组合中所述查询输入的所述特征编码进行分类映射，确定各所述查询输入匹配预设意图类别的概率预估值；
根据各所述查询输入匹配预设意图类别的概率预估值、所述查询输入匹配预设意图类别的概率真实值，确定第一损失值，其中，所述查询输入匹配预设意图类别的概率真实值是根据所述查询输入匹配的意图类别确定的。


5.根据权利要求3所述的方法，其特征在于，所述通过所述意图匹配任务，对所述匹配组合中所述查询输入的所述特征编码与所述意图类别的特征编码之间的语义相...

【专利技术属性】
技术研发人员：刘操，袁家振，龚彦韬，宋挺，杨帆，蔡勋梁，万广鲁，陈见耸，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11