多轮问答系统意图分类和命名实体识别的研究方法技术方案

本发明专利技术提供了一种多轮问答系统意图分类和命名实体识别的研究方法。其包括以下步骤：1)在进行意图分类时，通过对话状态追踪模块，将上下文的历史信息作为输入，传入了意图分类预测模型；2)在命名实体识别预测时，将本轮的意图识别结果作为特征，传入命名实体预测模型;3)将命名实体识别和意图分类通过一个多任务模型进行训练，并根据前两点的需要，对模型进行改进。本发明专利技术将NLU和DM直接改为双向模型，上下文信息能够提高意图分类的准确率，将命名实体识别和意图分类通过一个多任务模型Bert模型融合，可以方便进行部署。可以方便进行部署。可以方便进行部署。

【技术实现步骤摘要】
多轮问答系统意图分类和命名实体识别的研究方法


[0001]本专利技术涉及一种智能问答系统，具体涉及一种多轮问答系统意图分类和命名实体识别的研究方法，属于人工智能


技术介绍

[0002]如附图1，传统的任务型问答系统采用pipline结构，自然语音理解模块（NLU）是任务型问答系统的主要组成部分，在NLU模块中，命名实体识别和意图分类分别用于提取对话中的实体和分类对话意图，从自然语言理解模块（NLU）到对话管理模块（DM）是单向的。
[0003]另外现有的智能对话平台，在实现NLU时存在两个缺点。第一，现有平台在做命名实体识别时，未将该文本的意图作为特征进行考虑。第二，在做意图分类时，未考虑上下文信息对意图分类的影响。

技术实现思路

[0004]本专利技术目的是提供了一种多轮问答系统意图分类和命名实体识别的研究方法。
[0005]本专利技术为实现上述目的，通过以下技术方案实现：一种多轮问答系统意图分类和命名实体识别的研究方法，包括以下步骤：1)在进行意图分类时，通过对话状态追踪模块，将上下文的历史信息作为输入，传入了意图分类预测模型；2)在命名实体识别预测时，将本轮的意图识别结果作为特征，传入命名实体预测模型;3)将命名实体识别和意图分类通过一个多任务模型进行训练，并根据前两点的需要，对模型进行改进。
[0006]所述多轮问答系统意图分类和命名实体识别的研究方法优选方案，使用Bert模型的多任务架构，Bert在输入的每句话的开头添加[CLS]标识位，该标示位作为意图分类的预测结果，在Bert的输出层上，增加条件随机场CRF作为命名实体识别的预测输出，并将意图分类的隐藏层信息作为输入，作为命名实体识别预测的一部分。
[0007]所述多轮问答系统意图分类和命名实体识别的研究方法优选方案，具体包括如下步骤：S1.将DM模块中DST上下文数据，作为Bert模型的输入之一;S2.将命名实体识别模块和意图分类模块使用Bert多任务进行融合处理;S3.将意图分类结果状态，作为输入传输给CRF模型预测。
[0008]本专利技术的优点在于：将NLU和DM直接改为双向模型，上下文信息能够提高意图分类的准确率，将命名实体识别和意图分类通过一个多任务模型Bert模型融合，可以方便进行部署。
附图说明
[0009]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0010]图1为本专利技术实施例中智能对话流程图。
[0011]图2为本专利技术实施例中智能对话改进图。
[0012]图3为本专利技术实施例中多任务Bert图。
具体实施方式
[0013]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0014]正如
技术介绍
所述传统的任务型问答系统采用pipline结构，从自然语言理解模块（NLU）到对话管理模块（DM）是单向的，存在意图分类不准确的问题；命名实体识别任务（NER）和意图分类任务（Intent Classifier）是分开的，布局复杂。
[0015]为了解决上述问题本专利技术采用以下方案：一种多轮问答系统意图分类和命名实体识别的研究方法，包括以下步骤：1)在进行意图分类时，通过对话状态追踪模块，将上下文的历史信息作为输入，传入了意图分类预测模型；2)在命名实体识别预测时，将本轮的意图识别结果作为特征，传入命名实体预测模型;3)将命名实体识别和意图分类通过一个多任务模型进行训练，并根据前两点的需要，对模型进行改进。
[0016]本专利技术实施例中，具体包括以下步骤：1.将NLU和DM直接改为双向模型，使得意图分类模型能够在分类中获取对话状态跟踪（DST）的上下文信息；2.采用了Bert的多分类任务，将命名实体识别任务（NER）和意图分类任务（Intent Classifier）通过一个模型进行融合，融合后的模型经过Bert的Attention层，对CLS进行softmax进行分类，得到最终的意图；3.将意图的隐状态CLS作为输入传给CRF层，使得CRF层进行命名实体识别时，考虑到相关本轮意图，CRF层输出命名实体识别结果。
[0017]最后应说明的是：以上所述仅为本专利技术的优选实施例而已，并不用于限制本专利技术，尽管参照前述实施例对本专利技术进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多轮问答系统意图分类和命名实体识别的研究方法，其特征在于：包括以下步骤：1)在进行意图分类时，通过对话状态追踪模块，将上下文的历史信息作为输入，传入了意图分类预测模型；2)在命名实体识别预测时，将本轮的意图识别结果作为特征，传入命名实体预测模型;3)将命名实体识别和意图分类通过一个多任务模型进行训练，并根据前两点的需要，对模型进行改进。2.根据权利要求1所述多轮问答系统意图分类和命名实体识别的研究方法，其特征在于：使用Bert模型的多任务架构，Bert在输入的每句话的开头添...

【专利技术属性】
技术研发人员：冯卫森，冯落落，尹青山，高明，王建华，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：