一种基于多路召回的多场景智能问答方法和系统技术方案

本发明专利技术涉及人工智能领域，尤其是涉及一种基于多路召回的多场景智能问答方法和系统，该方法包括：步骤S100：用户提出实时问题，并将问题同时输入到多路模型进行问题检索和任务识别，召回各路模型检索到的带有相似度的第一候选问题列表；步骤S200：将多路模型返回的第一候选问题列表进行归并，并按照相似度进行排序，生成第二候选问题列表；步骤S300：从第二候选问题列表中，根据阈值获得Top1或者Topk问题列表，生成回答响应用户。本发明专利技术可以进一步提升在多场景问答场景下的召回精度；同时基于多路召回的机制，满足多路模型并发运行的要求，提升运行效率。提升运行效率。提升运行效率。

【技术实现步骤摘要】
一种基于多路召回的多场景智能问答方法和系统


[0001]本专利技术涉及人工智能领域，尤其是涉及一种基于多路召回的多场景智能问答方法和系统。

技术介绍

[0002]自然语言处理是人工智能领域重要的一个分支，而智能问答又是自然语言处理领域非常经典应用场景之一，也是人机交互较常用的手段之一。如线上智能客服机器人、线下大厅接待机器人、智能语音助手等。智能问答能够理解以自然语言描述的用户提问，并生成包含答案的回复内容或者执行用户下发的任务。智能问答系统按不同的场景，我们一般分为 FAQ问答系统、（特定领域）任务型问答系统。
[0003]在单一场景下，目前已经有较多成熟的解决方案，在各自的应用场景下也起到了不错的效果。然而，在实际场景中，我们经常会遇到多场景融合的智能问答场景，即智能问答既要能实现FQA问答类型，也能满足特定领域内的任务型问答。目前主流的方法之一是先对用户提出的问题进行分类，判断当前用户问题的所属场景，然后再进入到具体分类下进行问题检索或者识别指令执行任务。然而在实际的不同业务领域中，相同的用户问题也可能表示不同的业务需求，因此容易发生问题分类与用户实际的业务需求不一致的错误。即使系统内有对应的回答或者任务，也会导致因问题分类出错而出现回答错误或者执行错误的情况，即召回精度低。
[0004]另外一种主流的方法是按顺序进行不同类别的问题检索，例如首先基于FAQ类问题检索，如果当前匹配到Top1的问题，则认为命中该问题，返回该问题的答案；如果未匹配到Top1的问题，则进入到下一类问题的检索。这种方法存在两个关键问题：1.效率较低，如果当前用户的问题，在检索链路靠后的问题分类中，则需要按顺序把所有问题检索一遍； 2.召回精度较低，当在前一个问题分类的检索任务中获得Top1的问题后，就停止检索，但实际情况可能在后面的问题分类中存在相似度更高的问题。

技术实现思路

[0005]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种基于多路召回的多场景智能问答方法和系统，以解决智能问答系统在多场景融合的问答场景下，现有技术召回精度低的问题；同时基于多路召回的机制，满足多路模型并发运行的要求，提升运行效率，此外每类模型还可采用N版本设计的思路，进一步提升系统的可靠性；其具体技术方案如下：一种基于多路召回的多场景智能问答方法，包括以下步骤：步骤S100：用户提出实时问题，并将问题同时输入到多路模型进行问题检索和任务识别，召回各路模型检索到的带有相似度的第一候选问题列表；步骤S200：将多路模型返回的第一候选问题列表进行归并，并按照相似度进行排序，生成第二候选问题列表；
步骤S300：从第二候选问题列表中，根据阈值获得Top1或者Topk问题列表，生成回答响应用户。
[0006]进一步的，所述多路模型进行的问题检索和任务识别为并行计算，多路模型具体包括：基于关键字检索模型、基于语义检索模型、任务识别模型，所述的基于关键字检索模型和基于语义检索模型用于FAQ问答场景，任务识别模型用于任务型问答场景。
[0007]进一步的，所述基于关键字检索模型对输入的问题进行关键字检索，获得基于关键字召回的带有相似度的候选问题列表，具体包括以下步骤：步骤S111，去除输入的问题中的停顿词并对问题进行分词处理；步骤S112，通过Elasticsearch搜索引擎对问题进行检索；步骤S113，召回Top k 的最相关问题列表；步骤S114，计算用户输入的问题与步骤S113中的召回的问题的相似度，获得基于关键字召回的带有相似度的候选问题列表。
[0008]进一步的，所述步骤S114，具体包括以下子步骤：步骤S1141，将用户输入的问题通过 Sentence
‑
BERT模型进行句子编码，生成一个句向量，用Q1表示；步骤S1142，将召回列表中的k个问题，通过 Sentence
‑
BERT模型进行句子编码，生成k个句向量，用Pi(i=1,2,3
…
,k)表示；步骤S1143，采用余弦相似度计算方法，计算Q1与Pi之间的相似度，用SKi(i=1,2,3
…
,k)表示，获得基于关键字召回的带有相似度的候选问题列表。
[0009]进一步的，所述基于语义检索模型对输入的问题进行语义检索，获得基于语义检索的召回问题列表，具体包括以下步骤：步骤S121，将用户输入的问题，通过 Sentence
‑
BERT模型进行问题句子的语义编码，生成语义编码向量；步骤S122，利用生成的语义编码向量，通过Milvus向量搜索引擎进行查询，采用归一化的向量内积法计算向量相似度，返回相似度最高的Top k 个相似向量ID；步骤S123，利用召回的Top k个相似向量ID，进一步获取问题列表，具体为：与步骤S122同步进行通过Sentence
‑
BERT模型对问题进行句向量编码，并将句向量存储于Elasticsearch搜索引擎，检索时采用余弦相似度计算方法进行相似度计算；将Elasticsearch搜索引擎的检索结果与Milvus向量搜索引擎的检索结果进行合并后的问题列表作为基于语义检索的召回问题列表。
[0010]进一步的，所述任务识别模型对输入的问题进行任务识别，获取召回的任务，具体包括以下步骤：步骤S131，采用规则模板的方法对输入的问题进行意图识别，获取到与规则模板匹配度最大的意图；步骤S132，针对带有槽位的意图，进行槽位填充；步骤S133，如果遇到当前意图仍旧缺槽位，则通过多轮对话管理即多轮提问的方式，获得槽位；步骤S134，返回召回的意图，即Top 1任务。
[0011]进一步的，所述采用规则模板的方法对输入的问题进行意图识别，具体为：通过人
工分析每个意图下的有代表性的例句，总结出规则模板，然后将用户的输入问句进行分词、词性标注、命名实体识别、依存句法分析、语义分析的操作后套用所述的规则模板，当与所述规则模板匹对的某个规则模板达到所设阈值之后就认为该输入问句就属于所总结出的规则模板对应的意图。
[0012]进一步的，所述步骤S200，具体为：将所述的基于关键字召回的带有相似度的候选问题列表和基于语义检索的召回问题列表合并，并进行去重后，再合并任务识别模型召回的任务，按照相似度从高到低进行排序，生成第二候选问题列表。
[0013]进一步的，所述步骤S300，具体为：在所述第二候选问题列表中，当排序后Top1 问题为任务型问答场景时，若相似度大于第一阈值，则执行召回的问题对应的任务，响应用户；若相似度小于等于第一阈值，则将所述第二候选问题列表中相似度大于第二阈值的最多前10个问题进行返回，作为用户的推荐问题；当排序后Top1 问题为FAQ问答场景，若相似度大于第三阈值：则直接返回输入的问题对应的回答，响应用户；同时将剩余的第二候选问题列表中相似度大于第二阈值的最多前10个问题，作为用户的推荐问题；若相似度小于等于第三阈值，则将所述第二候选问题列表中相似度大于第二阈值的最多前10个问题，作为用户的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多路召回的多场景智能问答方法，其特征在于，包括以下步骤：步骤S100：用户提出实时问题，并将问题同时输入到多路模型进行问题检索和任务识别，召回各路模型检索到的带有相似度的第一候选问题列表；步骤S200：将多路模型返回的第一候选问题列表进行归并，并按照相似度进行排序，生成第二候选问题列表；步骤S300：从第二候选问题列表中，根据阈值获得Top1或者Topk问题列表，生成回答响应用户。2.如权利要求1所述的一种基于多路召回的多场景智能问答方法，其特征在于，所述多路模型进行的问题检索和任务识别为并行计算，多路模型具体包括：基于关键字检索模型、基于语义检索模型、任务识别模型，所述的基于关键字检索模型和基于语义检索模型用于FAQ问答场景，任务识别模型用于任务型问答场景。3.如权利要求2所述的一种基于多路召回的多场景智能问答方法，其特征在于，所述基于关键字检索模型对输入的问题进行关键字检索，获得基于关键字召回的带有相似度的候选问题列表，具体包括以下步骤：步骤S111，去除输入的问题中的停顿词并对问题进行分词处理；步骤S112，通过Elasticsearch搜索引擎对问题进行检索；步骤S113，召回Top k 的最相关问题列表；步骤S114，计算用户输入的问题与步骤S113中的召回的问题的相似度，获得基于关键字召回的带有相似度的候选问题列表。4.如权利要求3所述的一种基于多路召回的多场景智能问答方法，其特征在于，所述步骤S114，具体包括以下子步骤：步骤S1141，将用户输入的问题通过 Sentence
‑
BERT模型进行句子编码，生成一个句向量，用Q1表示；步骤S1142，将召回列表中的k个问题，通过 Sentence
‑
BERT模型进行句子编码，生成k个句向量，用Pi(i=1,2,3
…
,k)表示；步骤S1143，采用余弦相似度计算方法，计算Q1与Pi之间的相似度，用SKi(i=1,2,3
…
,k)表示，获得基于关键字召回的带有相似度的候选问题列表。5.如权利要求3所述的一种基于多路召回的多场景智能问答方法，其特征在于，所述基于语义检索模型对输入的问题进行语义检索，获得基于语义检索的召回问题列表，具体包括以下步骤：步骤S121，将用户输入的问题，通过 Sentence
‑
BERT模型进行问题句子的语义编码，生成语义编码向量；步骤S122，利用生成的语义编码向量，通过Milvus向量搜索引擎进行查询，采用归一化的向量内积法计算向量相似度，返回相似度最高的Top k 个相似向量ID；步骤S123，利用召回的Top k个相似向量ID，进一步获取问题列表，具体为：与步骤S122同步进行通过Sentence
‑
BERT模型对问题进行句向量编码，并将句向量存储于Elas...

【专利技术属性】
技术研发人员：李月标，谭一匡，王梁昊，张灵箭，郭坤龙，王娱，
申请(专利权)人：之江实验室，
类型：发明
国别省市：