一种基于推理提示的生成式大模型文档库问答方法技术

本发明专利技术公开了一种基于推理提示的生成式大模型文档库问答方法，涉及自然语言处理分析领域，包括：首先基于生成式大模型进行数据处理及文章向量检索库构建；再对用户问题内容进行信息增强；然后基于文章向量检索库，通过对增强后的用户问题进行向量检索获取候选文章集合；再针对不同类型问题，构建对应的提示库；然后基于生成式大模型对文本类型的识别能力，对所述用户问题进行分类；再基于提示库和候选文章集合，获取所述用户问题的模型输入

【技术实现步骤摘要】
一种基于推理提示的生成式大模型文档库问答方法


[0001]本专利技术涉及自然语言处理分析领域，具体涉及一种基于推理提示的生成式大模型文档库问答方法
。

技术介绍

[0002]本节中的陈述仅提供与本公开相关的背景信息，并且可能不构成现有技术
。
[0003]在自然语言的知识获取分析中，存在大量的非结构化文档数据，其结构多样
、
维度高
、
数据量大
、
语义结构复杂，段落之间也存在着较强的耦合关系
。
问答作为信息获取的重要方式，非结构化文档数据是其重要的信息获取来源，目前主要应用在信息检索
、
多文档的知识获取方面，但文档数据体量大
、
语义结构复杂，如何精确理解用户问题意图
、
快速获取问题所在候选文章集合
、
准确定位文章中答案位置变的愈发复杂困难
。
因此基于非结构化文档数据建立一种高效准确的文档库智能问答，实现大规模文档数据的关键信息获取具有重要的研究价值
。
[0004]目前基于文档库的问答主要为基于预训练模型的抽取式问答和信息检索方法
。
抽取式问答方法基于预训练模型提取文档特征，生成状态与动作的向量表示，利用激活函数可预测答案开始和结束的位置信息，从而获取答案
。
由于其是根据文章内容从中抽取答案，在推理型问题上具有很大的局限性，同时在跨段落的问答上也具有一定难度
。
在实际应用中，用户关注的信息源于多篇文章，且存在推理型的问题，传统方法只能抽取现有文章中存在的答案，不能根据用户问题和已知内容进行推理
。
因此应以用户实际需求为牵引，建立一种可总结
、
推理的文档库问答方法
。

技术实现思路

[0005]本专利技术的目的在于：针对现有技术中存在的问题，提供了一种基于推理提示的生成式大模型文档库问答方法，其根据用户实际问题，通过意图理解模型快速分析用户问题类型，数据增强处理提高问题关键信息，基于向量检索召回和用户问题相关的篇章候选集，同时为了提高模型返回答案的准确性，按照问题类型分别构造不同的推理提示，以用户问题
、
推理提示和获取的篇章候选集构建
prompt
作为生成式大模型的输入，实现基于文档库的事实性
、
推理型问题答案的精确获取，旨在解决单文档和跨文档的事实型
、
推理型问题答案的获取
。
[0006]本专利技术的技术方案如下：
[0007]一种基于推理提示的生成式大模型文档库问答方法，包括：
[0008]步骤
S1
：基于生成式大模型进行数据处理及文章向量检索库构建；
[0009]步骤
S2
：对用户问题内容进行信息增强；
[0010]步骤
S3
：基于文章向量检索库，通过对增强后的用户问题进行向量检索获取候选文章集合；
[0011]步骤
S4
：针对不同类型问题，构建对应的提示库；
[0012]步骤
S5
：基于生成式大模型对文本类型的识别能力，对所述用户问题进行分类；
[0013]步骤
S6
：基于提示库和候选文章集合，获取所述用户问题的模型输入
prompt
；
[0014]步骤
S7
：将模型输入
prompt
，输入生成式大模型中，得到所述用户问题的答案
。
[0015]进一步地，所述步骤
S1
，包括：
[0016]按照分段
、
分句的形式，基于
BGE
中文词嵌入模型对文档库数据进行向量化处理，构建文章向量检索库
。
[0017]进一步地，所述向量化处理，包括：
[0018]步骤
S11
：对文档库数据中的非结构化文档按段落进行切分，同时对该段落进行按句切分；
[0019]步骤
S12
：基于
BGE
中文词嵌入模型，对切分后的句子进行向量化处理，得到相应文章的句向量；
[0020]步骤
S13
：对向量化处理后的句向量
、
句子
、
段落进行存储，完成文章向量检索库的构建
。
[0021]进一步地，所述步骤
S2
，包括：
[0022]基于关键词提取
、
关键词补全或停用词方法，对用户问题内容进行信息增强
。
[0023]进一步地，所述步骤
S3
，包括：
[0024]基于余弦相似度，对所述用户问题和句向量进行相似性度量；若计算相似度结果大于设定阈值，则返回候选知识集
。
[0025]进一步地，所述步骤
S4
，包括：
[0026]针对推理型问题，构建推理提示库
。
[0027]进一步地，所述步骤
S5
，包括：
[0028]判断所述用户问题是否为推理型问题
。
[0029]进一步地，所述步骤
S6
，包括：
[0030]步骤
S61
：若所述用户问题是推理性问题，则基于推理提示库
、
候选文章集合和用户问题，构建模型输入
prompt
；
[0031]步骤
S62
：若所述用户问题是非推理性问题，则基于候选文章集合和用户问题，构建模型输入
prompt。
[0032]进一步地，所述步骤
S61
，包括：
[0033]基于推理提示库，通过相似匹配方式，获取所述用户问题的推理提示，并基于所述推理提示
、
候选文章集合和用户问题，构建模型输入
prompt。
[0034]进一步地，所述推理提示库的构建需获取高质量问题及提示模板；
[0035]所述高质量问题的选取基于不确定指标计算的方式进行筛选
。
[0036]本专利技术的有益效果是：一方面基于外接数据库的方式使得生成式大模型可以依据而答；二是基于不确定性计算方法和对比学习技术构建高质量的推理提示库；三是通过问题候选知识获取
、
问题类型识别
、
高质量推理提示提高大模型在事实性问答的准确性
。
附图说明
[0037]图1为一种基于推理提示的生成式大模型文档库问答方法的总体流程图；
[0038]图2为高质量推理提示库的构建过程
。
具体实施方式
[0039]需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于推理提示的生成式大模型文档库问答方法，其特征在于，包括：步骤
S1
：基于生成式大模型进行数据处理及文章向量检索库构建；步骤
S2
：对用户问题内容进行信息增强；步骤
S3
：基于文章向量检索库，通过对增强后的用户问题进行向量检索获取候选文章集合；步骤
S4
：针对不同类型问题，构建对应的提示库；步骤
S5
：基于生成式大模型对文本类型的识别能力，对所述用户问题进行分类；步骤
S6
：基于提示库和候选文章集合，获取所述用户问题的模型输入
prompt
；步骤
S7
：将模型输入
prompt
，输入生成式大模型中，得到所述用户问题的答案
。2.
根据权利要求1所述的一种基于推理提示的生成式大模型文档库问答方法，其特征在于，所述步骤
S1
，包括：按照分段
、
分句的形式，基于
BGE
中文词嵌入模型对文档库数据进行向量化处理，构建文章向量检索库
。3.
根据权利要求2所述的一种基于推理提示的生成式大模型文档库问答方法，其特征在于，所述向量化处理，包括：步骤
S11
：对文档库数据中的非结构化文档按段落进行切分，同时对该段落进行按句切分；步骤
S12
：基于
BGE
中文词嵌入模型，对切分后的句子进行向量化处理，得到相应文章的句向量；步骤
S13
：对向量化处理后的句向量
、
句子
、
段落进行存储，完成文章向量检索库的构建
。4.
根据权利要求1所述的一种基于推理提示的生成式大模型文档库问答方法，其特征在于，所述步骤
S2
...

【专利技术属性】
技术研发人员：雋兆波，代翔，崔莹，李春豹，陈莹，刘鑫，何健军，
申请(专利权)人：中国电子科技集团公司第十研究所，
类型：发明
国别省市：