【技术实现步骤摘要】
本专利技术涉及人工智能，更具体的说是涉及一种大语言模型自适应检索增强方法、系统及设备。
技术介绍
1、当前，大语言模型存在着生成幻觉问题，即生成虚假信息。检索技术通过引用知识库中的信息可以提供更准确的回答。一般情况下，如图1所示，根据用户提问，检索无差别地访问向量库获取上下文，将检索结果和大语言模型输出结果进行拼接，形成最终答案。这类常规方式有可能会引入主题无关的上下文，进而导致低质量的文本生成内容。而大语言模型并没有对知识库进行适配性训练，以使生成结果与上下文语义保持一致。同时，检索上下文有可能引入有冲突的观点。最终，导致答案内容有冲突、质量不高。
2、因此，考虑对检索结果进行排序，并与大语言模型的输出融合，便于使得到的答案避免冲突内容、质量不高的内容、上下文无关的内容的出现，有效提升大语言模型与检索知识库结合方法的答案正确率，提高答案质量。
技术实现思路
1、有鉴于此，为了解决现有技术中存在的问题，本专利技术提供了一种大语言模型自适应检索增强方法、系统及设备，便于有效提升大语言模型与检索知识库结合方法的答案正确率，提高答案质量。
2、为实现上述目的，本专利技术采取的技术方案为：
3、第一方面，本专利技术提供一种大语言模型自适应检索增强方法，该方法包括以下步骤：
4、s1、将用户提问拆分为n个子查询语句，形成n个向量索引，在知识库中进行搜索，形成n个检索结果；
5、s2、将所述n个子查询语句输入第一大语言模型，得到第一回
6、s3、将所述n个检索结果与所述第一回答结果逐个进行相关度计算，并根据计算结果进行排序；
7、s4、将用户提问输入第二大语言模型，得到第二回答结果；
8、s5、将排序的前k个检索结果与所述第二回答结果融合生成最终的输出答案。
9、在一个可选的实施方式中，所述步骤s2和所述步骤s4中，第一大语言模型和第二大语言模型为参数量级超过百亿的神经网络模型，具备文本理解、文字生成、问答对话能力。
10、在一个可选的实施方式中，所述步骤s3中，相关度采用语义相似度公式进行计算：
11、
12、其中，cos(θ)表示相关度，a和b分别表示检索结果与第一回答结果语句的高维语义向量，i表示第i维，n表示a或b两个高维语义向量一共有多少维。
13、在一个可选的实施方式中，所述步骤s3中，相关度采用神经网络模型进行计算，方法包括：
14、先利用点积运算构建检索结果与第一回答结果语句之间的匹配矩阵；再基于二维卷积、池化操作提取矩阵中的特征，最后基于全连接网络计算得到二者的相关度。
15、在一个可选的实施方式中，所述步骤s5中，通过设置语句拼接或通过循环神经网络编解码，将步骤s3中排序的前k个检索结果与步骤s4中的第二回答结果融合。
16、在一个可选的实施方式中，循环神经网络的训练样本输出序列的损失函数为：
17、
18、其中，p表示概率，x1,…,xt为输入序列，y1,…,yt'为训练样本的输出序列；c为循环神经网络编码器输出结果，对于解码阶段每一步t',解码器输出为yt'。
19、第二方面，本专利技术还提供一种大语言模型自适应检索增强系统，应用于上述的一种大语言模型自适应检索增强方法，实现大语言模型自适应检索增强，提高答案正确率和质量，该系统包括：
20、检索模块，用于将用户提问拆分为n个子查询语句，形成n个向量索引，在知识库中进行搜索，形成n个检索结果；
21、回答模块，用于将所述n个子查询语句输入第一大语言模型，得到第一回答结果，还用于将用户提问输入第二大语言模型，得到第二回答结果；
22、计算模块，用于将所述n个检索结果与所述第一回答结果逐个进行相关度计算，并根据计算结果进行排序；
23、融合模块，用于将排序的前k个检索结果与所述第二回答结果融合生成最终的输出答案。
24、第三方面，本专利技术实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现能够执行上述的一种大语言模型自适应检索增强方法。
25、第四方面，本专利技术还提供一种存储介质，其上存储有计算设备可读的一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如上述的一种大语言模型自适应检索增强方法。
26、与现有技术相比，本专利技术至少具有如下有益技术效果：
27、本专利技术提供了一种大语言模型自适应检索增强方法、系统及设备，检索技术和大语言模型二者结合使用，检索为大模型提供教科书，能够查询特定信息，融合大语言模型的输出，共同生成最终答案。本专利技术利用大语言模型动态判断检索时机，对检索结果进行排序，并与大语言模型的输出融合，便于使得到的答案避免冲突内容、质量不高的内容、上下文无关的内容的出现，有效提升了大语言模型与检索知识库结合方法的答案正确率，提高了答案质量。
28、本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
29、下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
本文档来自技高网...【技术保护点】
1.一种大语言模型自适应检索增强方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种大语言模型自适应检索增强方法，其特征在于，所述步骤S2和所述步骤S4中，第一大语言模型和第二大语言模型为参数量级超过百亿的神经网络模型，具备文本理解、文字生成、问答对话能力。
3.根据权利要求1所述的一种大语言模型自适应检索增强方法，其特征在于，所述步骤S3中，相关度采用语义相似度公式进行计算：
4.根据权利要求3所述的一种大语言模型自适应检索增强方法，其特征在于，所述步骤S3中，相关度采用神经网络模型进行计算，方法包括：
5.根据权利要求1所述的一种大语言模型自适应检索增强方法，其特征在于，所述步骤S5中，通过设置语句拼接或通过循环神经网络编解码，将步骤S3中排序的前K个检索结果与步骤S4中的第二回答结果融合。
6.根据权利要求5所述的一种大语言模型自适应检索增强方法，其特征在于，循环神经网络的训练样本输出序列的损失函数为：
7.一种大语言模型自适应检索增强系统，其特征在于，应用时执行如权利要求1-6中任一项
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现能够执行如权利要求1-6中任一项所述的一种大语言模型自适应检索增强方法。
9.一种存储介质，其上存储有计算设备可读的一个或多个程序，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-6中任一项所述的一种大语言模型自适应检索增强方法。
...【技术特征摘要】
1.一种大语言模型自适应检索增强方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种大语言模型自适应检索增强方法，其特征在于，所述步骤s2和所述步骤s4中，第一大语言模型和第二大语言模型为参数量级超过百亿的神经网络模型，具备文本理解、文字生成、问答对话能力。
3.根据权利要求1所述的一种大语言模型自适应检索增强方法，其特征在于，所述步骤s3中，相关度采用语义相似度公式进行计算：
4.根据权利要求3所述的一种大语言模型自适应检索增强方法，其特征在于，所述步骤s3中，相关度采用神经网络模型进行计算，方法包括：
5.根据权利要求1所述的一种大语言模型自适应检索增强方法，其特征在于，所述步骤s5中，通过设置语句拼接或通过循环神经网络编解码，将步骤s3中排序的前k个检索结果与步骤s4中的第二回答结...
【专利技术属性】
技术研发人员：崔佳佳，徐勇勇，王福喜，郭乃闻，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。