System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于原子知识算子的大语言模型异构知识推理方法及装置制造方法及图纸_技高网
当前位置: 首页 > 专利查询>清华大学专利>正文

基于原子知识算子的大语言模型异构知识推理方法及装置制造方法及图纸

技术编号:44739318 阅读:4 留言:0更新日期:2025-03-21 18:06
本发明专利技术提供一种基于原子知识算子的大语言模型异构知识推理方法及装置,其中的方法包括:基于原始待解答问题,构建原子推理树;其中,原子推理树包括父节点和叶节点,父节点中的根节点为原始待解答问题,父节点中的非根节点为由原始待解答问题分解得到的不同层级子问题,叶节点为由原始待解答问题分解得到的原子问题,每一叶节点对应一个原子知识算子,原子知识算子包括搜索算子、关系算子以及过滤算子;对于叶节点,基于大语言模型和原子知识算子,根据检索‑知识对原子问题进行推理;对于父节点,基于大语言模型,根据子节点推理答案、兄弟节点推理答案或检索‑知识对子问题进行推理;对原子推理树从叶节点到根节点自下而上进行推理,得到原始待解答问题的推理结果;其中,检索‑知识通过从多种异构知识源执行动态知识检索得到。该方法通过将原始待解答问题分解到原子级别的细粒度,并使原子推理树中的叶节点对应一个原子知识算子,实现了更精确的推理结果,与此同时,通过在每个子问题和原子问题节点允许从多种异构知识源动态检索知识,能够灵活应对不同类型的查询,提供了更丰富、准确和互补的信息,增强了算法的整体推理能力。

【技术实现步骤摘要】

本专利技术涉及自然语言处理及知识推理,尤其涉及一种基于原子知识算子的大语言模型异构知识推理方法及装置


技术介绍

1、知识密集型推理是一项具有挑战性的任务,需要能够使用各种推理技巧对大量知识进行推理,例如多跳推理,比较和计算。尽管大型语言模型(简称大语言模型)的最新进展已使其能在多种自然语言处理任务中表现出色,但由于大语言模型在推理规划方面的低效性和幻觉问题,即大语言模型自信地编造错误事实的现象,很难只依赖于大语言模型自身完成可靠的知识密集型推理。

2、为了解决上述问题,一个近年主流的解决方案是将思维链推理技术和检索增强生成技术相结合。具体而言,现存的许多研究提出的方法为先将复杂问题分解为多个简单问题,再对每个子问题做检索增强生成,从而减轻大模型的幻觉。

3、然而,现存的这些知识密集型推理方法主要存在以下缺陷:(1)问题分解的不充分。大多数现存的方法试图将复杂问题以链式或树形结构分解为多个子问题,然而它们都仅仅基于大模型做自由问题分解,分解出的子问题的粒度往往是不够精细,这会导致推理结果的错误。(2)对多种异构知识源缺乏支持。异构知识源包括在线网页、本地文本语料和结构化知识库等多种知识源,这些知识源拥有不同的结构,但各自包含能相互互补的丰富知识。然而,大多数现有的方法都只采用一种固定知识源进行检索。

4、因此,如何解决现有知识密集型推理方法由于问题分解粒度不够精细,无法同时支持多种知识源,导致推理准确度不高的问题,是自然语言处理及知识推理领域亟待解决的重要课题。


术实现思路

1、本专利技术提供一种基于原子知识算子的大语言模型异构知识推理方法及装置,用以克服现有知识密集型推理方法由于问题分解粒度不够精细,无法同时支持多种知识源,导致推理准确度不高的缺陷,实现更精确的推理结果。

2、一方面,本专利技术提供一种基于原子知识算子的大语言模型异构知识推理方法,包括:基于原始待解答问题,构建原子推理树;其中,所述原子推理树包括父节点和叶节点,所述父节点中的根节点为原始待解答问题,所述父节点中的非根节点为由原始待解答问题分解得到的不同层级子问题,所述叶节点为由原始待解答问题分解得到的原子问题,每一叶节点对应一个原子知识算子,所述原子知识算子包括搜索算子、关系算子以及过滤算子;对于叶节点,基于大语言模型和原子知识算子,根据检索-知识对原子问题进行推理;对于父节点,基于大语言模型,根据子节点推理答案、兄弟节点推理答案或检索-知识对子问题进行推理;对所述原子推理树从叶节点到根节点自下而上进行推理,得到原始待解答问题的推理结果;其中,所述检索-知识通过从多种异构知识源执行动态知识检索得到。

3、进一步地,所述基于原始待解答问题,构建原子推理树,包括:将原始待解答问题、问题解答需求、原子推理树的定义、原子知识算子信息、示例输入至大语言模型中,得到初始原子推理树;按照预设搜索顺序对初始原子推理树中的节点进行索引,并使用引用占位符表示子问题和原子问题的实际答案,以构建得到原子推理树。

4、进一步地,所述基于大语言模型和原子知识算子,根据检索-知识对原子问题进行推理,包括:将原子问题、待选的多种异构知识源及其对应的适用场景和示例输入至大语言模型中,得到目标知识源;根据原子问题及其对应原子知识算子的参数,在目标知识源中进行检索,得到目标检索-知识;将目标检索-知识和原子问题作为原子知识算子的输入,输出原子问题的推理结果;其中,异构知识源至少包括在线网页、文本语料以及结构化知识库。

5、进一步地,所述基于大语言模型,根据子节点推理答案、兄弟节点推理答案或检索-知识对子问题进行推理,包括:在子节点推理答案满足推理条件的情况下,将所述子节点推理答案和子问题输入至大语言模型,得到子问题的推理结果;在子节点推理答案不满足推理条件的情况下,但兄弟节点推理答案满足推理条件的情况下,将所述兄弟节点推理答案和子问题输入至大语言模型,得到子问题的推理结果;在子节点推理答案和兄弟节点推理答案均不满足推理条件的情况下,将检索-知识和子问题输入至大语言模型,得到子问题的推理结果。

6、进一步地,所述搜索算子以实体名称和可选实体描述符为输入,输出目标实体;所述关系算子以给定头实体和关系为输入,输出尾实体;或者,所述关系算子以给定头实体和属性为输入,输出属性值;或者,所述关系算子以给定头实体和尾实体为输入,输出头实体和尾实体之间的关系;所述过滤算子以实体集合和属性约束条件为输入,输出满足属性约束条件的实体。

7、进一步地,还包括:根据问题样本和多种异构知识源,构建评测数据集;以f1分数为评估指标,利用评测数据集对所述大语言模型异构知识推理方法进行验证;其中,所述f1分数为精确率和召回率的调和平均值。

8、第二方面,本专利技术还提供一种基于原子知识算子的大语言模型异构知识推理装置,包括:原子推理树构建模块,用于基于原始待解答问题,构建原子推理树;其中,所述原子推理树包括父节点和叶节点,所述父节点中的根节点为原始待解答问题,所述父节点中的非根节点为由原始待解答问题分解得到的不同层级子问题,所述叶节点为由原始待解答问题分解得到的原子问题,每一叶节点对应一个原子知识算子,所述原子知识算子包括搜索算子、关系算子以及过滤算子;异构知识推理模块,用于对于叶节点,基于大语言模型和原子知识算子,根据检索-知识对原子问题进行推理;对于父节点,基于大语言模型,根据子节点推理答案、兄弟节点推理答案或检索-知识对子问题进行推理;对所述原子推理树从叶节点到根节点自下而上进行推理,得到原始待解答问题的推理结果;其中,所述检索-知识通过从多种异构知识源执行动态知识检索得到。

9、第三方面,本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述的基于原子知识算子的大语言模型异构知识推理方法。

10、第四方面,本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的基于原子知识算子的大语言模型异构知识推理方法。

11、第五方面,本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的基于原子知识算子的大语言模型异构知识推理方法。

12、本专利技术提供的基于原子知识算子的大语言模型异构知识推理方法,通过基于原始待解答问题,构建原子推理树;其中,原子推理树包括父节点和叶节点,父节点中的根节点为原始待解答问题,父节点中的非根节点为由原始待解答问题分解得到的不同层级子问题,叶节点为由原始待解答问题分解得到的原子问题,每一叶节点对应一个原子知识算子,原子知识算子包括搜索算子、关系算子以及过滤算子;而后,对于叶节点,基于大语言模型和原子知识算子,根据检索-知识对原子问题进行推理;对于父节点,基于大语言模型,根据子节点推理答案、兄弟节点推理答案或检索-知识对子问题进行推理,以完成对原子推理本文档来自技高网...

【技术保护点】

1.一种基于原子知识算子的大语言模型异构知识推理方法,其特征在于,包括:

2.根据权利要求1所述的基于原子知识算子的大语言模型异构知识推理方法,其特征在于,所述基于原始待解答问题,构建原子推理树,包括:

3.根据权利要求1所述的基于原子知识算子的大语言模型异构知识推理方法,其特征在于,所述基于大语言模型和原子知识算子,根据检索-知识对原子问题进行推理,包括:

4.根据权利要求1所述的基于原子知识算子的大语言模型异构知识推理方法,其特征在于,所述基于大语言模型,根据子节点推理答案、兄弟节点推理答案或检索-知识对子问题进行推理,包括:

5.根据权利要求1所述的基于原子知识算子的大语言模型异构知识推理方法,其特征在于,

6.根据权利要求1-5中任一项所述的基于原子知识算子的大语言模型异构知识推理方法,其特征在于,还包括:

7.一种基于原子知识算子的大语言模型异构知识推理装置,其特征在于,包括:

8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于原子知识算子的大语言模型异构知识推理方法。

9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于原子知识算子的大语言模型异构知识推理方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于原子知识算子的大语言模型异构知识推理方法。

...

【技术特征摘要】

1.一种基于原子知识算子的大语言模型异构知识推理方法,其特征在于,包括:

2.根据权利要求1所述的基于原子知识算子的大语言模型异构知识推理方法,其特征在于,所述基于原始待解答问题,构建原子推理树,包括:

3.根据权利要求1所述的基于原子知识算子的大语言模型异构知识推理方法,其特征在于,所述基于大语言模型和原子知识算子,根据检索-知识对原子问题进行推理,包括:

4.根据权利要求1所述的基于原子知识算子的大语言模型异构知识推理方法,其特征在于,所述基于大语言模型,根据子节点推理答案、兄弟节点推理答案或检索-知识对子问题进行推理,包括:

5.根据权利要求1所述的基于原子知识算子的大语言模型异构知识推理方法,其特征在于,

6.根据权利要求1-5中任一项所述的基于原子知识算...

【专利技术属性】
技术研发人员:李涓子辛馨刘金鑫姚子俊李智诚侯磊
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1