System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及实体链接,尤其涉及一种基于大语言模型的实体链接方法、装置、设备及存储介质。
技术介绍
1、通常,实体链接由两个部分组成:候选词生成模块和实体消歧模块,前者的目的是从知识库中选择一个合适的命名实体子集,该子集可以与输入文本中给定文本实体类型相关联。然后将这组候选实体子集交给后一个模块,后者的目标是对实体类型选择并分配最合适的实体。现有研究表明,学习到更好的实体类型与实体的语义表示是提高上述两个模块组成和获得更好结果的关键。于是,实体链接技术发展从规则匹配、到表示学习、再到神经网络的应用,都是为了更好的学习到知识图谱中实体、实体类型以及实体关系构成的子图的丰富信息。然而,现有的实体链接一个共同的问题是为了实体链接表现更好需要大量的训练数据,通常是数百万的已标注语料,这使得高性能的实体链接技术开发可能受到数据和硬件资源的影响。
2、所以研发出一种基于大语言模型的实体链接方法、装置、设备及存储介质来解决上述问题。
技术实现思路
1、本专利技术提出一种基于大语言模型的实体链接方法、装置、设备及存储介质,以解决现有实体链接方法需要大量训练数据的问题。
2、本专利技术通过以下技术方案来实现上述目的:
3、本专利技术一种基于大语言模型的实体链接方法,包括:
4、构建问题文本和知识图谱;
5、根据所述知识图谱中的实体计算所述知识图谱中实体的实体嵌入表示和一阶子图嵌入表示;
6、对所述问题文本进行编码,得到文本嵌入表
7、将所述实体嵌入表示和一阶子图嵌入表示进行拼接,得到嵌入表示拼接;
8、对所述知识图谱中所有实体对应的所述嵌入表示拼接和所述文本嵌入表示依次进行相似度计算,得到相似度计算结果;
9、根据所述相似度计算结果,基于argmax函数对所述知识图谱中所有实体进行筛选,输出预设数量个相似度计算结果排名靠前的所述问题文本中实体作为候选实体;
10、将所述候选实体输入大语言模型,输出与所述问题文本中的实体最相关的候选实体。
11、进一步地,根据所述知识图谱的知识嵌入表示得到实体嵌入表示和一阶子图嵌入表示,包括:
12、通过glove模型对所述知识图谱的实体进行嵌入表示;
13、通过基于关系的图注意力网络对所述知识图谱的实体进行学习,得到一阶子图嵌入表示学习。
14、进一步地,对于实体的实体嵌入表示计算公式如下:
15、
16、通过基于关系的图注意力网络对所述知识图谱的实体进行学习的计算公式如下:
17、
18、其中,表示实体在该层的一阶子图嵌入表示,表示relu激活函数,表示的邻居实体集合,表示实体和的关系变换矩阵。为了将实体嵌入投影到不同的关系上,并构建关系特定的嵌入,的计算方式如下:
19、
20、其中,i为单位矩阵,表示实体和的关系嵌入表示,t表示转置,表示实体和的注意力系数,计算方式如下:
21、
22、其中表示实体和的互补边嵌入表示,,表示第u个实体的嵌入表示,表示二维矩阵,t表示转置。
23、进一步地,对所述问题文本进行编码,得到文本嵌入表示的计算公式如下:
24、
25、表示文本嵌入表示,表示问题文本。
26、进一步地,根据所述相似度计算结果,基于argmax函数对所述知识图谱中所有实体进行筛选,输出预设数量个相似度计算结果排名靠前的所述问题文本中实体作为候选实体的计算公式如下:
27、
28、其中,表示实体嵌入表示和一阶子图嵌入表示的嵌入表示拼接,sim表示相似度计算,argmax表示取前k个相似度计算结果对应的所述知识图谱的实体,k为预设值,表示所述候选实体。
29、进一步地,将所述候选实体输入大语言模型,输出与所述实体最相关的候选实体的计算公式为:
30、
31、其中,表示大语言模型推理,表示所有所述候选实体,表示与所述问题文本中的实体最相关的候选实体。
32、本专利技术还提供了一种基于大语言模型的实体链接装置,包括:
33、构建模块,所述构建模块用于构建问题文本和知识图谱;
34、第一计算模块,所述第一计算模块用于根据所述知识图谱中的实体计算所述知识图谱中实体的实体嵌入表示和一阶子图嵌入表示;
35、编码模块,所述编码模块用于对所述问题文本进行编码,得到文本嵌入表示;
36、拼接模块,所述拼接模块用于将所述实体嵌入表示和一阶子图嵌入表示进行拼接,得到嵌入表示拼接;
37、第二计算模块,所述第二计算模块用于对所述知识图谱中所有实体对应的所述嵌入表示拼接和所述文本嵌入表示依次进行相似度计算,得到相似度计算结果;
38、筛选模块,所述筛选模块用于根据所述相似度计算结果,基于argmax函数对所述知识图谱中所有实体进行筛选,输出所述问题文本中实体对应的候选实体;
39、输出模块,所述输出模块用于将所述候选实体输入大语言模型,输出与所述问题文本中的实体最相关的候选实体。
40、本专利技术还提供了一种基于大语言模型的实体链接设备,包括:
41、存储器,用于存储计算机程序;
42、处理器,用于执行所述计算机程序时实现如所述一种基于大语言模型的实体链接方法的步骤。
43、本专利技术还提供了一种存储介质,所述存储介质为可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如所述一种基于大语言模型的实体链接方法的步骤。
44、本专利技术的有益效果在于:
45、本专利技术提出的一种基于大语言模型的实体链接方法、装置、设备及存储介质解决了在以文本到知识图谱的实体链接角度出发,通常需要经过模型对文本进行实体识别,对实体进行候选实体查找,候选实体消歧等过程,同时需要大量的知识图谱对齐数据进行训练的问题。与传统方法相比,本方法避免了需要额外模型进行实体识别,实体消歧操作,避免了进行大量数据训练。
本文档来自技高网...【技术保护点】
1.一种基于大语言模型的实体链接方法,其特征在于,包括:
2.根据权利要求1所述的一种基于大语言模型的实体链接方法,其特征在于,根据所述知识图谱的知识嵌入表示得到实体嵌入表示和一阶子图嵌入表示,包括:
3.根据权利要求2所述的一种基于大语言模型的实体链接方法,其特征在于,对于实体的实体嵌入表示计算公式如下:
4.根据权利要求1所述的一种基于大语言模型的实体链接方法,其特征在于,对所述问题文本进行编码,得到文本嵌入表示的计算公式如下:
5.根据权利要求4所述的一种基于大语言模型的实体链接方法,其特征在于,根据所述相似度计算结果,基于argmax函数对所述知识图谱中所有实体进行筛选,输出预设数量个相似度计算结果排名靠前的所述问题文本中实体作为候选实体的计算公式如下:
6.根据权利要求1所述的一种基于大语言模型的实体链接方法,其特征在于,将所述候选实体输入大语言模型,输出与所述实体最相关的候选实体的计算公式为:
7.一种基于大语言模型的实体链接装置,其特征在于,包括:
8.一种基于大语言模型的实体链接设
9.一种存储介质,其特征在于,所述存储介质为可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述一种基于大语言模型的实体链接方法的步骤。
...【技术特征摘要】
1.一种基于大语言模型的实体链接方法,其特征在于,包括:
2.根据权利要求1所述的一种基于大语言模型的实体链接方法,其特征在于,根据所述知识图谱的知识嵌入表示得到实体嵌入表示和一阶子图嵌入表示,包括:
3.根据权利要求2所述的一种基于大语言模型的实体链接方法,其特征在于,对于实体的实体嵌入表示计算公式如下:
4.根据权利要求1所述的一种基于大语言模型的实体链接方法,其特征在于,对所述问题文本进行编码,得到文本嵌入表示的计算公式如下:
5.根据权利要求4所述的一种基于大语言模型的实体链接方法,其特征在于,根据所述相似度计算结果,基于argmax函数对所述知识...
【专利技术属性】
技术研发人员:胡佳,余安东,张磊,曾山松,朱鑫平,严靖宣,
申请(专利权)人:电信科学技术第五研究所有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。