System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及计算机,尤其涉及一种基于知识消歧的知识图谱扩充方法、系统、设备及介质。
技术介绍
1、知识图谱作为一种结构化的知识表示方式,可以较为直观、准确地表示概念体系。但随着知识的不断更新和领域的拓展,现有知识图谱往往难以覆盖全部概念。因此,对其进行扩充显得尤为重要。通过自然语言处理、机器学习等技术手段,可以从海量数据中提取有价值的信息,实现对知识图谱的有效扩充。这样的扩充不仅能提升知识图谱的完备性,更能提高其在实际应用中的效能。
2、目前,在对知识图谱的扩充时,获取的信息比较多,如果直接将其挂接到知识图谱中,会导致知识体系冗余,同时还会产生很大的计算量。
技术实现思路
1、本专利技术要解决的技术问题是为了克服现有技术中在对知识图谱的扩充时,获取的信息比较多,如果直接将其挂接到知识图谱中,会导致知识体系冗余,同时还会产生很大的计算量的缺陷,提供一种基于知识消歧的知识图谱扩充方法、系统、设备及介质。
2、本专利技术是通过下述技术方案来解决上述技术问题:
3、本专利技术提供了一种基于知识消歧的知识图谱扩充方法,所述基于知识消歧的知识图谱扩充方法包括:
4、获取目标文本数据和待扩充知识图谱;
5、基于知识抽取模型对所述目标文本数据进行知识抽取得到目标知识数据;
6、将所述目标知识数据进行聚类消歧处理,获得目标聚类簇;
7、选取所述目标聚类簇的聚类中心为目标知识节点;
8、将所述目标知识节点
9、本方案中,通过对自然语言文本进行知识抽取,并对该知识进行消歧聚类处理,避免语义重复、知识体系冗余,同时还能减小计算量,选取聚类中心作为新的知识节点扩充到知识图谱中,提升知识图谱的完备性,提高其在实际应用中的效能,整个知识图谱扩充流程完备,可信度高、可拓展性强。
10、较佳地,所述将所述目标知识数据进行聚类消歧处理,获得目标聚类簇,包括:
11、基于文本编码模型对所述目标知识数据进行向量化表征,得到至少一个目标向量;
12、通过密度聚类算法对所述目标向量进行聚类处理生成第一聚类簇;
13、采用谱聚类方法对所述第一聚类簇进行修正得到所述目标聚类簇。
14、本方案中,通过对目标知识数据进行消歧聚类处理,能最大化统一新增概念节点的语义信息,为后续与待扩充知识图谱中相关知识节点进行关联提供便利,避免歧义。
15、较佳地,所述通过密度聚类算法对所述目标向量进行聚类处理生成第一聚类簇,包括:
16、选取任一所述目标向量代表的点为圆心,以预设距离为半径形成目标区域,若所述目标区域中包含的所述目标向量的个数大于或等于预设个数,则所述目标区域中包含的所述目标向量为第二聚类簇;
17、以所述第二聚类簇中每个所述目标向量为圆心,以所述预设距离为半径形成判断区域,并对形成的所述判断区域依次进行递归判断;
18、当所述判断区域中所述目标向量的个数大于或等于所述预设个数,则所述判断区域中包含的所述目标向量形成新的第二聚类簇,直至每个所述判断区域中包含的所述目标向量的个数小于所述预设个数;
19、由所述新的第二聚类簇生成所述第一聚类簇。
20、本方案中,整个聚类消歧过程可以看作是聚类簇边界扩张的过程,直到遇到的边界稀疏为止,对于聚类结果中包含目标向量的数量过大的聚类簇,则需要减小领域半径,进行递归聚类,直至聚类簇内目标向量的数量小于预设值,这个过程是将没有进行细分的聚类簇,再次细分限缩范围。
21、较佳地,所述选取所述目标聚类簇的聚类中心为目标知识节点,包括:
22、采用抽取式算法和/或生成式算法选取所述目标聚类簇的聚类中心作为所述目标知识节点;
23、所述抽取式算法为最小距离表示法、平均距离表示法或最长公共子序列表示法;
24、所述生成式算法为大模型生成方法。
25、较佳地,所述基于知识抽取模型对所述目标文本数据进行知识抽取得到目标知识数据,包括:
26、基于大语言模型对所述目标文本数据进行预标注,形成知识抽取模版;
27、根据所述知识抽取模版利用所述知识抽取模型对所述目标文本数据进行知识抽取,得到所述目标知识数据。
28、本方案中,可以通过知识抽取模型对非结构化的知识文本进行处理,转化为结构化知识文本,并提取文本中的有效信息。
29、较佳地,将所述目标知识节点与所述待扩充知识图谱建立关联,包括:
30、基于大语言模型对所述目标知识节点进行知识扩充,生成知识定义文本;
31、基于所述知识定义文本与所述待扩充知识图谱确定所述目标知识节点对应的待扩充位置;
32、基于所述大语言模型的关系扩充方法构建所述目标知识节点与所述待扩充位置之间的关系。
33、本方案中,通过大语言模型确定目标知识节点与待扩充位置之间的关系,将新的知识节点扩充到知识图谱中,在提升知识图谱的完备性的同时,提高了知识图谱在实际应用中的效能。
34、较佳地,所述基于所述知识定义文本与所述待扩充知识图谱确定所述目标知识节点对应的待扩充位置,包括:
35、通过文本编码模型对所述知识定义文本进行向量化表征;
36、将向量化表征后的所述知识定义文本与所述待扩充知识图谱中包含的每个现有知识节点对应的语义向量进行向量相似度计算,确定所述待扩充位置;所述待扩充位置为向量相似度最高的现有知识节点的位置。
37、本方案中,将文本进行向量化表征,不仅能够提取文本的语义信息,实现文本数据的降维和压缩,提高计算效率,在确定待扩充位置的时候,可以通过计算文本向量之间的相似度来实现文本的检索,可以不依赖于语言的特定规则或语法结构。
38、较佳地,所述基于所述大语言模型的关系扩充方法构建所述目标知识节点与所述待扩充位置之间的关系,包括:
39、通过所述大语言模型构建提示语句;
40、基于所述提示语句输出所述目标知识节点与所述待扩充位置之间的关系名词,所述关系名词包括同位、从属和包含;
41、根据所述关系名词构建所述目标知识节点与所述待扩充位置之间的关系。
42、本专利技术还提供了一种基于知识消歧的知识图谱扩充系统,所述基于知识消歧的知识图谱扩充系统用于实现上述的基于知识消歧的知识图谱扩充方法,所述基于知识消歧的知识图谱扩充系统包括:
43、数据获取模块,用于获取目标文本数据和待扩充知识图谱;
44、目标知识数据抽取模块,用于基于知识抽取模型对所述目标文本数据进行知识抽取得到目标知识数据;
45、目标聚类簇获取模块,用于将所述目标知识数据进行聚类消歧处理,获得目标聚类簇;
46、目标知识节点生成模块,用于选取所述目标聚类簇的聚类中心为目标知识节点;
47、知本文档来自技高网...
【技术保护点】
1.一种基于知识消歧的知识图谱扩充方法,其特征在于,所述基于知识消歧的知识图谱扩充方法包括:
2.如权利要求1所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述将所述目标知识数据进行聚类消歧处理,获得目标聚类簇,包括:
3.如权利要求2所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述通过密度聚类算法对所述目标向量进行聚类处理生成第一聚类簇,包括:
4.如权利要求1所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述选取所述目标聚类簇的聚类中心为目标知识节点,包括:
5.如权利要求1所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述基于知识抽取模型对所述目标文本数据进行知识抽取得到目标知识数据,包括:
6.如权利要求1所述的基于知识消歧的知识图谱扩充方法,其特征在于,将所述目标知识节点与所述待扩充知识图谱建立关联,包括:
7.如权利要求6所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述基于所述知识定义文本与所述待扩充知识图谱确定所述目标知识节点对应的待扩充位置,包括:
8.如权
9.一种基于知识消歧的知识图谱扩充系统,其特征在于,所述基于知识消歧的知识图谱扩充系统用于实现权利要求1-8中任一项所述的基于知识消歧的知识图谱扩充方法,所述基于知识消歧的知识图谱扩充系统包括:
10.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-8任一所述的基于知识消歧的知识图谱扩充方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8任一所述的基于知识消歧的知识图谱扩充方法。
...【技术特征摘要】
1.一种基于知识消歧的知识图谱扩充方法,其特征在于,所述基于知识消歧的知识图谱扩充方法包括:
2.如权利要求1所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述将所述目标知识数据进行聚类消歧处理,获得目标聚类簇,包括:
3.如权利要求2所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述通过密度聚类算法对所述目标向量进行聚类处理生成第一聚类簇,包括:
4.如权利要求1所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述选取所述目标聚类簇的聚类中心为目标知识节点,包括:
5.如权利要求1所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述基于知识抽取模型对所述目标文本数据进行知识抽取得到目标知识数据,包括:
6.如权利要求1所述的基于知识消歧的知识图谱扩充方法,其特征在于,将所述目标知识节点与所述待扩充知识图谱建立关联,包括:
7.如权利要求6所述的基于知识消歧的知识图谱扩充方法,其特征在于,所述基于所述知识定义文本与...
【专利技术属性】
技术研发人员:夏天,王浩然,李帅帅,蔡华,徐清,杨小东,赵爽,
申请(专利权)人:华院计算技术上海股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。