【技术实现步骤摘要】
本公开涉及知识图谱补全，具体涉及了一种基于实体描述和软提示增强的知识图谱补全方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、知识图谱是把所有不同种类的信息连接在一起而得到的一个关系网络。受限于知识图谱构建的技术难度，知识图谱普遍存在不完备的问题。现有的知识图谱补全方法包括传统的知识图谱嵌入方法和基于预训练语言模型的方法，传统的知识图谱嵌入方法的关键思想是在连续向量空间中嵌入包含实体和关系的知识图谱组件，以简化操作，同时保留知识图谱的固有结构。基于预训练语言模型的方法试图从语言模型中获取知识，通过对文本进行编码和理解，能更有效地捕捉到实体和关系的丰富语境信息。
3、近年来，将预训练语言模型应用于知识图谱补全任务是一个很有前途的方向。然而，目前基于预训练语言模型的方法只依赖于从语言模型参数中提取的信息，对一些特定的关系和实体，由于缺乏够的语义信息和上下文信息，使描述较为模糊，导致产生噪声和歧义。
技术实现思路
1、针对上述缺陷，本公开提出了一种基于实体描述和软提示增强的知识图谱补全方法及系统，通过引入实体描述和软提示来帮助模型更好地理解和推理知识图谱中的实体和关系，从而提高模型对知识图谱中实体相关信息的预测准确性，帮助模型更好地区分知识图谱中相似的实体关系。
2、为了实现上述目的，本公开采用如下技术方案：
3、本公开第一方面提供了一种基于实体描述和软提示增强的知识图谱补全方法，包括
4、获取待补全的知识图谱三元组，并将其转换为文本序列；
5、对文本序列中的实体描述进行编码，并利用软注意力机制来动态地调整实体描述中每个词的注意力权重，得到编码后的实体描述；
6、将文本序列中的实体关系转换为关系嵌入矩阵，利用关系嵌入矩阵和令牌序列生成软提示；
7、将编码后的实体描述和软提示与文本序列相连接，得到实体表示，利用实体表示对语言模型进行训练，使交叉熵损失最小；
8、利用训练好的模型进行知识图谱补全。
9、作为进一步的实现方式，对文本序列中的实体描述进行编码，具体为：
10、将文本序列中的实体描述转换为词嵌入矩阵，将词嵌入矩阵与位置嵌入矩阵相结合，得到第一向量表示，对第一向量表示进行操作，得到第二向量表示。
11、作为进一步的实现方式，对第一向量表示进行操作，具体为：
12、计算第一向量表示中每个令牌与序列中其他令牌的关联程度，并根据这种关联调整令牌的表示，并对每个位置的令牌进行独立的全连接神经网络计算。
13、作为进一步的实现方式，利用软注意力机制来动态地调整实体描述中每个词的注意力权重，具体为：
14、通过打分函数来计算每个输入向量和查询向量之间的相关性，使用注意力变量来表示被选变量的索引位置，计算给定查询向量和输入向量下的注意力权重分布，将每个输入向量与对应的权重相乘，并将结果相加，得到编码后的实体描述。
15、作为进一步的实现方式，所述软提示为一组可训练的嵌入，能够嵌入到文本序列中，为实体和关系添加额外的可训练提示。
16、作为进一步的实现方式，将软提示与关系嵌入连接起来，得到连接后的矩阵，将连接后的矩阵再次与输入序列连接。
17、作为进一步的实现方式，所述交叉熵损失是语言模型的输出结果相对于训练数据向量的交叉熵损失。
18、本公开第二方面提供了一种基于实体描述和软提示增强的知识图谱补全系统，包括：
19、数据获取模块，被配置为：获取待补全的知识图谱三元组，并将其转换为文本序列；
20、实体编码模块，被配置为：对文本序列中的实体描述进行编码，并利用软注意力机制来动态地调整实体描述中每个词的注意力权重，得到编码后的实体描述；
21、软提示生成模块，被配置为：将文本序列中的实体关系转换为关系嵌入矩阵，利用关系嵌入矩阵和令牌序列生成软提示；
22、模型训练模块，被配置为：将编码后的实体描述和软提示与文本序列相连接，得到实体表示，利用实体表示对语言模型进行训练，使交叉熵损失最小；
23、输出模块，被配置为：利用训练好的模型进行知识图谱补全。
24、本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现本公开第一方面所述的一种基于实体描述和软提示增强的知识图谱补全方法中的步骤。
25、本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现本公开第一方面所述的一种基于实体描述和软提示增强的知识图谱补全方法中的步骤。
26、与现有技术相比，本公开的有益效果为：
27、本公开所提出的一种基于实体描述和软提示增强的知识图谱补全方法，引入了实体描述，通过t5模型对实体描述进行编码，然后利用软注意力机制对不同部分的描述赋予不同的注意力权重，使模型能够更有效地捕捉到描述中的重要信息，从而提高模型的性能。加入了软提示，利用提示生成器生成软提示，然后将实体的关系嵌入与软提示连接起来，软提示通过提供额外的引导信息，帮助模型区分相似的实体关系。将三元组信息、实体描述信息以及软提示信息结合，利用t5模型进行训练，提升了链接预测的准确性。
本文档来自技高网...【技术保护点】
1.基于实体描述和软提示增强的知识图谱补全方法，其特征在于，包括以下步骤：
2.如权利要求1中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，对文本序列中的实体描述进行编码，具体为：
3.如权利要求2中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，对第一向量表示进行操作，具体为：
4.如权利要求2中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，利用软注意力机制来动态地调整实体描述中每个词的注意力权重，具体为：
5.如权利要求1中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，所述软提示为一组可训练的嵌入，能够嵌入到文本序列中，为实体和关系添加额外的可训练提示。
6.如权利要求5中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，将软提示与关系嵌入连接起来，得到连接后的矩阵，将连接后的矩阵再次与输入序列连接。
7.如权利要求1中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，所述交叉熵损失是语言模型的输出结果相对于训练数据向量
8.基于实体描述和软提示增强的知识图谱补全系统，其特征在于，包括：
9.一种介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于实体描述和软提示增强的知识图谱补全方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于实体描述和软提示增强的知识图谱补全方法中的步骤。
...【技术特征摘要】
1.基于实体描述和软提示增强的知识图谱补全方法，其特征在于，包括以下步骤：
2.如权利要求1中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，对文本序列中的实体描述进行编码，具体为：
3.如权利要求2中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，对第一向量表示进行操作，具体为：
4.如权利要求2中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，利用软注意力机制来动态地调整实体描述中每个词的注意力权重，具体为：
5.如权利要求1中所述的基于实体描述和软提示增强的知识图谱补全方法，其特征在于，所述软提示为一组可训练的嵌入，能够嵌入到文本序列中，为实体和关系添加额外的可训练提示。
6.如权利要求5中所述的基于实体描述和软提示...
【专利技术属性】
技术研发人员：姜雪松，衣凤阁，尉秀梅，刘晓菁，丁浩润，张天鹏，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。