一种基于层次注意力的知识图谱嵌入方法技术

本发明专利技术公开一种基于层次注意力的知识图谱嵌入方法，首先对多个实体和关系连接而成的关系路径依据关系连接跳数分层，然后将不同层次下的多个实体和关系构造为多阶三元组，再通过图注意力机制对每一个三元组分配注意力权重，最后中心节点汇聚来自各阶三元组包含的多层次信息，从而提升知识图谱嵌入效果。从而提升知识图谱嵌入效果。从而提升知识图谱嵌入效果。

【技术实现步骤摘要】
一种基于层次注意力的知识图谱嵌入方法


[0001]本专利技术涉及知识图谱
，具体涉及一种基于层次注意力的知识图谱嵌入方法。

技术介绍

[0002]知识工程作为人工智能的重要分支，是指计算机借助知识推理解决各类计算问题。知识图谱是知识工程的最新成果，资源描述框架(resource description framwork，RDF)中定义了三元组作为知识单元，三元组彼此相连形成庞大的知识图谱。随着工业界百科图谱和垂直领域图谱的不断完善，知识图谱已经从研究阶段走向应用领域，为人工智能应用如信息检索、推荐系统、智能问答等提供了技术支撑。
[0003]图嵌入技术通过学习知识图谱中节点和属性边的特征，将其表示为低维稠密向量。知识图谱嵌入(knowledge graph embedding，KGE)有利于知识的加工和使用。知识图谱嵌入的研究主要集中在对三元组内实体和关系的建模。当前的研究工作通常用一种相似性理论刻画实体和关系间的联系。目前，常用的图嵌入模型主要有张量分解模型、词向量翻译模型和卷积神经网络模型等。
[0004]张量分解模型如DistMult、ComplEx、SimplE，采用双线性积来描述实体和关系相似性，该类模型由于对所有潜在的三元组打分，故计算的时间复杂度较高。部分模型通过设置约束条件以简化计算量，但降低了嵌入效果。
[0005]词向量翻译模型如TransE、TransH、TransG是利用同一关系在向量空间中的平移不变性。该类模型将三元组解释为词空间中的三个词向量，头实体向量h在某一个特定关系r映射下，映射到尾实体向量t，即满足h+r＝t。然而现实中关系在实体间存在一对多、多对一、多对多等联系，这种关系映射存在表示不佳的情况。
[0006]卷积神经网络模型如ConvE、ConvR，利用卷积网络提取特征，设置多种特征提取的卷积核，提取到头实体h和关系r间的特征，其嵌入视角仅为卷积核的有效视野。传统的知识图谱嵌入方法集中在1阶三元组层次的建模，一个全局性的三元组嵌入建模方法很难使用在全局的实体和关系当中，而没有考虑到2阶以至多阶关系层次的信息。虽然基于图卷积神经网络(graph neural network，GCN)的图嵌入方法可以汇聚中心节点的1阶邻域特征，各节点再通过迭代突破层次的局限。通过这种从局部到全局的扩张策略，当迭代次数为n时，可以汇聚来自n阶关系的实体关系特征。但是每次迭代都要对所有节点更新邻域特征，计算量较大，并且在传播过程中经多次迭代，过程特征出现衰减现象。
[0007]由此可见，根据以上方法的相似性计算原理，很难扩展到多阶层次的嵌入表示，主要表现在两个方面：一是因为特征从1阶到多阶关系迭代过程存在衰减现象，二是围绕1阶层次的建模理论，扩展性差。而相比一阶信息，多阶层次中是一阶信息的组合，有更加丰富的层次关系。层次信息的有效表示，必然提升嵌入效果。

技术实现思路

[0008]本专利技术所要解决的是目前的知识图谱嵌入模型无法表示多层次信息的问题，提供一种基于层次注意力的知识图谱嵌入方法。
[0009]为解决上述问题，本专利技术是通过以下技术方案实现的：
[0010]一种基于层次注意力的知识图谱嵌入方法，该知识图谱的节点对应实体，节点相连的有向边对应关系；包括步骤如下：
[0011]步骤1、根据知识图谱的多阶三元组构建实体嵌入向量X；即：
[0012]步骤1.1、计算知识图谱的每个多阶三元组的向量表示
[0013][0014]步骤1.2、计算知识图谱的每个多阶三元组的注意力值
[0015][0016]步骤1.3、利用softmax归一化函数对知识图谱的每个多阶三元组的注意力值进行归一化，得到知识图谱的每个多阶三元组的注意力归一化值
[0017]步骤1.4、计算知识图谱的每个实体的嵌入表示
[0018][0019]步骤1.5、将知识图谱的所有实体的嵌入表示组成实体嵌入向量X；
[0020]步骤2、令初始的迭代次数t＝0，并采用正态分布随机初始化的方式构建初始的实体向量X0，其中初始的实体向量X0的维度与实体嵌入向量X的维度相同；
[0021]步骤3、令迭代次数t加1，并计算第t次迭代的实体向量X
t
；
[0022]X
t
＝W3X+X
t
‑1[0023]步骤4、计算第t次迭代的实体向量X
t
的最小化损失函数
[0024][0025]步骤5、判断最小化损失函数是否收敛：如果收敛，则第t次迭代的实体向量X
t
即为所求的知识图谱的最终实体向量；否则，转至步骤3；
[0026]式中，表示知识图谱中第i个实体的向量表示，表示知识图谱中第j个实体的向量表示，表示知识图谱中第k个层次深度为n的多阶关系的向量表示；表示多阶三元组的三元组向量表示，表示多阶三元组的注意力值，表示多阶三元组的注意力归
一化值，表示第i个实体的嵌入表示；X表示实体嵌入向量；X
t
表示第t次迭代的实体向量，X
t
‑1表示第t
‑
1次迭代的实体向量；||表示向量拼接，W1表示给定的第一线性变换矩阵，W2表示给定的第二线性变换矩阵，W3表示给定的第三线性变换矩阵；f
att
(
·
)表示给定的注意力驱动函数，σ(
·
)表示给定的激活函数；Q
i
表示第i个实体的最大层次深度；S表示知识图谱中有效多阶三元组组成的有效集合，S
′
表示通过置换知识图谱中有效多阶三元组的头实体和尾实体所得到的污染多阶三元组组成的污染集合；γ表示给定的损失边界；表示有效多阶三元组，表示污染多阶三元组；表示有效多阶三元组的得分函数，表示污染多阶三元组的得分函数；表示取与0中的较大值；||
·
||表示取绝对值；表示第t次迭代的实体向量X
t
中第i个实体的向量表示，表示第t次迭代的实体向量X
t
中第j个实体的向量表示，表示第t次迭代的实体向量X
t
中第k个层次深度为n的多阶关系的向量表示；表示第t次迭代的实体向量X
t
中第i
′
个实体的向量表示，表示第t次迭代的实体向量X
t
中第j
′
个实体的向量表示；i≠j，i,j＝1,2,
…
,M，M表示知识图谱中实体的总数；k＝1,2,
…
,N，N表示知识图谱中多阶关系的总数；n＝1,2,
…
；i
′
,j
′
＝1,2,
…
。
[0027]上述步骤5中，最小化损失函数收敛是指最小化损失函数在预定次数下均不发生改变。
[0028]与现有技术相比，本专利技术通过将多阶关系链路中的层次信息，结合注意力学习，并更新实体嵌入和关系嵌入向量，扩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于层次注意力的知识图谱嵌入方法，该知识图谱的节点对应实体，节点相连的有向边对应关系；其特征是，包括步骤如下：步骤1、根据知识图谱的多阶三元组构建实体嵌入向量X；即：步骤1.1、计算知识图谱的每个多阶三元组的向量表示步骤1.1、计算知识图谱的每个多阶三元组的向量表示步骤1.2、计算知识图谱的每个多阶三元组的注意力值步骤1.2、计算知识图谱的每个多阶三元组的注意力值步骤1.3、利用softmax归一化函数对知识图谱的每个多阶三元组的注意力值进行归一化，得到知识图谱的每个多阶三元组的注意力归一化值步骤1.4、计算知识图谱的每个实体的嵌入表示步骤1.4、计算知识图谱的每个实体的嵌入表示步骤1.5、将知识图谱的所有实体的嵌入表示组成实体嵌入向量X；步骤2、令初始的迭代次数t＝0，并采用正态分布随机初始化的方式构建初始的实体向量X0，其中初始的实体向量X0的维度与实体嵌入向量X的维度相同；步骤3、令迭代次数t加1，并计算第t次迭代的实体向量X
t
；X
t
＝W3X+X
t
‑1步骤4、计算第t次迭代的实体向量X
t
的最小化损失函数的最小化损失函数步骤5、判断最小化损失函数是否收敛：如果收敛，则第t次迭代的实体向量X
t
即为所求的知识图谱的最终实体向量；否则，转至步骤3；式中，表示知识图谱中第i个实体的向量表示，表示知识图谱中第j个实体的向量表示，表示知识图谱中第k个层次深度为n的多阶关系的向量表示；表示多阶三元组的三元组向量表示，表示多阶三元组的注意力值，表示多阶三元组的注意力归一化值，表示第i个实体的嵌入表示；X表示实体嵌入向量；X
t
表示第t次迭代的实体向量，X
t
‑1表示第t
‑
1次迭代的实体向量；||表示向量拼接，W1表示给...

【专利技术属性】
技术研发人员：李凤英，范伟豪，董荣胜，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：