基于关系超平面的时间感知翻译模型的关系预测方法技术

本发明专利技术涉及一种基于关系超平面的时间感知翻译模型的关系预测方法。该方法在实体嵌入的过程中运用关系映射的方法，兼顾实体、关系随时间演化的特点，实现了实体在不同的关系和时间下的特定角色表示、关系在不同的时间下的特定意义表示。本发明专利技术一方面解决了同一关系下由于时间冲突导致的预测错误问题，另一方面解决了复杂关系导致预测效率低下的问题。

Relationship prediction method of time aware translation model based on relation hyperplane

【技术实现步骤摘要】
基于关系超平面的时间感知翻译模型的关系预测方法
本专利技术涉及一种基于关系超平面的时间感知翻译模型的关系预测方法。
技术介绍
早期用于知识库补全的翻译模型有TransE模型，TransE模型为知识图谱中每个实体和关系学习对应的向量表示，把关系向量看做是头实体向量到尾实体向量的平移，也可以将该平移称为翻译。TransE模型因为高效简单而受到欢迎，但是在学习一些复杂的多源关系时，表现力不足，建模效果较差。因此有不少研究学者基于TransE模型提出了一系列扩展模型，如TransH模型、TransR模型、TransD模型等都试图在TransE模型的缺陷上有所改进。传统的翻译嵌入模型在时序知识图谱上处理效果不佳，这些模型在预测(person,？,location)时，它们都无法正确的预测是关系wasBornIn还是关系diedIn。随即，有学者提出时间感知翻译模型，t-TransE是第一个提出学习关系时序知识的模型，例如(wasBorn→wonPrize→diedIn)，该模型学习关系之间的时间顺序，并提出一个关系时序评分函数，但是没有考虑到知识的确切时间信息；Dasgupta和García-Durán则是实现了将时间嵌入到模型当中；García-Durán提出的基于递归神经网络的模型只考虑了关系随时间的演化过程，未考虑时间对于头尾实体的有效性；Dasgupta提出的HyTE模型将一个输入的知识图分割成多个静态子图，每个子图对应一个时间戳，然后将每个子图的实体和关系投影到特定时间戳的超平面上。HyTE模型在时序知识图谱上取得了较好的效果，但是HyTE模型在头尾实体随时间的演化过程中未考虑实体在关系中的角色演变，导致在多对一，多对多的关系上预测效率低。近年来，知识图谱嵌入领域越来越备受关注，由于存在事实仅在特定的时间点或时间段成立，开始有学者关注时序知识图谱并提出基于翻译思想的时间感知模型在时序知识图谱上做关系预测，但是这些模型未充分考虑到实体在关系和时间下的特定表示、关系在时间下的特定表示。为了提高预测准确性，本专利技术基于知识图谱的背景下，提出了一种基于关系超平面的时间感知翻译模型(Time-awaretranslationmodelbasedonrelationalhyperplane，简称TTRH模型)。该模型在实体嵌入的过程中运用了关系映射的方法，兼顾实体、关系随时间演化的特点，实现了实体在不同的关系和时间下的特定角色表示、关系在不同的时间下的特定意义表示。一方面解决了同一关系下由于时间冲突导致的预测错误问题，另一方面解决了复杂关系导致预测效率低下的问题。最后我们将关系类型约束和关系时间顺序约束显式的整合该到模型的嵌入空间中来提高关系预测准确率。
技术实现思路
本专利技术的目的在于提供一种基于关系超平面的时间感知翻译模型的关系预测方法，一方面解决了同一关系下由于时间冲突导致的预测错误问题，另一方面解决了复杂关系导致预测效率低下的问题。为实现上述目的，本专利技术的技术方案是：一种基于关系超平面的时间感知翻译模型的关系预测方法，在学习实体嵌入时把头实体s和尾实体o映射到对应的关系超平面wp上得到头实体s⊥和尾实体o⊥，后结合开始时间维度tb和事实的持续时间Δt，得到最后的头实体st和尾实体ot，实现同一个实体在不同的时间点和不同的关系下具有不同的角色意义；在学习关系p嵌入时结合开始时间维度tb和事实的持续时间Δt得到关系pt，实现同一个关系下在不同的时间点具有不同的含义，提高实体间存在复杂关系下的预测性能。在本专利技术一实施例中，还添加有类型约束和关系时序约束，进一步提高预测性能。在本专利技术一实施例中，对于一个四元组(s,p,o,t)，其中，t＝[tb,te]，该方法具体采用以下三种结合方式来将实体s和o以及关系p与开始时间维度tb、事实的持续时间Δt结合，其中，Δt＝|te-tb|：(1)加法：先将头尾实体映射到关系超平面上，然后通过加上时间维度的开始时间向量，并加上时间间隔向量，得到最后的头尾实体向量，关系则是直接加上时间维度的开始时间向量和时间间隔向量，得到最后的关系向量：pt＝p+tb+Δt(2)减法：:先将头尾实体映射到关系超平面上，然后通过减去时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接减去时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：pt＝p-tb+Δt(3)乘法：先将头尾实体映射到关系超平面上，后通过乘以时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接乘以时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：pt＝ptb+Δt。在本专利技术一实施例中，在一个有效的时间段里面，一个事实可以映射为st+pt≈ot，结合投影公式和评分公式，可得三种方式的具体评分公式分别如下：加法方式的评分公式：减法方式的评分公式：乘法方式的评分公式：||wp||2＝1，||Δt||2＝1对于正例四元组，f(s,p,o,t)得分越小越好，对于负例四元组，f(s,p,o,t)得分越大越好。在本专利技术一实施例中，将类型约束应用于时序知识图谱的四元组当中，对于属性A和关系R的负例采样方式具体如下：(1)属性类型约束负例采样，即谓语p∈A，在构建负例的时候则按照Type-constrainedTransE模型的方法，从Domainp域随机选取一个，用来替换原四元组的头实体构造负例；或通过从Rangep域的实体随机选取一个，用来替换原四元组的尾实体构造负例；对应的负例集合公式如下：(2)关系类型约束负例采样，即谓语p∈R，在构建负例时从Domainp域以外的实体随机选取一个，用来替换原四元组的头实体构造负例；或通过从Rangep域以外的实体随机选取一个，用来替换原四元组的尾实体构造负例；对应的负例集合公式如下：(3)无类型约束负例采样，构造负例在替换头尾实体时从实体集ε中采样，对应的负例集合公式如下：S't＝{(s',p,o,t)|s'∈ε}∪{(s,p,o',t)|o'∈ε}正例集合St则是从知识图谱中观察到的带有时间注解的正例四元组集合。在本专利技术一实施例中，为了区别正例四元组和负例四元组来学习嵌入，使用Marginbasedloss来实现优化目标：上式为损失函数，其中中，γ＞0，是防止过拟合的一个边缘超参数，用来分离正例和负例；在损失函数当中可以看出模型训练的时候希望正例四元组的损失函数越小，负例四元组的损失函数值越大，在训练过程中不断加大正例和负例的距离。在本专利技术一实施例中，将关系时序约束应用于时序知识图谱的四元组当中，关系时序的评分函数定义过程如下：给定任意一个正例四元组(si,pk,oj,tkb)∈St，可以找到与si相关的时间四元组(si,pl,o本文档来自技高网...

【技术保护点】
1.一种基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，在学习实体嵌入时把头实体s和尾实体o映射到对应的关系超平面w

【技术特征摘要】
1.一种基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，在学习实体嵌入时把头实体s和尾实体o映射到对应的关系超平面wp上得到头实体s⊥和尾实体o⊥，后结合开始时间维度tb和事实的持续时间Δt，得到最后的头实体st和尾实体ot，实现同一个实体在不同的时间点和不同的关系下具有不同的角色意义；在学习关系p嵌入时结合开始时间维度tb和事实的持续时间Δt得到关系pt，实现同一个关系下在不同的时间点具有不同的含义，提高实体间存在复杂关系下的预测性能。


2.根据权利要求2所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，还添加有类型约束和关系时序约束，进一步提高预测性能。


3.根据权利要求1所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，对于一个四元组(s,p,o,t)，其中，t＝[tb,te]，该方法具体采用以下三种结合方式来将实体s和o以及关系p与开始时间维度tb、事实的持续时间Δt结合，其中，Δt＝|te-tb|：
(1)加法：先将头尾实体映射到关系超平面上，然后通过加上时间维度的开始时间向量，并加上时间间隔向量，得到最后的头尾实体向量，关系则是直接加上时间维度的开始时间向量和时间间隔向量，得到最后的关系向量：






pt＝p+tb+Δt
(2)减法：:先将头尾实体映射到关系超平面上，然后通过减去时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接减去时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：






pt＝p-tb+Δt
(3)乘法：先将头尾实体映射到关系超平面上，后通过乘以时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接乘以时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：






pt＝ptb+Δt。


4.根据权利要求3所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，在一个有效的时间段里面，一个事实可以映射为st+pt≈ot，结合投影公式和评分公式，可得三种方式的具体评分公式分别如下：
加法方式的评分公式：



减法方式的评分公式：



乘法方式的评分公式：



||wp||2＝1，||Δt||2＝1
对于正例四元组，f(s,p,o,t)得分越小越好，对于负例四元组，f(s,p,o,t)得分越大越好。


5.根据权利要求1所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，将类型约束应用于时序知识图谱的四元组当中，对于属性A和关系R的负例采样方式具体如下：
(1)属性类型约束负例采样，即谓语p∈A，在构建负例的时候则按照Type-constrainedTransE模型的方法，从Domainp域随机选取一个，用来替换原四元组的头实体构造负例；或通过从Rangep域的实体随机选取一个，用来替换原四元组的尾实体构造负例；对应的负例集合公式如下：



(2)关系类型约束负例采样，即谓语p∈R，在构建负例时从Domainp域以外的实体随机选取一个，用来替换原四元组的头实体构造...

【专利技术属性】
技术研发人员：汪璟玢，周静平，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35