基于OWKBC模型的知识库补全方法技术

本发明专利技术涉及一种基于OWKBC模型的知识库补全方法，包括以下步骤：步骤S1:获取知识库数据，并预处理，得到的实体对应的文本嵌入表示和图像嵌入表示；步骤S2：结合多模态知识编码器和TransE模型，构建基于翻译的多模态知识编码器；步骤S3:将实体的图像嵌入表示和文本嵌入表示输入到基于翻译的多模态知识编码器，得到实体和关系的嵌入表示;步骤S4:根据得到的实体和关系的嵌入表示输入到解码器中，获得实体和关系之间潜在的语义关系，完成知识库补全。本发明专利技术能够有效融合实体对应的图像信息和文本信息生成实体的嵌入表示，解决OOKB（Out

【技术实现步骤摘要】
基于OWKBC模型的知识库补全方法


[0001]本专利技术涉及一种基于OWKBC模型的知识库补全方法。

技术介绍

[0002]近些年来出现了各种各样的知识库补全方法，如基于概率图的方法、基于路径的方法、基于表示学习的方法等，其中基于表示学习的方法是目前知识库补全比较活跃的研究领域。表示学习的目标是通过深度学习或者机器学习，提取出研究对象有效特征并且将其对应的语义信息表示为稠密低维的嵌入向量。知识表示学习主要是学习实体和关系的分布式嵌入。
[0003]已有的表示学习模型根据所使用的信息可以分为基于结构知识的表示学习方法和融入外部模态信息的表示学习方法。其中基于结构知识的表示学习方法主要包括：1)基于翻译/平移的知识图表示学习方法，如TransE、TransH、TransR；2)基于张量/矩阵分解的方法，如RESCAL、DisMult、ComplEx等模型；3)基于神经网络的表示学习模型，如DSKG、ConvE、ConvKB、CapsE等。这类方法，在训练时只考虑独立三元组的信息，易受显式存储知识的限制，从而导致知识补全的效果不稳定。与基于结构知识的表示学习模型相比，融入外部信息的表示学习方法更加稳定，主要在于这类模型在对实体建模时，在结构知识中加入知识库之外的属性、文本描述或图像等模态信息。这些模态信息不仅包括知识库中含有的知识，而且包括一些三元组难以描述的知识，因此其能丰富和扩充已有的知识库，提供更加丰富和多样的语义信息。现有的模型根据所使用的辅助信息可以分为：1)融入文本信息的表示学习模型，如AKRL模型、DKRL模型、SSP模型、TEKE模型和Veira等提出的WWV、PE
‑
WWV和FeatureSum方法；2)融入图像的表示学习模型，如IKRL模型；3)融入多模态的表示学习模型，如MKBE模型和Mousselly等提出的基于多模态的翻译模型。
[0004]现有的知识表示学习方法在知识库补全工作上取得了显著的成功，但这些工作都基于一个封闭世界假设，即认为知识库是固定不变的，只能通过知识库中已存在的实体和关系去发现缺失的三元组。这就导致了基于封闭世界的知识库补全模型严重依赖于知识库的连通性，因此对于那些连通不良的实体，这些模型无法发挥其最优性能，对于新出现的实体即知识库之外的实体则无法生成对应的嵌入表示，只能重新训练模型。但事实是，现实世界的知识库发展得十分迅速，例如，DBPedia知识库在2015年10月到2016年4月增加了36340个新的实体，平均每天就会出现200个新的实体。显然那些需要频繁重新训练的模型是十分耗费精力。目前已有的针对开放世界知识库补全的方法，大多只用文本信息来编码这些新实体的嵌入表示，忽略了图像中所包含的丰富信息

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于OWKBC模型的知识库补全方法，解决OOKB(Out
‑
Of
‑
Knowledge
‑
Base)实体问题，完成开放世界下的知识库补全。
[0006]为实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于OWKBC模型的知识库补全方法，包括以下步骤：
[0008]步骤S1:获取知识库数据，并预处理，得到的实体对应的文本嵌入表示和图像嵌入表示；
[0009]步骤S2：结合多模态知识编码器和TransE模型，构建基于翻译的多模态知识编码器；
[0010]步骤S3:将实体的图像嵌入表示和文本嵌入表示输入到基于翻译的多模态知识编码器，得到实体和关系的嵌入表示；
[0011]步骤S4:根据得到的实体和关系的嵌入表示输入到解码器中，获得实体和关系之间潜在的语义关系，完成知识库补全。
[0012]进一步的，所述步骤S1具体为：
[0013]设定知识库KB＝(E,R,T)
[0014]其，E是实体的集合，R是关系的集合，T＝{(h,r,t)}是三元组的集合；
[0015]使用TransE算法对知识库中实体和关系进行预训练，得到头实体、关系和尾实体的结构嵌入表示；
[0016]对于文本描述，使用WordVectors模型、AutoExtend模型或PV
‑
DM模型对其进行预训练，得到文本描述对应的特征向量，将其作为实体对应的文本嵌入表示；
[0017]对于图像，用VGG神经网络对其进行预训练，得到每张图片的特征向量表示，然后使用若干图片特征向量的平均值或最大值或注意力相加值，作为实体对应的图像嵌入表示。
[0018]进一步的，所述基于翻译的多模态知识编码器包括多模态知识编码器和TransE模型。
[0019]进一步的，所述步骤S3具体为：
[0020]步骤S31:将预处理得到的实体对应的文本嵌入表示e
t
和图像嵌入表示e
i
，输入到MKE模块中得到实体基于多模态知识的编码e
multi
；
[0021]步骤S32:将关系嵌入表示v
r
和实体基于多模态的编码e
multi
输入到TransE模型中，通过最小化损失函数，对实体和关系的嵌入表示进行训练，最终得到实体和关系的嵌入表示。
[0022]进一步的，所述多模态知识编码器包括基于GRU的多模态知识编码器GRU
‑
MKE和基于门结构的多模态知识编码器Gate
‑
MKE
[0023]进一步的，所述GRU
‑
MKE编码器的输入为实体的文本嵌入表示和图像嵌入表示，其输出为实体基于多模态知识的编码，具体如下：
[0024]首先，将输入的文本嵌入表示和图像嵌入表示分别经过一个全连接层，得到降维后的文本嵌入表示和图像嵌入表示具体计算公式如(1)和(2)所示：
[0025]v
t
＝e
t
·
W
t
+b
t
ꢀꢀ
(1)
[0026]v
i
＝e
i
·
W
i
+b
i
ꢀꢀ
(2)
[0027]其中为全连接层可训练的参数；
[0028]使用降维后的文本嵌入表示v
t
和图像嵌入表示v
i
计算重置门控G
r
和更新门控G
u
的
状态；首先将文本嵌入表示v
t
和图像嵌入表示v
i
拼接，将其作为全连接层的输入；然后使用Sigmoid非线性函数将全连接层的输出映射到(0,1)区间，以此来得到门控信号；
[0029]重置门的计算过程如公式(3)所示，更新门的计算公式如(4)所示：
[0030]G
r
＝σ([v
t
；v
i
]·
W
r
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于OWKBC模型的知识库补全方法，其特征在于，包括以下步骤：步骤S1:获取知识库数据，并预处理，得到的实体对应的文本嵌入表示和图像嵌入表示；步骤S2：结合多模态知识编码器和TransE模型，构建基于翻译的多模态知识编码器；步骤S3:将实体的图像嵌入表示和文本嵌入表示输入到基于翻译的多模态知识编码器，得到实体和关系的嵌入表示；步骤S4:根据得到的实体和关系的嵌入表示输入到解码器中，获得实体和关系之间潜在的语义关系，完成知识库补全。2.根据权利要求1所述的基于OWKBC模型的知识库补全方法，其特征在于，所述步骤S1具体为：设定知识库KB＝(E,R,T)其，E是实体的集合，R是关系的集合，T＝{(h,r,t)}是三元组的集合；使用TransE算法对知识库中实体和关系进行预训练，得到头实体、关系和尾实体的结构嵌入表示；对于文本描述，使用WordVectors模型、AutoExtend模型或PV
‑
DM模型对其进行预训练，得到文本描述对应的特征向量，将其作为实体对应的文本嵌入表示；对于图像，用VGG神经网络对其进行预训练，得到每张图片的特征向量表示，然后使用若干张图片特征向量的平均值或最大值或注意力相加值，作为实体对应的图像嵌入表示。3.根据权利要求1所述的基于OWKBC模型的知识库补全方法，其特征在于，所述基于翻译的多模态知识编码器包括多模态知识编码器和TransE模型。4.根据权利要求3所述的基于OWKBC模型的知识库补全方法，其特征在于，所述步骤S3具体为：步骤S31:将预处理得到的实体对应的文本嵌入表示e
t
和图像嵌入表示e
i
，输入到MKE模块中得到实体基于多模态知识的编码e
multi
；步骤S32:将关系嵌入表示v
r
和实体基于多模态的编码e
multi
输入到TransE模型中，通过最小化损失函数，对实体和关系的嵌入表示进行训练，最终得到实体和关系的嵌入表示。5.根据权利要求3所述的基于OWKBC模型的知识库补全方法，其特征在于，所述多模态知识编码器包括基于GRU的多模态知识编码器GRU
‑
MKE和基于门结构的多模态知识编码器Gate
‑
MKE。6.根据权利要求5所述的基于OWKBC模型的知识库补全方法，其特征在于，所述GRU
‑
MKE编码器的输入为实体的文本嵌入表示和图像嵌入表示，其输出为实体基于多模态知识的编码，具体如下：首先，将输入的文本嵌入表示和图像嵌入表示分别经过一个全连接层，得到降维后的文本嵌入表示和图像嵌入表示具体计算公式如(1)和(2)所示：v
t
＝e
t
·
W
t
+b
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)v
i
＝e
i
·
W
i
+b
i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中为全连接层可训练的参数；
使用降维后的文本嵌入表示v
t
和图像嵌入表示v
i
计算重置门控G
r
和更新门控G
u
的状态；首先将文本嵌入表示v
t
和图像嵌入表示v
i
拼接，将其作为全连接层的输入；然后使用Sigmoid非线性函数将全连接层的输出映射到(0,1)区间，以此来得到门控信号；重置门的计算过程如公式(3)所示，更新门的计算公式如(4)所示：G
r
＝σ([v
t
；v
i
]
·
W
r
+b
r
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)G
u
＝σ([v
t
；v
i
]
·
W
u
+b
u
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中和分别为重置门全连接层的权重矩阵和偏参，和为更新门全连接层的权重矩阵和偏参，[；]表示拼接操作，σ表示Sigmoid激活函数；将重置门G
r
与输入的实体文本嵌入表示v
t
进行一个哈达玛积，来确定文本嵌入表示需要过滤和保留的信息；然后将过滤后的文本嵌入表示与图像嵌入表示v
i
进行一个拼接操作，经过一个线性变换，即右乘矩阵W
h
，再将变换后的结果输入到双曲正切激活函数tanh中，得到候选隐藏状态的嵌入计算过程如公式(5)所示其中为线性变换操作可训练的参数；更新门用于控制文本嵌入表示中有多少信息被写入到候选当前隐藏状态表示中，G
u
控制信号越接近1，表示被留下的信息越多，而越接近0则表示遗忘的越多；更新门的输出分别和文本嵌入表示以及候选隐藏状态的嵌入进行乘法操作，得到实体的隐藏层嵌入表示h，计算公式如(6)所示。最后将得到的实体隐藏层嵌入表示h，经过一个全连接层，得到实体基于多模态知识的编码，计算公式如(7)所示：e
multi
＝h
·
W
e
+b
e
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)其中为全连接层可训练的参数。7.根据权利要求5所述的基于OWKBC模型的知识库补全方法，其特征在于，所述基于Gate的多模态知识编码器GRU
‑
MKE输入为实体的文本嵌入表示和图像嵌入表示，输出为实体...

【专利技术属性】
技术研发人员：汪璟玢，苏华，
申请(专利权)人：福州大学，
类型：发明
国别省市：