基于变分推断和张量神经网络的知识库补全方法技术

本发明专利技术公开了一种基于变分推断和张量神经网络的知识库补全方法，在知识库补全方法中引入了张量分解思想和贝叶斯框架，考虑了隐含变量的先验知识，探讨了隐含变量两两之间的相互作用，并用神经网络进行了非线性的表达，增加了对不确定性的考虑，较为明显的提高了知识库补全方法的精度，与现有的技术相比有了较大的提升。

Complete the method for knowledge base variational inference and tensor based on Neural Network

The invention discloses a knowledge base complementary method of variational inference and tensor based on neural network, the method of knowledge base complete introduced tensor decomposition thought and Bias framework, considering the latent variables of prior knowledge, discussed the interaction between the 22 latent variables, and a nonlinear expression increased by neural network. The consideration of uncertainties, obviously improves the accuracy of the method for knowledge base completion, comparing with existing techniques have been greatly improved.

【技术实现步骤摘要】

本专利技术属于知识库补全
，具体涉及一种基于变分推断和张量神经网络的知识库补全方法的设计。
技术介绍
知识库补全是知识库中一个重要的研究课题，在问答系统，信息检索等一些应用中扮演着重要的角色。知识库用三元组(subject，relation，object)表示数据信息，是一种揭示实体之间的语义网络，虽然存储着海量的信息，但有相当大的一部分信息是缺失的，隐含在其中，所以当用户进行搜索时，可能发出的请求在知识库中不能找到相对应的答案，为了解决这一问题，相关研究者基于已经存在的三元组，提出了一系列的学习算法，来增强用户的搜索体验。目前已有的学习算法有Rescal，NTN，transE，transR等等，Rescal算法是较早的一个模型，考虑的是成对实体之间的简单的交互信息，transE模型是一个三角形模型，根据实体差和关系的距离来对知识库进行补全，NTN(Neural Tensor Networks，张量神经网络)算法提出了神经网络的思想，成对考虑的是实体之间在关系的每个维度上的交互信息，包括一阶信息，二阶信息和三阶信息，较之前模型相对复杂，尽管这些算法很成功，但是这些模型都没有探讨实体，关系两两成对的交互，同时忽略了实体和关系的先验知识，即没有引入贝叶斯的框架，而他们的先验知识对模型的准确性有很重要的作用，同时他们不擅长对不确定三元组的预测建模。
技术实现思路
本专利技术的目的是为了解决现有的知识库补全技术忽略了实体和关系的先验知识，并且没有考虑隐含变量之间成对的互交信息的问题，提出了一种基于变分推断和张量神经网络的知识库补全方法。本专利技术的技术方案为：基于变分推断和张量神经网络的知识库补全方法，包括以下步骤：S1、根据知识库中的三元组(ei,ej,rk)，构造张量Y；S2、根据张量Y，在一个隐含张量X的条件下构造一个似然函数p(Y|X)；S3、将隐含张量X中的每个元素xijk用两层神经网络表示；S4、给三元组(ei,ej,rk)中的隐含实体变量和隐含关系变量一个高斯先验；S5、根据贝叶斯框架，假设三元组(ei,ej,rk)中的隐含实体变量和隐含关系变量的后验分布为高斯分布；S6、根据变分推断，最大化ELOB来近似后验高斯分布，采用SGVB方法优化ELOB，并用随机梯度求解。进一步地，步骤S1具体为：假设知识库中的实体个数为N，关系个数为M，构造的张量Y∈RN×N×M，RN×N×M为维数是N×N×M的三维实数空间；若知识库中三元组(ei,ej,rk)存在，则张量Y的各维度上的下标对应的元素yijk为1，否则yijk为0。进一步地，步骤S2具体为：根据张量Y，在一个隐含张量X的条件下构造一个似然函数p(Y|X)： p ( Y | X ) = Π i = 1 N Π j = 1 N Π k = 1 M [ B e r ( y i j k | σ ( x i j k ; α ) ) ] I i j k - - - ( 1 ) ]]>其中Ber(yijk|σ(xijk；α))是伯努利分布，它的均值是σ(xijk；α)，而σ(xijk；α)是sigmoid函数，具体形式为Iijk是一个指示变量，三元组(ei,ej,rk)在训练数据中存在的话，Iijk值为1，否则Iijk值为0。进一步地，步骤S3具体为：将隐含张量X中的每个元素xijk用两层神经网络表示，具体表示为：xijk＝wThijk+b0 (2)其中w为权重向量，b0表示一个线性偏差；ei,ej,rk∈Rd×1,b∈RK×1,w∈RK×d,W1,W2,W3∈RK×d，K为关系用向量表示之后的维度，d为实体用向量表示之后的维度；是神经网络表示中的权重和偏差；f(·)是激活函数。进一步地，步骤S4具体为：三元组(ei,ej,rk)中每个隐含实体变量和每个隐含关系变量都有先验知识，假设隐含实体变量和隐含关系变量均为高斯分布，具体形式如下： p ( e i | μ i , λ i ) = N ( e i | μ E , d i a g ( λ E - 1 ) ) - - - ( 3 ) ]]> p ( r k | μ k , λ k ) = N ( r k | μ R , d i a g ( 本文档来自技高网...

【技术保护点】
基于变分推断和张量神经网络的知识库补全方法，其特征在于，包括以下步骤：S1、根据知识库中的三元组(ei,ej,rk)，构造张量Y；S2、根据张量Y，在一个隐含张量X的条件下构造一个似然函数p(Y|X)；S3、将隐含张量X中的每个元素xijk用两层神经网络表示；S4、给三元组(ei,ej,rk)中的隐含实体变量和隐含关系变量一个高斯先验；S5、根据贝叶斯框架，假设三元组(ei,ej,rk)中的隐含实体变量和隐含关系变量的后验分布为高斯分布；S6、根据变分推断，最大化ELOB来近似后验高斯分布，采用SGVB方法优化ELOB，并用随机梯度求解。

【技术特征摘要】
1.基于变分推断和张量神经网络的知识库补全方法，其特征在于，包括以下步骤：S1、根据知识库中的三元组(ei,ej,rk)，构造张量Y；S2、根据张量Y，在一个隐含张量X的条件下构造一个似然函数p(Y|X)；S3、将隐含张量X中的每个元素xijk用两层神经网络表示；S4、给三元组(ei,ej,rk)中的隐含实体变量和隐含关系变量一个高斯先验；S5、根据贝叶斯框架，假设三元组(ei,ej,rk)中的隐含实体变量和隐含关系变量的后验分布为高斯分布；S6、根据变分推断，最大化ELOB来近似后验高斯分布，采用SGVB方法优化ELOB，并用随机梯度求解。2.根据权利要求1所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S1具体为：假设知识库中的实体个数为N，关系个数为M，构造的张量Y∈RN×N×M，RN×N×M为维数是N×N×M的三维实数空间；若知识库中三元组(ei,ej,rk)存在，则张量Y的各维度上的下标对应的元素yijk为1，否则yijk为0。3.根据权利要求2所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S2具体为：根据张量Y，在一个隐含张量X的条件下构造一个似然函数p(Y|X)： p ( Y | X ) = Π i = 1 N Π j = 1 N Π k = 1 M [ B e r ( y i j k | σ ( x i j k ; α ) ) ] I i j k - - - ( 1 ) ]]>其中Ber(yijk|σ(xijk；α))是伯努利分布，它的均值是σ(xijk；α)，而σ(xijk；α)是sigmoid函数，具体形式为Iijk是一个指示变量，三元组(ei,ej,rk)在训练数据中存在的话，Iijk值为1，否则Iijk值为0。4.根据权利要求3所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S3具体为：将隐含张量X中的每个元素xijk用两层神经网络表示，具体表示为：xijk＝wThijk+b0 (2)其中w为权重向量，b0表示一个线性偏差；ei,ej,rk∈Rd×1,b∈RK×1,w∈RK×d,W1,W2,W3∈RK×d，K为关系用向量表示之后的维度，d为实体用向量表示之后的维度；是神经网络表示中的权重和偏差；f(·)是激活函数。5.根据权利要求4所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S4具体为：三元组(ei,ej,rk)中每个隐含实体变量和每个隐含关系变量都有先验知识，假设隐含实体变量和隐含关系变量均为高斯分布，具体形式如下： p ( e i | μ i , λ i ) = N ( e i | μ E , d i a g ( λ E - 1 ) ) - - - ( 3 ) ]]> p ( r k | μ k , λ k ) = N ( r k | μ R , d i a g ( λ R - 1 ) ) - - - ( 4 ) ]]>其中，p(·)为先验的概率密度函数，N(·)为高斯分布的概率密度函数；μi,λi分别表示ei的先验概率密度函数的参数，其值分别为μE,μk,λk分别表示rk的先验概率密度函数的参数，其值分别为μR,分别表示高斯分布的协方差矩阵。6.根据权利要求5所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S5具体为：根据贝叶斯框架，三元组(ei,ej,rk)中每个隐含实体变量和每个隐含关系变量的后验分布服从高斯分布，具体形式如下： q ( e i | μ ~ i , λ ~ i ) = N ( e i | μ ~ i , d i a g ( λ ~ i - 1 ) ) - - - ( 5 ) ]]> q ( r k | μ ~ k , λ ~ k ) = N ( r k | μ ~ k , d i a g ( λ ~ k - 1 ) ) - - - ( 6 ) ]]>其中，q(·)为后验的概率密度函数，N(·)为高斯分布的概率密度函数；分别表示ei的后验概率密度函数的参数，分别表示rk的后验概率密度函数的参数；分别表示高斯分布的协方差矩阵。7.根据权利要求6所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S6具体为：根据变分推断，近似后验高斯分布的时候需要最大化下界ELOB，表示为：logp(xi|θ)≥L(q(z|xi,φ),θ) (7)其中xi代表的是第i个数据，L(·)代表的是最大化下界ELOB函数，θ为ELOB的参数，z表示隐含变量，φ为z后验概率密度函数的参数； L ( q ( z | x i , φ ) , θ ) = - K L ( q ( z | x i , φ ) | | p ( z | θ ) ) + E q ( z | x i , φ ) [ log q ( z | x i , φ ) ] - - - ( 8 ) ]]>采用SGVB方法将ELOB第二项期望项进行简化，引入一个可微的转换和噪声ε，形式如下：z＝gφ(ε),ε～p(ε)，则公式(8)可重新表示为： L ( q ( z | x i , φ ) , θ ) = 1 L Σ l = 1 L log p ( x i | z ( i , l ) , θ ) - K L ( q ( z | x i , φ ) | | p ( z | θ ) ) - - - ...

【专利技术属性】
技术研发人员：徐增林，贺丽荣，刘斌，李广西，盛泳潘，王雅芳，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51