一种基于神经网络模型的文本实体间关系预测方法技术

本发明专利技术公开的基于神经网络模型的文本实体间关系预测方法，涉及文本处理技术领域，通过将文本输入双向长短期记忆BI

【技术实现步骤摘要】
一种基于神经网络模型的文本实体间关系预测方法


[0001]本专利技术涉及文本处理
，具体涉及一种基于神经网络模型的文本实体间关系预测方法。

技术介绍

[0002]在中文的自然语言处理中，实体关系抽取是指针对一段随机的文本，识别出文本中的实体并抽取出命名实体之间的关系。所谓实体，就是指文本中出现的时间，地点等；所谓关系就是指实体之间存在的语义联系。
[0003]目前的实体关系预测方法大部分都是采用流水线的方式进行，如输入一个句子，先进行实体识别，然后将实体两两组合，再进行关系抽取。这种方法存在以下缺点：
[0004](1)实体识别模块的错误选择会影响到关系抽取的性能，导致错误率较高；
[0005](2)不能提取两个子任务之间的关系，如针对文本“任正非受雇于华为”，任正非和华为存在雇佣关系，可以知道一个实体属于组织类型，后一个实体属于人物类型，但流水线无法利用这种信息，适用性不强；
[0006](3)会产生冗余信息，对实体识别出来的实体两两配对，再进行关系抽取，没有关系的实体对会带来多余的信息，错误率较高。

技术实现思路

[0007]为解决现有技术的不足，本专利技术实施例提供了一种基于神经网络模型的文本实体间关系预测方法，该方法包括以下步骤：
[0008]将文本输入双向长短期记忆BI-LSTM模型，得到所述文本中的多个实体；
[0009]将所述多个实体分别输入卷积神经网络CNN模型，得到各个实体对应的特征向量；
[0010]将处于两个实体左边的词及右边的词分别输入BI-LSTM模型，得到处于所述两个实体左边词的特征向量f
left
和处于所述两个实体右边词的特征向量f
right
，以独热编码one-hot特征向量f
dist
表示两个实体间的距离信息；
[0011]将处于所述两个实体之间的词输入CNN模型，得到两个实体之间词的特征向量f
mid
；
[0012]将f
e1
、f
e2
、f
mid
、f
left
、f
right
、f
dist
拼接为一个向量输入前馈神经网络模型，得到所述两个实体之间关系的多个标签及各个标签对应的概率值，其中，f
e1
、f
e2
分别为所述两个实体对应的特征向量；
[0013]将概率值最大的标签作为文本中两个实体之间的关系。
[0014]优选地，将文本输入双向长短期记忆BI-LSTM模型，得到所述文本中的多个实体包括：
[0015]将所述文本中的各个词输入Bi-LSTM模型的隐含层，得到的向量与所述向量的标签对应的独热编码one-hot特征向量拼接起来，得到所述文本中的多个实体。
[0016]优选地，所述方法还包括：
[0017]使用dropout算法对BI-LSTM模型进行正则化并利用Adadelta优化器，优化BI-LSTM模型的损失函数。
[0018]优选地，所述方法还包括：
[0019]使用dropout算法对前馈神经网络模型进行正则化并利用Adadelta算法，优化前馈神经网络模型的损失函数。
[0020]优选地，所述前馈神经网络模型为多层感知机。
[0021]本专利技术实施例提供的基于神经网络模型的文本实体间关系预测方法，具有以下有益效果：
[0022]利用长短期记忆BI-LSTM模型及卷积神经网络CNN模型，分别获取各个实体及各个实体对应的特征向量，利用向量输入前馈神经网络模型预测实体之间的关系，提高了文本实体间关系预测的准确性及适用性。
具体实施方式
[0023]以下结合具体实施例对本专利技术作具体的介绍。
[0024]本专利技术提供的实施例提供的基于神经网络模型的文本实体间关系预测方法，包括以下步骤：
[0025]S101，将文本输入双向长短期记忆BI-LSTM模型，得到文本中的多个实体。
[0026]作为本专利技术一个具体的实施例，文本“青年报的记者李明在北京工作”中，“李明”是一个人名实体，“青年报”是一个组织实体，它们之间存在着工作关系。
[0027]其中，BI-LSTM模型由两个长短期记忆网络组成，一个前向记忆网络和一个后向记忆网络，前者用于学习前向的序列信息，后者用于学习后向的序列信息，得到每个隐层的表示。在句子的每个位置，前向的记忆网络会收集从句子开始到当前位置的信息，得到向量表示后向的记忆网络收集从句子末尾到当前位置的信息。
[0028]S102，将多个实体分别输入卷积神经网络CNN模型，得到各个实体对应的特征向量。
[0029]作为本专利技术一个具体的实施例，为表示句子中的实体，我们采用BILUO标签为每个词分配一个标签，其中B，I和L表示实体的开始，内部和结尾，U表示单个词实体，O表示不是实体。例如:对于实体“歼-20战机”，将标签(B,AIRCRAFT)分给“歼”，将标签(I,AIRCRAFT)分配给
“-”
,“20”，将标签(L,AIRCRAFT)分配给战机。给定一个句子，实体的识别模型会通过标注好的实体序列来学习预测的标签。
[0030]S103，将处于两个实体左边的词及右边的词分别输入BI-LSTM模型，得到处于两个实体左边词的特征向量f
left
和处于两个实体右边词的特征向量f
right
，以独热编码one-hot特征向量f
dist
表示两个实体间的距离信息。
[0031]S104，将处于两个实体之间的词输入CNN模型，得到两个实体之间词的特征向量f
mid
。
[0032]S105，将f
e1
、f
e2
、f
mid
、f
left
、f
right
、f
dist
拼接为一个向量输入前馈神经网络模型，得到两个实体之间关系的多个标签及各个标签对应的概率值，其中，f
e1
、f
e2
分别为两个实体对应的特征向量。
[0033]作为本专利技术一个具体的实施例，利用向量输入前馈神经网络模型得到的关系模型
标签的后验分布函数为：
[0034][0035]其中，是关系模型的参数，ReLU是线性整流函数，W1、W2是词向量。
[0036]S106，将概率值最大的标签作为文本中两个实体之间的关系。
[0037]可选地，将文本输入双向长短期记忆BI-LSTM模型，得到文本中的多个实体包括：
[0038]将文本中的各个词输入Bi-LSTM模型的隐含层，得到的向量与向量的标签对应的独热编码one-hot特征向量拼接起来，得到文本中的多个实体。
[0039]可选地，该方法还包括：
[0040]使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络模型的文本实体间关系预测方法，其特征在于，包括：将文本输入双向长短期记忆BI-LSTM模型，得到所述文本中的多个实体；将所述多个实体分别输入卷积神经网络CNN模型，得到各个实体对应的特征向量；将处于两个实体左边的词及右边的词分别输入BI-LSTM模型，得到处于所述两个实体左边词的特征向量f
left
和处于所述两个实体右边词的特征向量f
right
，以独热编码one-hot特征向量f
dist
表示两个实体间的距离信息；将处于所述两个实体之间的词输入CNN模型，得到两个实体之间词的特征向量f
mid
；将f
e1
、f
e2
、f
mid
、f
left
、f
right
、f
dist
拼接为一个向量输入前馈神经网络模型，得到所述两个实体之间关系的多个标签及各个标签对应的概率值，其中，f
e...

【专利技术属性】
技术研发人员：苏华权，周昉昉，廖鹏，蔡雄，易仕敏，彭泽武，杨秋勇，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：