一种基于细粒度语义信息增强的实体关系抽取的方法技术

本发明专利技术提出了一种基于细粒度语义信息增强的实体关系抽取方法，该方法包括：在输入层选取句子上下文信息构成句子初始向量；在编码层使用BERT预训练语言模型捕获文本的所有隐藏特征向量；在实体识别层借助指针网络获取头实体、尾实体范围表示，并获得实体类型信息；在关系抽取层使用之前的隐藏特征向量拼接实体类型信息去获得头尾实体的隐藏向量表示从进行关系抽取；然后在输出层之前加入细粒度类别词典使用注意力机制去获取关系类别的权重，连接输出层，使用Softmax对关系进行抽取分类。由于BERT的存在，本模型能够地对句子进行编码提取全部特征，而指针网络也为解决重叠实体三元组提取问题提供了较好的解决思路；最后构建细粒度类别词典使用注意力机制获取权重解决关系类别样例不平衡问题，最终提高了实体关系抽取的准确率。取的准确率。取的准确率。

【技术实现步骤摘要】
一种基于细粒度语义信息增强的实体关系抽取的方法


[0001]本专利技术属于自然语言处理领域。

技术介绍

[0002]随着互联网的迅速普及和日活跃量的增加，网上的文本数据越来越多，形成海量的规模。而对于这些已经存在的文本数据的二次利用和挖掘其中的隐含价值，成为人们极度渴望和迫切需要的。这就使得知识图谱技术应运而生，知识图谱技术可以帮助人们快速获取信息，从可视化的数据上进行信息的推理和应用。有了知识图谱技术，人们可以进行问答系统的构建、和智能聊天机器人对话、对语音进行识别、请求机器帮忙进行阅读理解和翻译等。但知识图谱技术的发展离不开其底层的实体关系抽取技术，其所需要的的三元组、多元组可视化数据中的实体和关系正是依靠实体关系抽取出来的。先前实体关系抽取技术从基于手工构建特征工程和基于核函数的方法，发展到近几年的基于深度学习的技术，这一过程中解决了许许多多的问题但仍然还存在着诸多问题，比如管道方法的误差传播信息冗余问题和实体三元组重叠问题、标签不平衡问题等等。作为知识图谱构建技术的基石，实体关系抽取技术是自然语言处理研究一个热门大方向之一。
[0003]目前实体关系抽取已经发展到了使用深度学习技术的阶段，但目前存在的上述诸多问题还不能得到很好有效的解决。以往的实体关系抽取技术基于管道方法，先抽取实体，再使用实体作为输入抽取关系，并且使用的模型大多是RNN和LSTM或者这基于这两者的改进和变种，鉴于最近几年预训练语言模型在其他自然语言处理任务上的优秀表现，且本专利技术所研究的任务究其根本也属于自然语言处理任务的一种，因此，本专利技术以BERT预训练模型为基础，搭建了结合指针网络对文本句子中实体和关系进行联合抽取的模型。

技术实现思路

[0004]本专利技术提出一种基于细粒度语义信息增强的实体关系抽取方法，目的在于解决实体重叠问题和提高抽取实体关系的精度。该方法步骤如下：
[0005](1)在输入层加入上下文信息构建拼接句子向量；
[0006](2)在编码层捕获隐藏状态向量信息；
[0007](3)在实体识别层获得头实体、尾实体范围信息，进行Softmax获得实体类型信息；
[0008](4)在关系抽取层综合之前的隐藏特征向量、类型信息进一步抽取抽象特征；
[0009](5)在输出层使用Softmax对关系进行分类。
附图说明
[0010]图1为本专利技术的基于细粒度语义信息增强的实体关系抽取方法模型结构图。
[0011]图2为本专利技术采用的BERT编码器，其中(a)为总体模型结构，其中(b)为内部模型结构。
[0012]图3为本专利技术采用的上下文信息示例示例。
[0013]图4为本专利技术采用的句子结合上下文信息进行词向量编码流程图。
[0014]图5为本专利技术采用的实体类型信息标注策略。
[0015]图6为本专利技术采用的上下文信息和实体类型信息流程图。
[0016]图7为本专利技术采用的细粒度关系类别词典构建流程图。
[0017]图8为本专利技术采用的关系样例统计表示例图。
[0018]图9为本专利技术采用的注意力机制模型图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。
[0020]如图1所示，本专利技术主要以BERT编码器框架为基础，并结合指针网络进行实体关系抽取，主要由输入层(Input Layer)、编码层(Encoder Layer)、实体识别层(Decoder Layer)和关系抽取层(Output Layer)和输出层(Output Layer)五部分构成。具体实施方式如下：
[0021]步骤一：输入层
[0022]以往的实体关系抽取模型都只是直接将句子进行词向量编码嵌入，而能够提取出帮助进行关系预测的句子全部特征的模型少之又少，这样会导致关系抽取的效率不高，也会造成如果句子中实体和关系众多导致重叠实体三元组无法有效提取。因此为了能提高实体关系抽取的准确率和解决重叠实体三元组问题，本专利技术在输入层对句子进行上下文信息扩展。如图3 所示为加入了上下文信息的抽取示例，“阿里巴巴”和“马云”都有各自对应的实体类型、ID、国家、属性等信息。
[0023]如图4所示为上下文信息编码流程图，选取句子词向量、上下文信息向量作为要编码向量，一个句子首先表示如下x＝(x1，x2，...，x
n
)所示；
[0024]1.词向量
[0025]用e(x
i
)表示单词x
i
的词向量，本专利技术选用BERT预训练模型训练词向量，BERT模型如图2(a)所示；
[0026]2.上下文信息
[0027]跨句信息能很好地帮助模型去预测每一个实体的类型和实体中间的关系，尤其可以帮助我们去识别那些指代词、指代关系。因此本专利技术选用上下文信息作为编码层输入。首先设定一个W大小的上下文窗口，当前句子之前个词为上下，句子之后个词为下文，得到句子x＝(x1，x2，...，x
m
)将其作为模型的输入，然后进行BERT词向量转化，如公式1所示；
[0028]X＝(x1，x2，...，x
N
)
ꢀꢀꢀ
(1)
[0029]其中，x
i
∈R
d
是第i个单词x
i
的词向量，维度为d维，X∈R
N
×
d
，维度为N
×
d维。
[0030]步骤二：编码层
[0031]针对不同的任务，编码层和解码层可以选用不同的组合方式，比如，在图像处理任务上，通常使用卷积神经网络构成编码层，不过对于实体关系抽取这样的自然语言处理领域任务，通常会选取循环神经网络，而因为RNN、LSTM编码句子的语义信息能力有限，无法完
全提取句子的全部特征；因此，本专利技术选用BERT预训练语言模型作为编码层结构，模型结构如图2(b)所示；则编码层输出隐藏特征向量如公式2所示；
[0032]h
i
＝BERT
encoder
(X)
ꢀꢀꢀ
(2)
[0033]其中，X是包含上下文信息的句子嵌入向量，h
i
为编码层输出的隐藏特征向量。
[0034]步骤三：实体识别层
[0035]以往的关系抽取模型都只抽取出实体，然后利用实体提及去做关系预测，忽略了实体类型信息对关系抽取的重要影响；因此本专利技术选用指针网络去预测实体范围抽取实体类型信息；
[0036]1.实体跨度范围表示
[0037]我们已经使用BERT对包含上下文的句子进行了词向量编码表示X＝(x1，x2，...，x
N
)，然后使用指针网络去识别每一个实体的跨度范围s
i
∈S，其跨度范围表示h
e
(s
i
)定义如公式3所示；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于细粒度语义信息增强的实体关系抽取方法，其特征在于，该方法目标是将对一个文本句子中的实体进行识别，然后对两两实体之间的关系进行分类输出三元组，方法的步骤如下：步骤1：在输入层加入上下文信息构建拼接句子向量；步骤2：在编码层捕获隐藏状态向量信息；步骤3：在实体识别层获得头实体、尾实体范围信息，进行Softmax获得实体类型信息；步骤4：在关系识别层综合之前的隐藏特征向量、类型信息进一步抽取抽象特征；步骤5：在输出层使用Softmax对关系进行分类。2.根据权利要求1所述的一种基于细粒度语义信息增强的实体关系抽取方法，其特征在于，所述步骤1中的加入上下文信息拼接句子构建向量具体指的是：在实体关系抽取任务中，本发明选取句子词向量、上下文信息向量作为要编码向量，一个句子首先表示如下x＝(x1,x2,
…
,x
n
)所示；步骤1.1训练词向量用e(x
i
)表示单词x
i
的词向量，本发明选用BERT预训练模型训练词向量，BERT模型如图2(a)所示；步骤1.2加入上下文信息跨句信息能很好地帮助模型去预测每一个实体的类型和实体中间的关系，尤其可以帮助我们去识别那些指代词、指代关系；因此本发明选用上下文信息作为编码层输入；如图3所示，首先设定一个W大小的上下文窗口，当前句子之前个词为上下，句子之后个词为下文，得到句子x＝(x1,x2,
…
,x
m
)将其作为模型的输入，然后进行BERT词向量转化，如公式1所示；X＝(x1,x2,...,x
N
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，x
i
∈R
d
是第i个单词x
i
的词向量，维度为d维，X∈R
N
×
d
，维度为N
×
d维。3.根据权利要求2所述的一种基于细粒度语义信息增强的实体关系抽取方法，其特征在于，所述步骤2中的在编码层捕获隐藏状态向量信息具体是指：针对不同的任务，编码层和解码层可以选用不同的组合方式，比如，在图像处理任务上，通常使用卷积神经网络构成编码层，不过对于实体关系抽取这样的自然语言处理领域任务，通常会选取循环神经网络，而因为RNN、LSTM编码句子的语义信息能力有限，无法完全提取句子的全部特征；因此，本发明选用BERT预训练语言模型作为编码层结构，模型结构如图2(b)所示；则编码层输出隐藏特征向量如公式2所示；h
i
＝BERT
encoder
(X)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，X是包含上下文信息的句子嵌入向量，h
i
为编码层输出的隐藏特征向量。4.根据权利要求3所述的一种基于细粒度语义信息增强的实体关系抽取方法，其特征在于，所述步骤3中的在实体识别层获得头实体、尾实体范围信息，进行Softmax获得实体类型信息是指：以往的关系抽取模型都只抽取出实体，然后利用实体提及去做关系预测，忽略了实体类型信息对关系抽取的重要影响；因此本发明选用指针网络去预测实体范围抽取实体类型信息；
步骤4.1获取实体跨度范围表示我们已经使用BERT对包含上下文的句子进行了词向量编码表示X＝(x1,x2,
…
,x
N
)，然后使用指针网络去识别每一个实体的跨度范围s
i
∈S，其跨度范围表示h

【专利技术属性】
技术研发人员：贾海涛，邢增传，任金胜，许文波，任利，周焕来，贾宇明，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：