本发明专利技术涉及一种实体关系抽取方法：获取待抽取的自然文本，并输入预训练好的语言编码模型，得到token序列；将token序列输入第一预训练语言模型，得到第一隐藏向量表征序列；根据第一隐藏向量表征序列进行主体实体和主体实体涉及的关系类型识别，根据主体实体涉及的关系类型对token序列进行主体标签的标注，主体标签包括多个对应不同关系类型的主体关系标签，主体关系标签用于标注主体实体对应的token；将token序列输入第二预训练语言模型，得到第二隐藏向量表征序列；根据第二隐藏向量表征序列进行客体实体识别，并对token序列进行客体标签的标注；根据主体标签、主体实体涉及的关系类型和客体标签，构建关系三元组。能够在实体关系重叠中，抽取正确关系的实体对。抽取正确关系的实体对。抽取正确关系的实体对。
【技术实现步骤摘要】
实体关系抽取方法、装置、电子设备及存储介质
[0001]本专利技术涉及实体关系抽取
，尤其是涉及一种实体关系抽取方法、装置、电子设备及存储介质。
技术介绍
[0002]信息抽取是构建和扩充新的知识图谱以及结构化知识库的重要前置技术，信息抽取从非结构化的自然语言文本中，抽取出结构化文本信息，结构化文本信息通常包括实体、关系和事件。关系抽取(Relation Extraction)属于信息抽取的一个重要步骤，主要目标是对句子中已知实体对之间的关系进行分类，它对于知识库问答、知识库构建和文本摘要等自然语言处理领域经典应用至关重要。
[0003]在实体关系抽取领域中，传统的信息抽取方式流水线方法首先进行实体识别，再根据实体识别的结果进行实体关系抽取及分类，其实现和操作简单，灵活性强。但是，在实体在句子中涉及多个关系的实体关系重叠情况下，由于传统方法在抽取的过程中割裂了实体识别步骤和关系抽取步骤，抽取结果丢失了两个步骤之间的交互性，导致所抽取的关系分布不平衡，难以有效地向实体对分配关系标签。
技术实现思路
[0004]本专利技术的目的在于克服现有技术的缺点与不足，提供一种实体关系抽取方法，能够解决实体关系重叠问题，能够进行有效的实体关系抽取。
[0005]本专利技术是通过以下技术方案实现的：一种实体关系抽取方法，包括步骤：
[0006]获取待抽取的自然文本，并输入预训练好的语言编码模型，得到token序列，所述待抽取的自然文本中包括主体实体、客体实体及关系类型信息；
[0007]将所述token序列输入第一预训练语言模型，得到第一隐藏向量表征序列；
[0008]将所述第一隐藏向量表征序列输入主体实体序列标注模型，其中，所述主体实体序列标注模型用于根据所述第一隐藏向量表征序列进行主体实体和主体实体涉及的关系类型识别，根据所述主体实体涉及的关系类型对所述token序列进行主体标签的标注，所述主体标签包括多个对应不同关系类型的主体关系标签，所述主体关系标签用于标注所述主体实体对应的token；
[0009]根据所述主体实体涉及的关系类型，将所述token序列输入第二预训练语言模型，得到与不同关系类型对应的第二隐藏向量表征序列；
[0010]将所述第二隐藏向量表征序列输入客体实体序列标注模型，其中，所述客体实体序列标注模型用于根据所述第二隐藏向量表征序列进行客体实体识别，并对所述token序列进行客体标签的标注；
[0011]根据所述主体标签、所述主体实体涉及的关系类型和所述客体标签，构建关系三元组。
[0012]相对于现有技术，本专利技术提供一种实体关系抽取方法在进行主体实体识别的同时
抽取主体实体涉及的关系类型，将主体实体与关系类型建立关联性，再基于已知的关系类型对应进行客体实体识别，从而能够在实体关系重叠的情况下，有效地形成具有正确关系的实体对。
[0013]进一步地，在所述主体实体序列标注模型的训练中，所述主体标签还包括客体关系标签，所述客体关系标签用于标注所述token序列中所述客体实体对应的token。
[0014]进一步地，所述第一预训练语言模型的嵌入层包括单词嵌入层和位置嵌入层，所述单词嵌入层用于计算所述token序列中token的嵌入，所述位置嵌入层用于计算所述token序列中每一token的位置的嵌入。
[0015]进一步地，根据所述主体实体涉及的关系类型，将所述token序列输入第二预训练语言模型，得到与不同关系类型对应的第二隐藏向量表征序列，包括步骤：
[0016]根据所述主体实体涉及的关系类型确定关系类型token，将所述token序列中的首个token替换为所述关系类型token，将替换后的所述token序列输入第二预训练语言模型，得到与不同关系类型对应的第二隐藏向量表征序列。
[0017]进一步地，所述第二预训练语言模型的嵌入层包括单词嵌入层、位置嵌入层和主体关系感知嵌入层，所述单词嵌入层用于计算所述token序列中token的嵌入，所述位置嵌入层用于计算所述token序列中token的位置的嵌入，所述主体关系感知嵌入层用于计算所述token序列中token的关系信息的嵌入，所述token序列中主体实体对应的token的关系信息指向所述主体实体所涉及的关系类型。
[0018]进一步地，所述主体实体序列标注模型通过损失函数L
subject
进行训练，所述损失函数L
subject
的表达式为：
[0019][0020]其中，D表示用于训练的token序列的数量，L
j
表示第j个token序列x
j
的长度，表示第j个token序列x
j
中第t个token的真实标签，表示第j个token序列x
j
中第t个token的预测标签概率，θ
subject
表示所述主体实体序列标注模型的可学习参数。
[0021]进一步地，所述客体实体序列标注模型通过损失函数型L
object
进行训练，所述损失函数L
object
的表达式为：
[0022][0023]其中，D表示用于训练的token序列的数量，L
j
表示第j个token序列x
j
的长度，表示第j个token序列x
j
中第t个token的真实标签，表示第j个token序列x
j
中第t个token的预测标签概率，θ
object
表示所述客体实体序列标注模型的可学习参数。
[0024]基于同一专利技术构思，本专利技术还提供一种实体关系抽取装置，包括：
[0025]序列获取模块，用于获取待抽取的自然文本，并输入预训练语言编码模型，得到token序列，所述待抽取的自然文本中包括主体实体、客体实体及预定义的关系类型；
[0026]第一向量表征获取模块，用于将所述token序列输入第一预训练语言模型，得到第
一隐藏向量表征序列；
[0027]主体实体识别模块，用于将所述第一隐藏向量表征序列输入主体实体序列标注模型，其中，所述主体实体序列标注模型用于根据所述第一隐藏向量表征序列进行主体实体和主体实体涉及的关系类型识别，根据所述主体实体涉及的关系类型对所述token序列进行主体标签的标注，所述主体标签包括多个对应不同关系类型的主体关系标签，所述主体关系标签用于标注所述主体实体对应的token；
[0028]第二向量表征获取模块，用于根据所述主体实体涉及的关系类型，将所述token序列输入第二预训练语言模型，得到与不同关系类型对应的第二隐藏向量表征序列；
[0029]客体实体识别模块，用于将所述第二隐藏向量表征序列输入客体实体序列标注模型，其中，所述客体实体序列标注模型用于根据所述第二隐藏向量表征序列进行客体实体识别，并对所述token序列进行客体标签的标注；
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种实体关系抽取方法，其特征在于，包括步骤：获取待抽取的自然文本，并输入预训练好的语言编码模型，得到token序列，所述待抽取的自然文本中包括主体实体、客体实体及关系类型信息；将所述token序列输入第一预训练语言模型，得到第一隐藏向量表征序列；将所述第一隐藏向量表征序列输入主体实体序列标注模型，其中，所述主体实体序列标注模型用于根据所述第一隐藏向量表征序列进行主体实体和主体实体涉及的关系类型识别，根据所述主体实体涉及的关系类型对所述token序列进行主体标签的标注，所述主体标签包括多个对应不同关系类型的主体关系标签，所述主体关系标签用于标注所述主体实体对应的token；根据所述主体实体涉及的关系类型，将所述token序列输入第二预训练语言模型，得到与不同关系类型对应的第二隐藏向量表征序列；将所述第二隐藏向量表征序列输入客体实体序列标注模型，其中，所述客体实体序列标注模型用于根据所述第二隐藏向量表征序列进行客体实体识别，并对所述token序列进行客体标签的标注；根据所述主体标签、所述主体实体涉及的关系类型和所述客体标签，构建关系三元组。2.根据权利要求1所述的方法，其特征在于，在所述主体实体序列标注模型的训练中，所述主体标签还包括客体关系标签，所述客体关系标签用于标注所述token序列中所述客体实体对应的token。3.根据权利要求1
‑
2中任一项所述的方法，其特征在于，所述第一预训练语言模型的嵌入层包括单词嵌入层和位置嵌入层，所述单词嵌入层用于计算所述token序列中token的嵌入，所述位置嵌入层用于计算所述token序列中每一token的位置的嵌入。4.根据权利要求1所述的方法，其特征在于，根据所述主体实体涉及的关系类型，将所述token序列输入第二预训练语言模型，得到与不同关系类型对应的第二隐藏向量表征序列，包括步骤：根据所述主体实体涉及的关系类型确定关系类型token，将所述token序列中的首个token替换为所述关系类型token，将替换后的所述token序列输入第二预训练语言模型，得到与不同关系类型对应的第二隐藏向量表征序列。5.根据权利要求1所述的方法，其特征在于，所述第二预训练语言模型的嵌入层包括单词嵌入层、位置嵌入层和主体关系感知嵌入层，所述单词嵌入层用于计算所述token序列中token的嵌入，所述位置嵌入层用于计算所述token序列中token的位置的嵌入，所述主体关系感知嵌入层用于计算所述token序列中token的关系信息的嵌入，所述token序列中主体实体对应的token的关系信息指向所述主体实体所涉及的关系类型。6.根据权利要求1所述的方法，其特征在于，所述主体实体序列标注模型通过损失函数L
subject
进行训练，所述损失函数L
subject
的表达式为：其中，D表示用于训练的token...
【专利技术属性】
技术研发人员：曾碧卿，蔡剑，郑辛茹，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。