【技术实现步骤摘要】
本专利技术涉及自然语言处理领域，尤其涉及一种基于异构图神经网络的实体关系联合抽取模型及构建方法。
技术介绍
1、随着信息技术的蓬勃发展，网络中的信息资源呈现暴发式增长的趋势。在文本信息大规模且增长迅速的情况下，如何对海量信息资源中蕴含的知识进行高效的提取、组织和利用，成为一个全新的挑战。在这样的背景下，知识图谱作为一种大规模的知识存储结构，被提出来并得到了深入广泛的研究。知识图谱以实体和关系作为知识表达的基本元素，而实体和关系主要来源于文本数据，尤其是量大面广的非结构化自然语言文本数据。因此，从海量自然语言文本中挖掘实体和关系的命名实体识别（named entity recognition,ner）和关系抽取（relation extraction, re）等信息抽取技术应运而生，成为知识图谱构建的研究热点。
2、早期的实体关系抽取采用流水线方法，许多学者将命名实体识别（ner）和关系抽取（re）视为信息提取任务中的两个独立子任务。他们通过在实体关系抽取过程中分别对两个子任务进行训练，并通过共享基础语义连接信息的方式来进行研究。然而，这种方法会存在一些潜在的问题如错误传播，即当ner任务中存在实体标注错误时，这些错误可能会影响到关系提取任务的性能。
3、鉴于流水线模型的诸多弊端，基于联合学习的实体关系抽取方法逐步踏入了专家学者的视野。联合学习也称端到端的抽取方式，该方法能够实现实体识别和关系抽取的融合。近几年，各种实体关系抽取模型不断被提出，但大多数也仅仅是提高了正常实体关系抽取的准确率，针对实体关系抽取
技术实现思路
1、鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于异构图神经网络的实体关系联合抽取模型及构建方法。
2、本专利技术的一个方面，提供了一种基于异构图神经网络的实体关系联合抽取模型的构建方法，所述方法包括：
3、将原始文本序列输入到ernie3.0预训练模型进行预训练，得到原始文本序列在字粒度上融合上下文语义信息的第一动态特征词向量；
4、采用条件注意力机制将原始文本序列中预定义的关系类型作为先验知识引入到所述第一动态特征词向量中，得到融合了上下文语义信息和关系类型信息的第二特征词向量；
5、将所述第二特征词向量输入到预设的bilstm模型中进行编码操作，得到正向隐藏状态序列和反向隐藏状态序列，将所述正向隐藏状态序列和反向隐藏状态序列进行合并，得到第二特征词向量的双向编码表示，并根据第二特征词向量的双向编码表示生成第三特征词向量；
6、将第三特征词向量转换为预设的表形式输出，并采用多头选择方法在表形式输出中对原始文本序列中的实体位置以及实体类型进行实体标注；
7、根据实体标注后的表形式输出以不同的实体类型作为不同类型的节点构建异构图，每一节点的初始特征向量包括实体位置信息和所述第三特征词向量的融合特征向量，为异构图中存在的实体对之间添加虚拟关系边；
8、为每一种关系类型设置对应的异构图卷积层，并在异构图卷积训练中对每种关系类型执行对应的异构图卷积操作，生成相应的边预测结果得到每个关系类型的三元组预测输出，三元组具体包括头实体表示、关系类型和尾实体表示。
9、可选地，采用条件注意力机制将原始文本序列中预定义的关系类型作为先验知识引入到所述第一动态特征词向量中包括：
10、将第一动态特征词向量通过线性层分别投影到值、键和查询向量空间；
11、将预定义的各个关系类型通过嵌入层映射为与查询向量维度相同的关系嵌入向量，并将所述关系嵌入向量与查询向量相加，得到融合关系类型信息的查询向量；
12、将值、键和融合关系类型信息的查询向量分别拆分为多个头；
13、计算融合关系类型信息的查询向量和键向量的点积，得到注意力分数矩阵energy；
14、对注意力分数矩阵应用 softmax函数进行归一化得到注意力权重 attention，使用注意力权重对值向量进行加权求和，将得到的注意力输出作为融合了上下文语义信息和关系信息的第二特征词向量。采用自适应多头注意力机制将关系信息作为先验知识引入到所述第一动态特征词向量中包括：
15、将预定义的各个关系类型映射为一个固定维度的嵌入向量；
16、采用自适应多头注意力机制线性变换计算每个头的注意力分数，并通过softmax函数进行归一化；
17、使用查询和键之间的点积计算各个关系类型的注意力权重，并将各个关系类型的注意力权重与注意力矩阵相乘，以调整注意力权重的分布；
18、使用调整后的注意力权重对值向量进行加权求和，得到融合了上下文语义信息和关系信息的第二特征词向量。
19、可选地，根据第二特征词向量的双向编码表示形成第三特征词向量，包括：
20、通过全连接层将第二特征词向量的双向编码表示进行特征融合形成第三特征词向量。
21、可选地，将第三特征词向量转换为预设的表形式输出，包括：
22、将第三特征词向量的张量形状（批次batch_size，序列长度seq_len，隐藏维度hidden_dim）的输出在第三个位置新加一个维度并扩展为seq_len大小，生成（batch_size，seq_len， seq_len，hidden_dim）形式的中间张量输出，以得到每个字粒度上实体开始位置的第一隐藏状态组合矩阵；
23、将得到的中间张量输出进行转置后并交换第一个维度和第二个维度的位置，以得到每个字粒度上实体结束位置的第二隐藏状态组合矩阵；
24、将第一隐藏状态组合矩阵和第二隐藏状态组合矩阵在表示特征的最后一个维度上进行拼接即可得到表形式输出。
25、可选地，采用多头选择方法在表形式输出中对原始文本序列中的实体位置以及实体类型进行实体标注，包括：
26、通过全连接层将表形式输出的拼接后的隐藏状态组合映射到预设的标签空间之中，并使用softmax激活函数将拼接后的隐藏状态组合映射为最终的标签概率，得到原始文本序列中的实体位置以及实体类型信息。
27、可选地，所述方法还包括：
28、采用多头注意力机制融合每一实体的实体位置信息和所述第三特征词向量，将得到的融合特征向量作为当前实体对应节点的初始特征向量；
29、构建异构图中各个实体节点的字典形式，字典的键为实体的类型，字典的值为包含该实体类型下所有实体的初始特征向量的集合。
30、可选地，所述在异构图卷积训练中对每种关系类型执行对应的异构图卷积操作，生成相应的边预测结果得到每个关系类型的三元组预测输出，包括：
31、对于每个关系类型以异构图和异构图中的所有实体节点的初始特征向量作为输入数据，采用以当前关系类型对应的异构图卷积操作对所述输入数据进行处理，得到当前关系类型的三元组预本文档来自技高网...
【技术保护点】
1.一种基于异构图神经网络的实体关系联合抽取模型的构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用条件注意力机制将原始文本序列中预定义的关系类型作为先验知识引入到所述第一动态特征词向量中包括：
3.根据权利要求1所述的方法，其特征在于，根据第二特征词向量的双向编码表示形成第三特征词向量，包括：
4.根据权利要求1所述的方法，其特征在于，将第三特征词向量转换为预设的表形式输出，包括：
5.根据权利要求4所述的方法，其特征在于，采用多头选择方法在表形式输出中对原始文本序列中的实体位置以及实体类型进行实体标注，包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述在异构图卷积训练中对每种关系类型执行对应的异构图卷积操作，生成相应的边预测结果得到每个关系类型的三元组预测输出，包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.一种基于异构图神经网络的实体关系联合抽取模型，其特征在
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于异构图神经网络的实体关系联合抽取模型的构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用条件注意力机制将原始文本序列中预定义的关系类型作为先验知识引入到所述第一动态特征词向量中包括：
3.根据权利要求1所述的方法，其特征在于，根据第二特征词向量的双向编码表示形成第三特征词向量，包括：
4.根据权利要求1所述的方法，其特征在于，将第三特征词向量转换为预设的表形式输出，包括：
5.根据权利要求4所述的方法，其特征在于，采用多头选择方法在表形式输出中对原始文本序列中的实体位置以及实体类型进行实体标注，包括：
6.根据权利要求1所述的方法，其特征在于，所述方...
【专利技术属性】
技术研发人员：朱波，李润波，邱兰，仇思琪，李跃，袁蓉，张凤祥，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。