基于超图神经网络的文档级事件抽取方法及系统技术方案

本发明专利技术属于文档级事件抽取领域，提供了一种基于超图神经网络的文档级事件抽取方法及系统，包括获取文档的文本数据；基于文档的文本数据，利用训练好的文档级联合抽取模型进行文档级事件抽取；模型通过设计一种改进的仿射图解析器可以更丰富的获取语法依赖信息以及更长距离的依赖语法信息在局部特征抽取中。另外，还引入了超图卷积网络并用于全局特征抽取，同时构造了句子和单词的关联矩阵并且设计了一种有效的局部特征和关联矩阵的融合机制来增强超图卷积网络的特征抽取能力。来增强超图卷积网络的特征抽取能力。来增强超图卷积网络的特征抽取能力。

【技术实现步骤摘要】
基于超图神经网络的文档级事件抽取方法及系统


[0001]本专利技术属于文档级事件抽取
，具体涉及一种基于超图神经网络的文档级事件抽取方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]事件抽取是文本挖掘领域的重要任务，是从非结构化的文本中构建知识的有效方法。近年来，事件提取技术已广泛应用于众多领域，如生物医学领域蛋白质、基因和染色体等信息的提取。但是又因为文档中存在大量的嵌套事件，其事件的抽取更需要考虑多个句子之间存在的信息传递，因此很难有效的从文档级中抽取所涉及到的事件信息。
[0004]在早期，事件提取模型大多应用在句子层面，例如，Zhang等人设计了一个基于概率语法森林的提取模型，该模型能够充分使用句子的依赖语法信息。但是相比于句子层面的事件抽取，文档级事件抽取可以更好地获取句子之间的信息传递和文本的潜在语义。现如今，文档级事件提取模型主要分为传统的机器学习模型和深度学习模型两类。大多数传统的机器学习模型需要依赖量的人工设计特征，其模型算法本身并不能有效的对内部特征信息进行提取利用。随后研究者将深度学习模型引入文档级事件提取任务中，如CNN、RNN和LSTM等。虽然深度学习模型在提取词序列信息和依赖的语法信息是表现出了更强的能力，但其仍不能有效地获取文档中句子之间的全局上下文信息。
[0005]近年来，图卷积网络(GCN)受到了研究者的关注。然而，GCN中的简单图只能表示成对的关系，这意味着一条边只能连接两个顶点。因此，超图表示的学习方法被提出，它可以有效地建模两个以上对象之间的复杂关系。为了获取文档中的全局上下文信息，Zhao等人利用超图的概念提出了一个联合提取模型HANN，该模型分别采用GCN和超图聚合来提取局部特征和全局特征。HANN虽然以相对准确的结果丰富了全局上下文信息，但局部抽取层使用单一的GCN模型无法充分学习局部特征，并且也可能导致特征稀疏问题。此外，HANN的多重超图聚合容易导致节点特征的过平滑问题。

技术实现思路

[0006]为了解决上述问题，随着海量文本的出现，人工进行文档级事件抽取将变的越来越费力，本专利技术提出了一种基于超图神经网络的文档级事件抽取方法及系统，本专利技术能够自动抽取事件和相关参数信息，极大减少人工成本。
[0007]根据一些实施例，本专利技术的第一方案提供了一种基于超图神经网络的文档级事件抽取方法，采用如下技术方案：
[0008]基于超图神经网络的文档级事件抽取方法，包括：
[0009]获取文档的文本数据；
[0010]基于文档的文本数据，利用训练好的文档级联合抽取模型进行文档级事件抽取；
[0011]其中，所述利用训练好的文档级联合抽取模型进行文档级事件抽取，包括：
[0012]通过词向量嵌入获取文本数据的单词向量表示，并利用BiLSTM网络识别单词向量表示的单词序列特征；
[0013]对文本数据中每个句子的依赖语法信息进行解析得到软邻接矩阵；
[0014]基于利用图卷积网络学习单词序列特征和软邻接矩阵生成局部特征信息；
[0015]基于局部特征信息，得到句子向量表示，基于单词向量表示和句子向量表示，构建关联矩阵；
[0016]利用超图卷积网路将关联矩阵和局部特征矩阵进行融合，得到融合特征矩阵，并基于融合特征矩阵进行顶点卷积和超边卷积，得到单词在句子中的概念表示，实现文档级事件抽取。
[0017]进一步地，所述通过词向量嵌入获取文本数据的单词向量表示，包括：
[0018]通过嵌入以下向量表示，将每个单词转换为一个包括词嵌入、位置嵌入和实体类型嵌入的实值向量x
ki
，所述实值向量x
ki
的表示如下：
[0019][0020]其中，x
w
,x
p
和x
t
分别表示词嵌入、位置嵌入和实体类型嵌入。
[0021]进一步地，所述利用BiLSTM网络识别单词向量表示的单词序列特征，包括：
[0022]所述BiLSTM网络通过模拟记忆单元和遗忘单元之间的长期依赖关系来学习单词序列信息，得到单词的编码序列表示，即单词序列特征。
[0023]进一步地，所述对文本数据中每个句子的依赖语法信息进行解析得到软邻接矩阵是利用改进的双仿射图解析器得到的，具体包括：
[0024]将每个句子中的单词嵌入到向量表示中，得到包括单词嵌入和依赖嵌入的单词嵌入向量表示；
[0025]基于单词嵌入向量表示，进行语法解析，得到强依赖和弱依赖语法信息存储在软邻接矩阵中；
[0026]通过自循环运算操作获取句子中单词本身的语法信息，以填充软邻接矩阵的对角线元素，得到最终的软邻接矩阵。
[0027]进一步地，基于局部特征信息，得到句子向量表示，基于单词向量表示和句子向量表示，构建关联矩阵，包括：
[0028]基于局部特征矩阵，利用图卷积网络的最大池化层将局部特征表示映射到句子向量中；
[0029]将单词向量表示和句子向量表示为超图的顶点和超边，根据同一单词在不同句子中的特征表示的关系，构建关联矩阵。
[0030]进一步地，所述利用超图卷积网路将关联矩阵和局部特征矩阵进行融合，得到融合特征矩阵，包括：
[0031]根据节点一致的原则，将关联矩阵与局部特征矩阵融合，构造融合特征矩阵；
[0032]融合矩阵的输出I
h
如下：
[0033]I
h
＝join(H,I
T
)
[0034]其中，H表示图卷积网络的局部特征，I
T
表示关联矩阵的转置，join()是一个融合
函数。
[0035]进一步地，所述基于融合特征矩阵进行顶点卷积和超边卷积，得到单词在句子中的概念表示，实现文档级事件抽取，包括：
[0036]基于融合特征矩阵，通过顶点卷积，将融合特征信息聚合成超边缘特征；
[0037]超边卷积采用注意机制将超边缘特征信息聚合到相应的顶点中，得到顶点特征的表示；
[0038]将每个顶点特征的表示连接到相应的句子中，得到单词在句子中的概念表示；
[0039]基于单词在句子中的概念表示，通过相应的得分，来选取最大的分数，从而抽取得到事件类型和参数，实现文档级事件抽取。
[0040]根据一些实施例，本专利技术的第二方案提供了一种基于超图神经网络的文档级事件抽取系统，采用如下技术方案：
[0041]基于超图神经网络的文档级事件抽取系统，包括：
[0042]数据获取模块，被配置为获取文档的文本数据；
[0043]文档级事件抽取模块，被配置为基于文档的文本数据，利用训练好的文档级联合抽取模型进行文档级事件抽取；
[0044]其中，所述利用训练好的文档级联合抽取模型进行文档级事件抽取，包括：
[0045]通过词向量嵌入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于超图神经网络的文档级事件抽取方法，其特征在于，包括：获取文档的文本数据；基于文档的文本数据，利用训练好的文档级联合抽取模型进行文档级事件抽取；其中，所述利用训练好的文档级联合抽取模型进行文档级事件抽取，包括：通过词向量嵌入获取文本数据的单词向量表示，并利用BiLSTM网络识别单词向量表示的单词序列特征；对文本数据中每个句子的依赖语法信息进行解析得到软邻接矩阵；基于利用图卷积网络学习单词序列特征和软邻接矩阵生成局部特征信息；基于局部特征信息，得到句子向量表示，基于单词向量表示和句子向量表示，构建关联矩阵；利用超图卷积网路将关联矩阵和局部特征矩阵进行融合，得到融合特征矩阵，并基于融合特征矩阵进行顶点卷积和超边卷积，得到单词在句子中的概念表示，实现文档级事件抽取。2.如权利要求1所述的基于超图神经网络的文档级事件抽取方法，其特征在于，所述通过词向量嵌入获取文本数据的单词向量表示，包括：通过嵌入以下向量表示，将每个单词转换为一个包括词嵌入、位置嵌入和实体类型嵌入的实值向量x
ki
，所述实值向量x
ki
的表示如下：其中，x
w
,x
p
和x
t
分别表示词嵌入、位置嵌入和实体类型嵌入。3.如权利要求1所述的基于超图神经网络的文档级事件抽取方法，其特征在于，所述利用BiLSTM网络识别单词向量表示的单词序列特征，包括：所述BiLSTM网络通过模拟记忆单元和遗忘单元之间的长期依赖关系来学习单词序列信息，得到单词的编码序列表示，即单词序列特征。4.如权利要求1所述的基于超图神经网络的文档级事件抽取方法，其特征在于，所述对文本数据中每个句子的依赖语法信息进行解析得到软邻接矩阵是利用改进的双仿射图解析器得到的，具体包括：将每个句子中的单词嵌入到向量表示中，得到包括单词嵌入和依赖嵌入的单词嵌入向量表示；基于单词嵌入向量表示，进行语法解析，得到强依赖和弱依赖语法信息存储在软邻接矩阵中；通过自循环运算操作获取句子中单词本身的语法信息，以填充软邻接矩阵的对角线元素，得到最终的软邻接矩阵。5.如权利要求1所述的基于超图神经网络的文档级事件抽取方法，其特征在于，基于局部特征信息，得到句子向量表示，基于单词向量表示和句子向量表示，构建关联矩阵，包括：基于局部特征矩阵，利用图卷积网络的最大池化层将局部特征表示映射到句子向量中；将单词向量表示和句子向量表示为超图的顶点和超边，根据同一单词在不同句子中的特征表示的关...

【专利技术属性】
技术研发人员：刘嵩，巩京昊，来庆涵，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：