基于字符嵌入的事件元素网格化抽取方法、存储介质及电子装置制造方法及图纸

本发明专利技术公开了一种基于字符嵌入的事件元素网格化抽取方法、存储介质及电子装置，方法包括以下步骤：首先构建事件元素抽取基础模型，包括基于BERT的信息预学习表示层、字编码嵌入层、BiGRU双向门控循环神经网络层、自注意力层和CRF条件随机场输出层，并将基础模型按功能细化分为事件触发词抽取、事件论元抽取和事件属性抽取3个网格模块；然后分别对事件触发词抽取模型、事件论元抽取模型和事件属性抽取模型进行抽取优化；最后采用训练得到的事件元素抽取模型对测试数据进行事件元素抽取的预测。本发明专利技术方法在事件元素抽取任务中表现良好，获得了较高的准确率。获得了较高的准确率。获得了较高的准确率。

【技术实现步骤摘要】
基于字符嵌入的事件元素网格化抽取方法、存储介质及电子装置


[0001]本专利技术涉及事件抽取
，具体涉及一种基于字符嵌入的事件元素网格化抽取方法、 存储介质及电子装置。

技术介绍

[0002]信息抽取技术是把关注的非结构化数据信息从海量文本数据中抽取出来，并转换为结构 化的数据。通过信息抽取技术，可以过滤低价值的信息内容，快速获得精准和高质量信息。 事件是信息的一种重要表达形式，信息抽取领域的重点研究方向即为事件抽取。该研究中的 权威学会ACE(Automatic Content Extraction)对事件抽取作了明确定义，事件抽取要求将文 本数据中表征事件信息的非结构化数据转化为结构化、可存储使用的精准知识。
[0003]当今社会，在网络新闻媒体上实时推送着各类大大小小的热点事件。面对日益增长的海 量互联网信息，快速定位到公众讨论的具体事件变得至关重要。这不仅可以帮助舆情监管人 员快速定位到具体事件，了解事件的具体要素，还可以将事件抽取结果提供给其他自然语言 处理任务，以进行更深入的分析和应用。因网络和社会因素影响，事件抽取技术研究在国内 外研究热度逐年升高。

技术实现思路

[0004]针对上述问题，本专利技术的目的在于提供一种基于字符嵌入的事件元素网格化抽取方法、 存储介质及电子装置，事件元素网格化抽取是在事件检测任务的基础上，将模型细化为事件 触发词抽取、事件论元抽取和事件属性抽取3个网格模块，各网格模块既联合共享基础模型 事件语义信息，又独立优化各自元素的抽取性能。技术方案如下：
[0005]一种基于字符嵌入的事件元素网格化抽取方法，包括以下步骤：
[0006]步骤1：构建事件元素抽取基础模型；
[0007]所述基础模型为字符嵌入神经网络深度学习模型，包括基于BERT的信息预学习表示层、 字编码嵌入层、BiGRU双向门控循环神经网络层、自注意力层和CRF条件随机场输出层； 其运行步骤如下：
[0008]步骤1.1：基于BERT的信息预学习表示层对样本数据上下文语义特征进行预学习，生成 突发元事件域的文本表示模型；
[0009]步骤1.2：字编码嵌入层利用训练好的BERT语言模型中生成的语义表示向量输入到 BiGRU双向门控循环神经网络层；
[0010]步骤1.3：BiGRU双向门控循环神经网络层提取输入序列的上下文依赖的长距离深层特 征；
[0011]步骤1.4：自注意力层对BiGRU双向门控循环神经网络层学习到的深层特征进行加权变 换，以突出文本序列中重点词汇信息；
[0012]步骤1.5：CRF条件随机场输出层将触发词提取转化为序列标注任务，以解决传统词向量 转化为字向量后上下文标注信息问题；
[0013]将所述基础模型细化为事件触发词抽取、事件论元抽取和事件属性抽取3个网格模块；
[0014]步骤2：对事件触发词抽取模型进行抽取优化：从一个事件句抽取一个主事件触发词作 为事件触发词，多余事件触发词作外部特征，辅助表征主事件；将标注数据中的所有事件触 发词作为知识库，作为事件触发词抽取的先验特征；抽取句子中与知识库内事件触发词匹配 的触发词，并标注出来，与句子BERT语义编码的输出的字符嵌入向量拼接；并将事件类型 向量拼接到字符嵌入向量中；事件触发词抽取任务的目标向量由事件触发词的抽取结果表示， 对应事件触发词的标注结果；
[0015]步骤3：对事件论元抽取模型进行抽取优化：在原文本BERT语义特征之上，将文本中 所有字符到事件触发词的相对距离作为文本结构特征，事件触发词本身的相对距离为0；并 将事件主体与客体联合，事件时间与地点联合，采用两个独立的模型进行提取；事件论元抽 取任务的目标向量对应事件论元的抽取结果标注；
[0016]步骤4：对事件属性抽取模型进行抽取优化：定义事件属性为事件时态和事件极性，模 型输出转变为多分类问题，将所述基础模型中CRF条件随机场输出层置换构造两个分类器； 将事件触发词及左右两端进行动态池化获得的特征作为全局特征，与句子BERT语义编码的 输出的字符嵌入向量拼接，并采用十折交叉验证方法进行优化；
[0017]步骤5：采用步骤1
‑
步骤4训练得到的事件要素抽取模型对测试数据进行事件元素抽取 结果的预测。
[0018]进一步的，所述步骤1.3中，BiGRU双向门控循环神经网络层同时包含一个正向的 和一个反向的正向GRU捕捉0:t的上文特征 信息a
t
，反向GRU捕捉t:n
‑
1的下文特征信息a
′
t
，通过拼接所捕获的上下文特征信息，获得 句子的上下文信息y
t
，如公式(1)
‑
(3)所示：
[0019][0020][0021]y
t
＝[a
t
,a
′
t
]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0022]式中，x
t
表示词序列特征向量；a
t
表示正向GRU捕捉0:t的上文特征信息；a
′
t
表示反 向GRU捕捉t:n
‑
1的下文特征信息；y
t
表示获得句子的上下文信息；
[0023]所述加权变换公式(4)所示：
[0024][0025]式中，e
ij
表示句子j的特征对句子i的重要性；a表示注意力机制；
·
表示共享参数的线 性变换权重矩阵；y
i
和y
j
分别表示获得的句子i和句子j的上下文信息。
[0026]更进一步的，在事件触发词抽取任务中，假设词w
i
的事件触发词类型目标向量为 [tri0,tri1,tri2,...,tri
j
,...,tri
n
]，则tri
j
的设置方式如公式(5)所示：
[0027][0028]所述步骤3中，在事件论元抽取任务中，假设词w
i
的事件论元类型目标向量为 [arg0,arg1,...,arg
j
,...,arg
n
]，其中arg
j
的设置方式如公式(6)所示：
[0029][0030]一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运 行时执行上述的方法。
[0031]一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被 设置为通过所述计算机程序执行所上述的方法。
[0032]本专利技术的有益效果是：本专利技术利用事件元素抽取基础模型，分别对模型细化的事件触发 词抽取、事件论元抽取和事件属性抽取3个网格模块进行抽取优化，各网格模块既联合共享 基础模型事件语义信息，又独立优化各自元素的抽取性能，结果表明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于字符嵌入的事件元素网格化抽取方法，其特征在于，包括以下步骤：步骤1：构建事件元素抽取基础模型；所述基础模型为字符嵌入神经网络深度学习模型，包括基于BERT的信息预学习表示层、字编码嵌入层、BiGRU双向门控循环神经网络层、自注意力层和CRF条件随机场输出层；其运行步骤如下：步骤1.1：基于BERT的信息预学习表示层对样本数据上下文语义特征进行预学习，生成突发元事件域的文本表示模型；步骤1.2：字编码嵌入层利用训练好的BERT语言模型中生成的语义表示向量输入到BiGRU双向门控循环神经网络层；步骤1.3：BiGRU双向门控循环神经网络层提取输入序列的上下文依赖的长距离深层特征；步骤1.4：自注意力层对BiGRU双向门控循环神经网络层学习到的深层特征进行加权变换，以突出文本序列中重点词汇信息；步骤1.5：CRF条件随机场输出层将触发词提取转化为序列标注任务，以解决传统词向量转化为字向量后上下文标注信息问题；将所述基础模型按功能细化分为事件触发词抽取、事件论元抽取和事件属性抽取3个网格模块，以用于后续步骤根据不同模型的功能特性，分别对模型进行优化；步骤2：对事件触发词抽取模型进行抽取优化：从一个事件句抽取一个主事件触发词作为事件触发词，多余事件触发词作外部特征，辅助表征主事件；将标注数据中的所有事件触发词作为知识库，作为事件触发词抽取的先验特征；抽取句子中与知识库内事件触发词匹配的触发词，并标注出来，与根据句子BERT语义表示模型获得的字符嵌入向量拼接；并将事件类型向量拼接到字符嵌入向量中；事件触发词抽取任务的目标向量由事件触发词的抽取结果表示，对应事件触发词的标注结果；步骤3：对事件论元抽取模型进行抽取优化：在原文本BERT语义特征之上，将文本中所有字符到事件触发词的相对距离作为文本结构特征，事件触发词本身的相对距离为0；并将事件主体与客体联合，事件时间与地点联合，采用两个独立的模型进行提取；事件论元抽取任务的目标向量对应事件论元的抽取结果标注；步骤4：对事件属性抽取模型进行抽取优化：定义事件属性为事件时态和事件极性，模型输出转变为多分类问题，将所述基础模型中CRF条件随机场输出层置换构造两个分类器；将事件触发词及左右两端进行动态池化获得的特征作为全局特征，与根据句子BERT语义表示模型获得的字符嵌入向量拼接，并采用十折交叉验证方法进行优化；步骤5：采用步骤1
‑
步骤4训练得到的事件要素抽取模...

【专利技术属性】
技术研发人员：陈兴蜀，蒋梦婷，袁磊，刘朋，黄铁脉，廖志红，宋可儿，冯科，王海舟，王文贤，罗永刚，
申请(专利权)人：四川大学，
类型：发明
国别省市：