基于终身学习的金融领域事件抽取方法及装置制造方法及图纸

本发明专利技术公开了一种基于终身学习的金融领域事件抽取方法及装置，其中，该方法包括：配置初始事件抽取模板，其中，所述初始事件抽取模板包括多个事件类型，以及与每个所述事件类型对应的要素角色；采用样本文本信息训练所述初始事件抽取模板，输出目标事件抽取模板，其中，所述初始事件抽取模板包括事件检测模块和要素抽取模块。通过本发明专利技术，解决了相关技术中的模型抽取事件信息的效率低的技术问题，提高了事件抽取模型的适应性和通用性。事件抽取模型的适应性和通用性。事件抽取模型的适应性和通用性。

【技术实现步骤摘要】
基于终身学习的金融领域事件抽取方法及装置


[0001]本专利技术涉及人工智能领域，具体而言，涉及一种基于终身学习的金融领域事件抽取方法及装置。

技术介绍

[0002]相关技术中，随着信息技术的快速发展，如何从大量新闻事件中快速提取关键有效的信息成为研究者面对的首要问题。在这样的需求指引下，信息抽取应运而生。信息抽取(Information Extraction)是指从非结构化来源中自动地抽取出结构化的信息，这些信息可以是实体、实体关系、实体属性等。事件抽取(Event Extraction)是一种更复杂的信息抽取形式，它能够提供更高层次的内容处理抽象能力，是自然语言处理中一个重要的研究方向，是信息抽取技术的子任务，旨在从文本中提取出可以描述事件的触发词和要素，在知识挖掘领域起着非常重要的作用。
[0003]相关概念包括：事件：某个特定的时间片段和地域范围内发生的，由一个或者多个角色参与，由一个或者多个动作组成的一件事情，一般来说是句子级的。事件触发词：表示事件发生的核心词，多为动词或名词；事件类型：预先定义的事件类型，例如：投资、判决、收购等；事件要素：事件的参与者，主要由实体、值、时间组成。值是一种非实体的事件参与者；要素角色：事件要素在事件中充当的角色，例如投资人、被投资人等。
[0004]例如：运匠科技曾于2017年10月获得儒艺资本的天使轮投资。如表1所示：
[0005]表1
[0006][0007]事件抽取是自然语言处理中一个重要的研究方向，是信息抽取技术的子任务，旨在从文本中提取出可以描述事件的触发词和要素，在知识挖掘领域起着非常重要的作用。特别是随着深度学习的发展，越来越多的神经网络模型在文本处理上表现出更好的有效性和准确率。从开放域自由文本中识别事件的发生并抽取事件的各要素的任务成为文本信息抽取与挖掘的研究难点。
[0008]事件抽取包括限定域事件抽取和开放域事件抽取。限定域事件抽取是指在进行抽取之前，预先定义好目标事件的类型及每种类型的具体结构(包含哪些具体的事件要素)，通常会给出一定数量的标注数据。而开放域事件抽取是指在进行事件识别之前，可能的事件类型以及事件的结构都是未知的，因此该任务通常没有标注数据，主要基于无监督的方法和分布假设理论。
[0009]金融事件抽取是事件抽取技术在金融领域的应用，能够帮助投资者快速获取公司的主要事件，识别投资风险以及投资机会，对金融市场有更全面的了解，进而做出正确的投资决策等。但由于金融文本的数量呈指数级增长，相关文本时效性较高，行业术语复杂，文本中往往包含着大量噪声文本和无关金融实体，使得金融领域事件抽取的难度大大增加。传统的金融领域事件抽取方法需要针对不同的事件类型抽取不同的要素，类别之间无法共享信息，增加了事件抽取的难度和复杂性。
[0010]在相关技术进行时间抽取时，还存在以下缺陷：(1)在特定领域事件抽取的研究目前大多是针对特定的数据集，需要针对该领域不同的事件类型抽取不同的事件要素，不同的事件类别之间无法共享信息，增大了事件抽取的难度和复杂程度。(2)目前大部分金融领域事件抽取模型都是针对特定学习任务单独学习训练的，在特定任务中训练后的模型无法在新任务上有较好的表现，对于知识的记忆功能和迁移能力不够理想。(3)针对事件检测和事件要素抽取结果缺少反馈机制，难以及时纠正错误分类及要素抽取结果，事件抽取模板无法及时更新，无法实现模型的泛化性和可扩展性。
[0011]针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

技术实现思路

[0012]本专利技术实施例提供了一种基于终身学习的金融领域事件抽取方法及装置。
[0013]根据本申请实施例的一个方面，提供了一种基于终身学习的金融领域事件抽取方法，包括：配置初始事件抽取模板，其中，所述初始事件抽取模板包括多个事件类型，以及与每个所述事件类型对应的要素角色；采用样本文本信息训练所述初始事件抽取模板，输出目标事件抽取模板，其中，所述初始事件抽取模板包括事件检测模块和要素抽取模块。
[0014]进一步，采用样本文本信息训练所述初始事件抽取模板包括：针对所述样本文本信息中的每个描述文本，将所述描述文本输入所述事件检测模块，输出所述描述文本的事件类型信息，并训练所述事件检测模块；将所述事件类型信息和所述描述文本输入所述要素抽取模块，输出所述描述文本的要素角色信息，并训练所述要素抽取模块。
[0015]进一步，所述事件检测模块包括第一单词嵌入层，第一双向编码器表示BERT编码层，第一双向长短记忆模型BiLSTM层以及第一条件随机场CRF层，将所述描述文本输入所述事件检测模块，输出所述描述文本的事件类型信息，包括：将所述描述文本输入所述第一单词嵌入层，获取所述描述文本的文本向量；采用所述第一BERT编码层对所述文本向量进行嵌入编码，获得所述描述文本的单词向量矩阵；将所述单词向量矩阵输入所述第一BiLSTM层，输出所述描述文本的第一概率矩阵，其中，所述第一概率矩阵包括所述单词向量矩阵中每个单词映射到每个事件类型标签的概率；采用所述第一CRF层从所述概率矩阵中获取最优标记，并将所述最优标记确定为所述描述文本的所述事件类型信息。
[0016]进一步，所述要素抽取模块包括第二单词嵌入层，第二BERT编码层，第二BiLSTM层以及第二CRF层，将所述事件类型信息和所述描述文本输入所述要素抽取模块，输出所述描述文本的要素角色信息，包括：将所述描述文本输入所述第二单词嵌入层，获取所述描述文本的要素向量矩阵；针对所述要素向量矩阵中的每个要素向量，采用所述第二BERT编码层对所述要素向量进行嵌入编码，获得事件要素的角色向量矩阵，其中，所述角色向量矩阵包括所述事件要素属于每个要素角色的要素文本位置；将所述角色向量矩阵输入所述第二
BiLSTM层，输出所述事件要素的第二概率矩阵，其中，所述第二概率矩阵包括所述角色向量矩阵中每个事件要素映射到每个要素角色标签的概率；采用所述第二CRF层从所述第二概率矩阵中获取最优标记，并将所述最优标记确定为所述事件要素的要素角色信息。
[0017]进一步，所述第二BERT编码层包括多组二类分类器，采用所述第二BERT编码层对所述要素向量进行嵌入编码，获得事件要素的角色向量矩阵，包括：将所述要素向量的每个向量标识token分别输入每组二类分类器，输出所述要素向量的每个标识属于对应要素角色的要素起始字符和终止字符的概率值，其中，每个所述二类分类器对应一个要素角色。
[0018]进一步，所述初始事件抽取模板包括事件检测模块和要素抽取模块，采用样本文本信息训练所述初始事件抽取模板包括：采用所述事件检测模块的第一BERT编码层对输入的所述样本文本信息进行编码，输出事件类型信息，训练所述事件检测模块；读取训练后的所述事件检测模块的模块参数Θ
(1)
和所述样本文本信息中每个描述文本中每个句子的词向量；将所述词向量与事件类型对应的向量进行拼接后输入至所述要素抽取模块的第二BERT编码层，固定所述Θ
(1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于终身学习的金融领域事件抽取方法，其特征在于，包括：配置初始事件抽取模板，其中，所述初始事件抽取模板包括多个事件类型，以及与每个所述事件类型对应的要素角色；采用样本文本信息训练所述初始事件抽取模板，输出目标事件抽取模板，其中，所述初始事件抽取模板包括事件检测模块和要素抽取模块。2.根据权利要求1所述的方法，其特征在于，采用样本文本信息训练所述初始事件抽取模板包括：针对所述样本文本信息中的每个描述文本，将所述描述文本输入所述事件检测模块，输出所述描述文本的事件类型信息，并训练所述事件检测模块；将所述事件类型信息和所述描述文本输入所述要素抽取模块，输出所述描述文本的要素角色信息，并训练所述要素抽取模块。3.根据权利要求2所述的方法，其特征在于，所述事件检测模块包括第一单词嵌入层，第一双向编码器表示BERT编码层，第一双向长短记忆模型BiLSTM层以及第一条件随机场CRF层，将所述描述文本输入所述事件检测模块，输出所述描述文本的事件类型信息，包括：将所述描述文本输入所述第一单词嵌入层，获取所述描述文本的文本向量；采用所述第一BERT编码层对所述文本向量进行嵌入编码，获得所述描述文本的单词向量矩阵；将所述单词向量矩阵输入所述第一BiLSTM层，输出所述描述文本的第一概率矩阵，其中，所述第一概率矩阵包括所述单词向量矩阵中每个单词映射到每个事件类型标签的概率；采用所述第一CRF层从所述概率矩阵中获取最优标记，并将所述最优标记确定为所述描述文本的所述事件类型信息。4.根据权利要求2所述的方法，其特征在于，所述要素抽取模块包括第二单词嵌入层，第二BERT编码层，第二BiLSTM层以及第二CRF层，将所述事件类型信息和所述描述文本输入所述要素抽取模块，输出所述描述文本的要素角色信息，包括：将所述描述文本输入所述第二单词嵌入层，获取所述描述文本的要素向量矩阵；针对所述要素向量矩阵中的每个要素向量，采用所述第二BERT编码层对所述要素向量进行嵌入编码，获得事件要素的角色向量矩阵，其中，所述角色向量矩阵包括所述事件要素属于每个要素角色的要素文本位置；将所述角色向量矩阵输入所述第二BiLSTM层，输出所述事件要素的第二概率矩阵，其中，所述第二概率矩阵包括所述角色向量矩阵中每个事件要素映射到每个要素角色标签的概率；采用所述第二CRF层从所述第二概率矩阵中获取最优标记，并将所述最优标记确定为所述事件要素的要素角色信息。5.根据权利要求4所述的方法，其特征在于，所述第二BERT编码层包括多组二类分类器，采用所述第二BERT编码层对所述要素向量进行嵌入编码，获得事件要素...

【专利技术属性】
技术研发人员：王丽宏，贺敏，李倩，郭舒，盛傢伟，黑一鸣，孙睿，周才博，毛乾任，李晨，黄洪仁，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：