【技术实现步骤摘要】
本申请涉及自然语言处理领域，尤其是涉及一种基于外源知识增强的生成式事件关系抽取方法及系统。
技术介绍
1、事件关系抽取技术指的是获取自然语言文本中事件之间的时间关系，例如确定一个事件是否在另一个事件之前、之后或者同时发生，现有的研究还提及了包含和被包含以及不确定的时间关系，即事件会存在持续的时间，进而存在包含和被包含的关系，以及结合上下文无法分析出来的时间顺序，也就是不确定的关系。事件之间的关系抽取能够帮助理解自然语言中复杂事件的动态，这有益于各种下游任务，包括事件图的构建、时序知识图谱的分析和构建、未来事件的预测以及问答和摘要、信息检索任务，结合事件之间的关系梳理出事件发生的时间线，通过理解已发生事件的时间关系，构建事件图和事件相关的时序知识图谱，可以预测未来可能发生的事件，在构建好的顺序基础上可以构建事件时间线，从而改善生成任务中的文本质量。现有的在该任务上的研究主要包括以下几种方式：将问题转换为多标签分类任务，采用编码器获取事件对的表示，然后输入到多层感知机中进行预测，这其中的方式还会包括事件对表示上的研究，更好的表示能够提升分类的效果，以及分类模型的构建，包括特征和注意力的调整，使其更加贴合于事件之间的时间关系分析任务，达到更好的分类效果，比如预训练语言模型的应用来改善事件的表示；还有的研究方法通过构建图模型以学习不同事件触发词之间的语义联系，或者采用不同的注意力机制来关注事件之间的以及事件前后的内容，来关注事件触发词和中间的文本片段，允许更细粒度地考虑句子特征和事件之间的关系，进而实现关系上的分类；还有的研究考虑外部知
2、常识知识指的是独立于训练数据外的外源与常识相关的知识，对于文本阅读，人类会做出常识上的推断，从而构建出他们对于所呈现的叙事的理解，对于机器来说，要实现这种能力，它们必须能够在无限的情况下获得相关和正确的常识，常识知识对于自然语言处理的下游任务来说非常重要，对于本申请面向的事件关系抽取任务尤为关键，因为语言表达总是丰富多样的，有限的文本篇幅会省略掉很多常识知识，在不同的语境中时间关系的语言表达的多样性。虽然在语言上有一些相似之处，但在语言表达上都有一些共同的、但未说出来的知识，这些知识决定了时间信息的表达方式，比如“毕业”一般会在“就业”前面，“吃饭”会在“做饭”之后，又比如在医疗方面，广泛采取预防措施，许多治疗方法只有在生病之前才有效。相反，在维修设备行业，大多数人在出现问题后修理他们的设备是很常见的。然而，尽管它对于人类的知识储备来说很简单就可以理解，但是这种常识性知识很少在文本中明确地陈述，并且在不同的领域差异很大，所以这就需要常识知识作为先验知识来改善模型对于常识知识的储备。现有的技术都是借助于预训练语言模型来提升对于样本中上下文和事件的语义理解，进而实现对于事件之间的关系的分析，但预训练语言模型的知识来自预训练阶段的大量语料，会受到预训练阶段的事实分布情况的影响，仅仅依靠下游任务对事件关系分析任务的训练很难完全表达出预训练语言模型中的知识，知识图可以通过在结构化知识的示例上重新训练语言模型，帮助语言模型更好地作为知识引擎转移，帮助语言模型泛化到假设的知识元组。
3、因此，如何提高模型在特定下游任务上的泛化能力，并减少预训练任务与下游任务之间的性能差异成为了亟待解决的技术问题。
技术实现思路
1、为了提高模型在特定下游任务上的泛化能力，并减少预训练任务与下游任务之间的性能差异，本申请提供一种基于外源知识增强的生成式事件关系抽取方法及系统。
2、第一方面，本申请提供的一种基于外源知识增强的生成式事件关系抽取方法采用如下的技术方案：
3、一种基于外源知识增强的生成式事件关系抽取方法，包括：
4、获取待分析的文本数据，所述文本数据中包含至少两个事件；
5、将所述文本数据输入至预训练语言模型ernie-gen中，以使所述预训练语言模型ernie-gen通过微调方式与常识知识库atomic2020结合并将事件相关的常识知识融入模型中；
6、基于所述预训练语言模型ernie-gen，将事件关系抽取任务转换为生成式任务，生成所述至少两个事件之间的时间关系；
7、在生成式任务中，通过辅助分类任务优化所述预训练语言模型ernie-gen的编码器参数；
8、输出所述至少两个事件之间的时间关系，所述时间关系包括事件发生的先后顺序、同步发生、包含关系或不确定关系中的至少一种。
9、可选的，所述将所述文本数据输入至预训练语言模型ernie-gen中，以使所述预训练语言模型ernie-gen通过微调方式与常识知识库atomic2020结合并将事件相关的常识知识融入模型中的步骤，包括：
10、将所述文本数据输入至预训练语言模型ernie-gen中以使所述预训练语言模型ernie-gen在常识知识库atomic2020中构建数据并进行训练；
11、将训练后的常识知识库atomic2020中的事实知识融入预训练语言模型ernie-gen中。
12、可选的，所述常识知识库中的数据为三元组数据，通过序列到序列的生成方式训练模型，使得模型能够生成缺失的头实体、关系或尾实体。
13、可选的，基于所述预训练语言模型ernie-gen，将事件关系抽取任务转换为生成式任务，生成所述至少两个事件之间的时间关系的步骤，包括：
14、将数据集进行调整，基于现有数据集中的需要分析的文本text、两个需要分析的事件event1和event2、标签数据label结合提示文本构建源序列和目标序列为：
15、
16、
17、使用进行编码和获取序列表示：
18、
19、
20、其中，x和y分别是源文本source和目标文本target的token序列化表示；
21、将编码后的源文本和目标文本的token表示输入到模型的编码器和解码器部分作为源序列和目标序列：
22、
23、其中，对应于编码器的嵌入向量表示为，表示第i个token的嵌入向量，n是源文本的token的数量，而对应于解码器的嵌入向量表示为本文档来自技高网...
【技术保护点】
1.一种基于外源知识增强的生成式事件关系抽取方法，其特征在于，包括：
2.根据权利要求1所述基于外源知识增强的生成式事件关系抽取方法，其特征在于，所述将所述文本数据输入至预训练语言模型ERNIE-GEN中，以使所述预训练语言模型ERNIE-GEN通过微调方式与常识知识库ATOMIC2020结合并将事件相关的常识知识融入模型中的步骤，包括：
3.根据权利要求2所述基于外源知识增强的生成式事件关系抽取方法，其特征在于，所述常识知识库中的数据为三元组数据，通过序列到序列的生成方式训练模型，使得模型能够生成缺失的头实体、关系或尾实体。
4.根据权利要求1所述基于外源知识增强的生成式事件关系抽取方法，其特征在于，基于所述预训练语言模型ERNIE-GEN，将事件关系抽取任务转换为生成式任务，生成所述至少两个事件之间的时间关系的步骤，包括：
5.根据权利要求4所述基于外源知识增强的生成式事件关系抽取方法，其特征在于，所述在生成式任务中，通过辅助分类任务优化所述预训练语言模型ERNIE-GEN的编码器参数的步骤，包括：
6.一种基于外源
7.根据权利要求6所述基于外源知识增强的生成式事件关系抽取系统，其特征在于，所述微调模块，还用于将所述文本数据输入至预训练语言模型ERNIE-GEN中以使所述预训练语言模型ERNIE-GEN在常识知识库ATOMIC2020中构建数据并进行训练；
8.根据权利要求6所述基于外源知识增强的生成式事件关系抽取系统，其特征在于，所述生成模块，还用于将数据集进行调整，基于现有数据集中的需要分析的文本Text、两个需要分析的事件Event1和Event2、标签数据Label结合提示文本构建源序列和目标序列为：
9.一种计算机设备，其特征在于，所述设备包括：存储器、处理器，所述处理器在运行所述存储器存储的计算机指令时，执行如权利要求1至5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至5中任一项所述的方法。
...【技术特征摘要】
1.一种基于外源知识增强的生成式事件关系抽取方法，其特征在于，包括：
2.根据权利要求1所述基于外源知识增强的生成式事件关系抽取方法，其特征在于，所述将所述文本数据输入至预训练语言模型ernie-gen中，以使所述预训练语言模型ernie-gen通过微调方式与常识知识库atomic2020结合并将事件相关的常识知识融入模型中的步骤，包括：
3.根据权利要求2所述基于外源知识增强的生成式事件关系抽取方法，其特征在于，所述常识知识库中的数据为三元组数据，通过序列到序列的生成方式训练模型，使得模型能够生成缺失的头实体、关系或尾实体。
4.根据权利要求1所述基于外源知识增强的生成式事件关系抽取方法，其特征在于，基于所述预训练语言模型ernie-gen，将事件关系抽取任务转换为生成式任务，生成所述至少两个事件之间的时间关系的步骤，包括：
5.根据权利要求4所述基于外源知识增强的生成式事件关系抽取方法，其特征在于，所述在生成式任务中，通过辅助分类任务优化所述预训练语言模型ernie-gen的...
【专利技术属性】
技术研发人员：丁兆云，赵雨，邹龍吟，王菲，王艺，汪佳乐，朱席席，刘蔚柯，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。