【技术实现步骤摘要】
本专利技术属于大数据，尤其涉及一种基于图增强学习的文档级事件因果关系识别方法。
技术介绍
1、事件因果关系识别(event causality identificatoin,eci)是自然语言处理(natural language processing,nlp)的一个重要研究领域，旨在从文本数据中自动检测和提取事件之间的因果联系，挖掘潜在的逻辑因果关系。阐明事件因果关系在解释事件和指导过程分析中发挥着重要的作用，能够丰富叙事理解和优化信息检索。在科学研究领域，事件之间的因果联系是探索自然现象、验证科学假设的重要手段。通过从大量文献中提取和分析这些因果联系，可以帮助科研人员更好地理解自然现象、发现新的科学规律。特别是在进行基因相关的研究和探索时，常常遇到很多问题，比如基因与蛋白质之间相互作用的因果联系、基因在不同组织细胞中表达情况与基因结构的因果联系、基因与疾病预后的因果相关性，等等。
2、根据事件是否处于同一个句子中，eci任务可以分为句子级eci(sentence eci，seci)和文档级eci(documental eci，deci)。理解因果关系，特别是长文本和文档级事件因果关系，需要对上下文线索、特定领域知识和隐式语义逻辑有深入的理解。
3、早期的eci任务方法通过识别特定的特征或模式来发现事件因果关系，例如因果触发词、时间模式和共现模式等，但这类方法只能识别显式的因果关系，难以挖掘语义中蕴含的隐式因果联系。近年来，凭借强大的复杂特征学习能力，基于神经网络的eci模型成为了研究主流。特别是随着预
4、基于图的方法将eci视作节点分类或边预测问题，使用图卷积网络(graphconvolutional network,gcn)等图神经网络进行建模。然而，这些方法往往需要从一个全连接的事件因果图开始，在应用于事件较多的长文本时会引入大量噪声。此外，这种方法需要有效的事件嵌入表示，但在长文本中，事件提及受到大量无关上下文信息的干扰，难以获取合理的表征。外部知识增强的方法利用常识知识库(如conceptnet、wordnet等)查找事件提及相关的知识，以丰富背景知识和增强的训练数据，辅助神经网络模型的训练和推理。然而，这些常识知识(如三元组)是在无语境背景下生成的，当外部知识与文本内容不一致时，可能造成信息干扰和混淆。基于plm微调的方法利用标准微调或提示微调方法在标注数据上微调plm，使plm适应eci任务。这种方法受数据质量和提示模板的影响较大，且在跨主题迁移方面表现不佳。此外，标签不平衡可能导致大量漏报。
技术实现思路
1、针对现有方法的局限性，本专利技术提出了一种图增强transformer(graph enhancedtransformer,get)模型。get是transformer为基础框架的模型，联合了上述三种方法。首先，利用大语言模型(large language model,llm)作为外部知识库和推理器，生成先验因果图，获取更加精炼的初始图结构，以减少噪声、平衡标签。利用长文本预训练语言模型—longformer获取合理的上下文化事件表示和计算事件对相关程度，提供先验知识。然后，通过引入注意力掩码和自注意力初始化机制，将先验因果图和上下文化事件相关度融入transformer模型，以指导和控制模型的训练。llm和longformer的应用是端到端的，不需要任何训练或微调步骤。最后，设计了图重构损失和注意力分布偏移正则化损失来训练和优化模型。get的模型框架如图1所示。
2、为实现上述目的，本申请公开的基于图增强学习的文档级事件因果关系识别方法，包括以下步骤：
3、从基因数据库获取包含事件的文本数据t；示例性地，基因数据库为genecards数据库；
4、利用大语言模型作为外部知识库和推理器，生成先验因果图，获取初始图结构，以减少噪声、平衡标签；
5、利用长文本预训练语言模型获取上下文化事件表示和计算事件对相关程度，提供先验知识；
6、引入注意力掩码和自注意力初始化机制，使用longformer生成事件的上下文化表示，将先验因果图和上下文化事件相关度融入transformer模型，以指导和控制模型的训练；
7、使用图重构损失和注意力分布偏移正则化损失来训练和优化模型，以提取事件之间的因果关系；
8、输出基因数据库中识别出的事件之间的因果关系。
9、优选地，使用先验因果图pcg来限制输入的事件节点之间的连接数量；对于文本数据t和其中的事件提及集合m＝{m1,m2,…,mn,},mi∈t，n为事件提及的个数；所述先验因果图为gp＝{v,e}，其中v＝{v1,v2,…,vn,}表示节点集合，每一个节点vi对应一个事件提及mi；e＝{e1,e2,...,e|e|}表示边集合，每一条边对应一对节点，即ek＝(vi,vj)，表示mi和mj存在因果关系；所述先验因果图是一个有向无环图，图中的边信息被用于初始化输入transformer的事件提及间的连接关系。
10、优选地，利用基于提示学习的大语言模型进行端到端的先验因果图pcg构建；构建过程如下：
11、首先为llm设计一个提示模板，并提供示例进行上下文学习，然后利用思维链技术指导llm逐步推理，判断每一对事件之间的因果关系；
12、具体来说，在与llm的单次问答中，将提示词p输入到大模型中，p的形式如下：
13、p＝[e1；e2；t；(mi,mj)；q],
14、其中，e1和e2为正反例推理示例集，每个示例都包含<问题,推理过程,答案>三个元素；t和(mi,mj)为文本和目标事件对，q为因果识别的问题的标准格式；
15、然后，p被输入到llm中生成规范化输出：
16、o＝llm(p).
17、如果o＝"yes"那么添加边e＝(vi,vj)到g中，反之若o＝"no"则不添加边。
18、优选地，所述longformer生成事件的上下文化表示包括：
19、对于每个文本t和事件提及集合m＝，为文本添加开始和结束标记[s]和[s/]，每个事件提及添加特殊的标记[m]和[m/]，以标识事件提及在文本中位置；
20、利用分词器将文本数据t切分为多个标记w1,w2,...,w|t|+2n+2，其中w1＝w[s]，wt+2|n|+2＝w[s/]，利用longformer将其编码为对应嵌入向量：
21、t＝[w1,w2,...,w|t|+2n+2],
22、获取每一个事件提及对应的标记[m]的嵌入向量，并与文本的整体嵌入向量拼接，作为该事件提及的上下文化嵌入：
本文档来自技高网...【技术保护点】
1.一种基于图增强学习的文档级事件因果关系识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于图增强学习的文档级事件因果关系识别方法，其特征在于，使用先验因果图PCG来限制输入的事件节点之间的连接数量；对于文本数据T和其中的事件提及集合M＝{m1,m2,…,mN,},mi∈T，N为事件提及的个数；所述先验因果图为Gp＝{V,E}，其中V＝{v1,v2,…,vN,}表示节点集合，每一个节点vi对应一个事件提及mi；E＝{e1,e2,...,e|E|}表示边集合，每一条边对应一对节点，即ek＝(vi,vj)，表示mi和mj存在因果关系；所述先验因果图是一个有向无环图，图中的边信息被用于初始化输入Transformer的事件提及间的连接关系。
3.根据权利要求2所述的基于图增强学习的文档级事件因果关系识别方法，其特征在于，利用基于提示学习的大语言模型进行端到端的先验因果图PCG构建；构建过程如下：
4.根据权利要求3所述的基于图增强学习的文档级事件因果关系识别方法，其特征在于，所述Longformer生成事件的上下文化表示包括：
...【技术特征摘要】
1.一种基于图增强学习的文档级事件因果关系识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于图增强学习的文档级事件因果关系识别方法，其特征在于，使用先验因果图pcg来限制输入的事件节点之间的连接数量；对于文本数据t和其中的事件提及集合m＝{m1,m2,…,mn,},mi∈t，n为事件提及的个数；所述先验因果图为gp＝{v,e}，其中v＝{v1,v2,…,vn,}表示节点集合，每一个节点vi对应一个事件提及mi；e＝{e1,e2,...,e|e|}表示边集合，每一条边对应一对节点，即ek＝(vi,vj)，表示mi和mj存在因果关系；所述先验因果图是一个有向无环图，图中的边信息被用于初始化输入transformer的事件提及间的连接关系。
3.根据权利要求2所述的基于图增强学习的文档级事件因果关系识别方法，其特征在于，利用基于提示学习的大语言模型进行端到端的先验因果图pcg构建；构建过程如下：
4.根据权利要求3所述的基于图增强学习的文档级事件因果关系识别方法，其特征在于，所述longformer生成事件的上下文化表示包括：
5.根据权利要求4所...
【专利技术属性】
技术研发人员：成清，曾泽凡，黄金才，黄魁华，胡星辰，吴克宇，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。