【技术实现步骤摘要】
本专利技术涉及大语言模型，特别是涉及一种基于大语言模型和预训练模型的事件关联分析方法及系统。
技术介绍
1、随着大数据与人工智能技术的发展，事件关联分析在自然语言处理领域中的应用越来越广泛，尤其是在新闻分析、法律判决、政策分析等需要对大量事件关系进行挖掘的场景中。然而，传统的事件关系抽取方法往往依赖于手工规则或简单的机器学习模型，这些方法在面对复杂事件的语义结构和长距离依赖关系时存在显著不足，难以准确识别事件之间的因果、顺承和上下位等复杂关系。尤其是在事件描述模糊或信息不完整的情况下，传统模型的准确性和泛化能力受到严重制约。
2、现有的事件关联分析方法大多基于小规模的标注数据集，而在现实应用中，事件数据通常存在数据稀疏、标注困难等问题。经典的基于特征工程或浅层学习的方法难以处理数据稀疏性，同时在高维文本特征中容易丧失语义信息。随着预训练大语言模型的兴起，研究者开始利用这些模型的强大特征提取能力对事件文本进行处理。然而，现有研究大多仅关注单一模型的特征提取或分类，忽视了对不同模型推理结果的综合应用。此外，由于现有的数据增强策略过于依赖人工生成的规则，生成的数据缺乏多样性，限制了模型的学习能力，尤其是在低资源环境下表现尤为不佳。因此，开发一种结合大模型和多种推理方法的事件关联分析系统，能够更加准确地捕捉事件之间的复杂语义关系，并提高模型的鲁棒性和泛化能力。
技术实现思路
1、针对目前事件关联分析任务中存在的不足，本专利技术提出了一种基于大语言模型和预训练模型的事件关联分析方
2、本专利技术还公开了一种基于大语言模型和预训练模型的事件关联分析方法，其包括：
3、步骤1：通过大语言模型对事件数据集中的每个事件对的上下文进行语义分析；大语言模型基于事件触发词、语境、以及事件之间的时间或逻辑顺序，对每对事件的潜在关系进行解释和描述；
4、步骤2：通过保持原有事件关系不变，大语言模型重写句子、替换事件的细节，生成事件描述；事件的细节包括参与者、时间和地点；
5、步骤3：将每个事件进行分句和分段处理后输入大语言模型，生成事件对的句子表示；大语言模型对事件的段落和句子级别的全局表示进行聚合；
6、步骤4：基于rag技术，检索与当前事件相关的语义段落；rag从语料库中提取与事件对相关的上下文信息，为推理提供基础；
7、步骤5：将事件推理任务拆解为多个步骤，每个步骤对应于事件关联分析中的具体推理任务；通过逐步分析，生成可能的推理路径，并对推理路径进行边缘化处理；通过边缘化推理，对多个推理路径同时进行评估，并得出最合理的推理结果；具体推理任务包括时间顺序推导和因果关系判断；
8、步骤6：采用大语言模型生成的特征向量作为输入，通过softmax分类器对事件对进行初步分类；softmax分类器将输出事件对之间关联关系的概率分布；关联关系包括因果关系、顺承关系或上下位关系；
9、步骤7：将步骤5输出的最合理的推理结果作为另一个输入，通过加权融合最合理的推理结果与softmax分类器的分类结果，生成最终的分类结果；
10、步骤8：根据分类结果判定事件对之间的具体关系类型，并输出事件间的因果、顺承或上下位关系的判定结果。
11、进一步地，所述步骤1之前，还包括：
12、假设事件数据集包含多个事件对，每个事件对由两个事件构成，用于描述两者之间的关联关系；事件数据集记为d={d_1, d_2, …, d_n}，其中，每个事件对d_i表示两个相关联的事件(e_i1, e_i2)；每个事件文本经过分词处理，并标注其相关信息，相关信息包括上下文信息、事件触发词和时间顺序。
13、进一步地，所述步骤2包括：
14、大语言模型生成符合原有逻辑链条的事件对，并替换相似的事件上下文以增加数据的丰富度：
15、(1)
16、其中，表示重写后由事件和事件组成的事件对，和表示两个事件,表示由事件和事件组成的事件对，表示基于大语言模型的事件重写方法。
17、进一步地，在所述步骤3中，将每个事件进行分句和分段处理后输入大语言模型，生成事件对的句子表示，包括：
18、大语言模型通过其自注意力机制，生成每个token在上下文中的嵌入表示，并通过整合上下文信息捕捉事件文本中的复杂语义和依赖关系；基于大语言模型，首先对输入文本进行分句、分段，生成事件对的句子表示：
19、(2)
20、其中，x为事件对的句子表示，x_m为对输入文本进行分句和分段后形成的第m个段落。
21、进一步地，在所述步骤3中，大语言模型对事件的段落和句子级别的全局表示进行聚合，包括：
22、通过读取[cls]标记输出或使用平均池化方法，获得段落和句子的全局语义特征；每个句子通过大语言模型编码为高维向量，大语言模型通过符号嵌入、片段嵌入和位置嵌入生成最终特征。
23、进一步地，大语言模型的嵌入表示定义为：
24、(3)
25、其中，表示大语言模型的嵌入表示，表示一个句子或段落，表示通过模型对句子或段落的词嵌入向量；
26、大语言模型使用多层自注意力机制生成每个句子中的上下文依赖特征；
27、通过[cls]标记或平均池化方式计算每个句子的全局表示：
28、(4)
29、其中，表示每个句子的全局表示，表示一个句子或段落的词嵌入向量，表示对输入文本进行分句和分段后形成的段落数量；
30、特征融合公式为：
31、(5)
32、其中，表示特征融合，表示一个句子或段落从roberta的层次中提取特征的词嵌入向量，表示层次中提取特征的词嵌入向量的融合加权系数。
33、进一步地，所述步骤5之后，所述步骤6之前，还包括：
34、在每个推理步骤后引入反思机制；反思机制对当前推理路径进行验证和修正，基于新的证据进行自我调整，以确保最终推理路径的准确性。
35、进一步地，所述步骤7包括：
36、对步骤5与softmax分类器的分类结果进行加权平均，生成分类结果：
37、(6)
38、其中，表示事件和事件之间通过加权平均得出的分类结果，表示事件和事件之间通过得出的分类结果，表示事件和事件之间通过cot得出的分类结果，为加权系数。
39、进一步地，在所述步骤8中，事件间的因果、顺承或上下位关系的判定结果表示为：
40、(7)
41、其中，为事件间的因果、顺承或上下位关系的判定结果，表示求最大值，表示事件和事件之间通过加权平均得出的分类结果。
42、本专利技术还公开了一种基于大语言模型和预训练模型的事件关联分析系统，适用于上述任一项所述的基于大语言模型和预训练模型的事件关联分析方法，其包括：
43、分析本文档来自技高网...
【技术保护点】
1.一种基于大语言模型和预训练模型的事件关联分析方法，其特征在于，包括：
2.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，所述步骤1之前，还包括：
3.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，所述步骤2包括：
4.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，在所述步骤3中，将每个事件进行分句和分段处理后输入大语言模型，生成事件对的句子表示，包括：
5.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，在所述步骤3中，大语言模型对事件的段落和句子级别的全局表示进行聚合，包括：
6.根据权利要求5所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，大语言模型的嵌入表示定义为：
7.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，所述步骤5之后，所述步骤6之前，还包括：
8.根据权利要求1所述的基于大语言模型和预训练模型的事件关联
9.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，在所述步骤8中，事件间的因果、顺承或上下位关系的判定结果表示为：
10.一种基于大语言模型和预训练模型的事件关联分析系统，适用于权利要求1-9任一项所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于大语言模型和预训练模型的事件关联分析方法，其特征在于，包括：
2.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，所述步骤1之前，还包括：
3.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，所述步骤2包括：
4.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，在所述步骤3中，将每个事件进行分句和分段处理后输入大语言模型，生成事件对的句子表示，包括：
5.根据权利要求1所述的基于大语言模型和预训练模型的事件关联分析方法，其特征在于，在所述步骤3中，大语言模型对事件的段落和句子级别的全局表示进行聚合，包括：
6.根...
【专利技术属性】
技术研发人员：曾曦，陈天莹，李霄，吕伟，徐舒霖，杜忠和，
申请(专利权)人：中国电子科技集团公司第三十研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。