一种基于图增强预训练模型的事件预测方法技术

本发明专利技术公开了一种基于图增强预训练模型的事件预测方法，包括：获取事件序列，对事件序列进行预训练获得若干个编码向量，并对若干个编码向量进行聚合，获得事件序列的表示向量；基于事件序列的表示向量，获取事件序列中任两个事件的邻接关系；获取事理图谱，基于事理图谱获取事件的逻辑关系；基于任两个事件的邻接关系和事件的逻辑关系完成事件预测。采用事理图谱作为模型学习事件间关系模式的知识库，事理图谱是描述事件及其逻辑关系的图谱，其知识将为事件预测任务提供有力支撑，将预训练语言模型与图结构信息预测进行融合，既能利用预训练模型中的丰富语言学知识，充分理解各个事件的语义，能通过学习事理图谱结构变量实现图结构信息的预测。构信息的预测。构信息的预测。

【技术实现步骤摘要】
一种基于图增强预训练模型的事件预测方法


[0001]本专利技术属于事件预测领域，特别是涉及一种基于图增强预训练模型的事件预测方法。

技术介绍

[0002]事件预测任务要求机器为给定的一个或多个事件构成的事件上下文选择合适的后续事件。这一任务需要机器在充分理解事件语义的基础之上，进一步理解事件之间的关系。这种预测的能力可以更好地模拟现实事件的发展规律，能够应用在热点事件预测、金融风险预警、舆情分析等领域。为此，部分前期工作提出建模事件对关系与事件间链状关系，以预测给定的事件上下文的后续事件。为有效预测后续事件，模型还需进一步理解事件间的图结构的密集连接关系。此前工作大多利用检索式方法，向事件预测模型中引入图知识。然而，此类方法的表现高度依赖于事理图谱的覆盖度。如果事件未能被事理图谱所覆盖，则此类方法无从获得相应的结构特征，结构信息的缺失将极大影响模型的性能。但实际情况中几乎不可能构建一个覆盖绝大多数可能事件的事理图谱，因为事件是由多个语义元素组成的复杂语义单位。这种复杂性使得对于同一语义的事件对应多种表达方式，这使得事理图谱难以完全覆盖所有可能的事件。这一特性引起了检索式地利用事理图谱信息的困难。

技术实现思路

[0003]本专利技术的目的是提供一种基于图增强预训练模型的事件预测方法，以解决上述现有技术存在的问题。
[0004]为实现上述目的，本专利技术提供了一种基于图增强预训练模型的事件预测方法，包括：
[0005]获取事件序列，对所述事件序列进行预训练获得若干个编码向量，并对若干个所述编码向量进行聚合，获得事件序列的表示向量；
[0006]基于所述事件序列的表示向量，获取所述事件序列中任两个事件的邻接关系；
[0007]获取事理图谱，基于所述事理图谱获取事件的逻辑关系；
[0008]基于所述任两个事件的邻接关系和所述事件的逻辑关系完成事件预测。
[0009]可选的，对所述事件序列进行预训练获得若干个编码向量的过程中包括：
[0010]采用预训练语言模型BERT的若干层Transformer作为预训练的编码器；
[0011]基于所述编码器将所述事件序列中的若干个字符编码为若干个分布式表示向量，将所述分布式表示向量作为所述编码向量。
[0012]可选的，对若干个所述编码向量进行聚合，获得事件的表示向量的过程中包括：
[0013]基于注意力机制对所述编码向量进行均值池化，获得向量表示；
[0014]将所有所述向量表示集合成表示矩阵，将所述表示矩阵作为所述事件序列的表示向量。
[0015]可选的，基于所述事件序列的表示向量，获取所述事件序列中任意两个事件的邻
接关系的过程中包括：
[0016]基于双线性机制预测任意两个事件间的邻接关系，获得若干个任意两个事件间的关系强度系数；
[0017]将若干个所述关系强度系数构成矩阵并进行归一化，获得关系矩阵；
[0018]基于所述关系矩阵获得所述事件序列中任意两个事件的邻接关系。
[0019]可选的，基于所述双线性机制预测任意两个事件间的邻接关系的过程中，通过如下公式实现：
[0020][0021]其中为可训练参数，T(
·
)为转置操作，代表在第n层事件i的表示，代表在第n层事件j的表示，Γ
ij
为所述关系强度系数；
[0022][0023][0024]式中，均为可训练参数，
·
||
·
为拼接操作，i代表事件i，代表i的邻域，其中X
j
∈X，j≠i。
[0025]可选的，将若干个所述关系强度系数构成矩阵并进行归一化，获得关系矩阵的过程中包括：
[0026]对于事件序列中的所有事件，任意两个事件间的关系强度系数Γ
ij
形成一个矩阵其中t+1为事件个数，通过进一步将Γ归一化：
[0027][0028]其中，softmax
j
代表softmax函数，代表所述关系矩阵。
[0029]可选的，获取所述事理图谱，基于所述事理图谱获取事件的逻辑关系的过程中包括：
[0030]基于所述事理图谱对所述事件序列获取一个邻接矩阵；
[0031]基于邻接矩阵中的元素获得所述事件序列中任意两事件互为后续事件的概率；
[0032]基于所述邻接矩阵和所述关系矩阵，获取事件的逻辑关系。
[0033]可选的，基于所述事理图谱获取事件的逻辑关系的过程中还包括：
[0034]在事件预测误差项之外引入了一项额外的图重构损失，损失函数为：
[0035]L＝L
event_prediction
+L
graph_reconstruction
[0036]其中，L
event_prediction
为事件预测误差项，为一交叉熵损失，L
graph_reconstruction
为图重构误差项：
[0037][0038]其中A
i
与为A及的第i行，MultiNomial指多项分布。
[0039]本专利技术的技术效果为：
[0040]本专利技术提出了一种基于图增强预训练模型的事件预测方法。本方案拟采用事理图谱作为模型学习事件间关系模式的知识库，事理图谱是描述事件及其逻辑关系的图谱，其知识将为事件预测任务提供有力支撑。为了解决图谱覆盖性不足的问题，本方案提出了能够自动预测事理图谱结构信息，并有效利用该信息进行事件预测的框架GraphBERT，将预训练语言模型BERT与图结构信息预测进行融合，既能利用预训练模型中的丰富语言学知识，充分理解各个事件的语义，又能通过学习事理图谱结构变量实现图结构信息的预测。在没有事理图谱信息存在的情况下，也能通过预测该结构变量的取值，从而得到任意两个事件间之间的邻接关系，服务于事件预测任务。通过在脚本事件预测任务和故事结尾预测任务两个经典的事件预测任务数据集上的测试，在相同数据量的情况下，本方法取得了比现有事件预测方法更好的结果。
附图说明
[0041]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0042]图1为本专利技术实施例中的一种基于图增强预训练模型的事件预测的结构示意图；
[0043]图2为本专利技术实施例中的一种基于图增强预训练模型的事件预测的方法流程图。
具体实施方式
[0044]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0045]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0046]如图1、图2所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图增强预训练模型的事件预测方法，其特征在于，包括以下步骤：获取事件序列，对所述事件序列进行预训练获得若干个编码向量，并对若干个所述编码向量进行聚合，获得事件序列的表示向量；基于所述事件序列的表示向量，获取所述事件序列中任两个事件的邻接关系；获取事理图谱，基于所述事理图谱获取事件的逻辑关系；基于所述任两个事件的邻接关系和所述事件的逻辑关系完成事件预测。2.根据权利要求1所述的方法，其特征在于，对所述事件序列进行预训练获得若干个编码向量的过程中包括：采用预训练语言模型BERT的若干层Transformer作为预训练的编码器；基于所述编码器将所述事件序列中的若干个字符编码为若干个分布式表示向量，将所述分布式表示向量作为所述编码向量。3.根据权利要求2所述的方法，其特征在于，对若干个所述编码向量进行聚合，获得事件的表示向量的过程中包括：基于注意力机制对所述编码向量进行均值池化，获得向量表示；将所有所述向量表示集合成表示矩阵，将所述表示矩阵作为所述事件序列的表示向量。4.根据权利要求1所述的方法，其特征在于，基于所述事件序列的表示向量，获取所述事件序列中任意两个事件的邻接关系的过程中包括：基于双线性机制预测任意两个事件间的邻接关系，获得若干个任意两个事件间的关系强度系数；将若干个所述关系强度系数构成矩阵并进行归一化，获得关系矩阵；基于所述关系矩阵获得所述事件序列中任意两个事件的邻接关系。5.根据权利要求4所述的方法，其特征在于，基于所述双线性机制预测任意两个事件间的邻接关系的过程中，通过如下公式实现：其中为可训练参数，T(
·
)为转置操作，代表在第n层事件i的表示，代表在第n层事件j的表示，Γ
...

【专利技术属性】
技术研发人员：丁效，吴婷婷，杜理，秦兵，刘挺，王若珂，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：