基于推荐的事件检测模型的构建方法及利用模型进行事件检测的方法技术

一种基于推荐的事件检测模型的构建方法包括：对包含事件文本、触发词、事件类型的原始数据集进行预处理，构建初始的基于推荐的事件检测模型及初始参数，所述模型包括BERT层、触发词超图卷积层、触发词判别器、事件类型超图卷积层、注意力权重层、神经协同过滤层、预测层；对模型进行触发词和事件类型层面的训练；一种使用基于推荐的事件检测模型进行事件检测的方法为将包含事件类型、正采样事件文本及负采样事件文本输入至基于推荐的事件检测模型中根据交互分数推荐top

【技术实现步骤摘要】
基于推荐的事件检测模型的构建方法及利用模型进行事件检测的方法

：
[0001]本专利技术属于自然语言处理领域，具体涉及一种基于推荐的事件检测模型的构建方法及利用模型进行事件检测的方法。

技术介绍
：
[0002]事件检测是自然语言处理领域中一个常见的语义分析任务，其目的在于检测某条语句或某篇文章是否与某类事件相关，常规的事件检测技术是通过设计特有的模型，首先检测事件文本的触发词，然后判断触发词是属于哪一个事件类型，如Liu等人在[Jointly Multiple Events Extraction via Attention
‑
based Graph Information Aggregation]一文中提出的OneIE模型使用基于注意力机制的图卷积网络进行事件检测，但OneIE存在长尾问题，即测试数据中许多触发因素可能不会出现在训练数据中，同时还存在某个触发词可能所属多个事件类型，但OneIE可能出现分类错误的情况，除此之外，数据集中的触发词需要人工标注，需要大量的人工成本，最后在现有技术中，尚未有将推荐的思想应用到事件检测中来的方法。

技术实现思路
：
[0003]针对上述问题，本专利技术提供了一种基于推荐的事件检测模型的构建方法及利用模型进行事件检测的方法，达到了通过对群组的文本推荐来实现事件检测的目的。
[0004]一种基于推荐的事件检测模型的构建方法，该方法包括：
[0005]对包含事件文本、触发词、事件类型的原始数据集进行预处理：将原始数据集中的事件文本、触发词、事件类型提取出来保存在JSON文件中，每条数据的事件文本、触发词、事件类型构成一个数据样本；将预处理后的数据集按7:3的比例划分为测试集和训练集；对训练集中的每个数据样本分别生成事件文本、触发词、事件类型的映射整数，分别构建事件文本
‑
映射整数字典、触发词
‑
映射整数字典、事件类型
‑
映射整数字典、事件类型
‑
触发词关系字典，通过所述事件文本
‑
映射整数字典、触发词
‑
映射整数字典、事件类型
‑
映射整数字典构建触发词粗粒度辅助张量h_ul_corase、触发词细粒度辅助张量h_ul_fine、事件类型辅助张量train_hgg；
[0006]其中，h_ul_coarse、h_ul_fine是描述事件类型
‑
触发词之间所属关系、触发词
‑
触发词关系的矩阵，其构建方式为：建立以训练集中的触发词的映射整数为行坐标、事件类型的映射整数为纵坐标的矩阵，矩阵元素表示是否存在事件类型
‑
触发词的对应关系，存在则为1，否则为0；设定一维向量θ为全0的、长度为触发词个数的向量，在0到触发词数量的闭区间内，随机选取触发词数量的1/5个整数，这些整数是触发词的映射整数，θ中出现随机触发词的位置的元素赋值为1，事件类型
‑
触发词矩阵的转置与θ进行矩阵乘法，得到的矩阵的转置记为α；设定一维向量β为全0的、长度为触发词个数的向量，在0到触发词数量的闭区间内，随机选取触发词数量的3/10个整数，β中出现随机触发词的位置的元素赋值为1，矩阵中
的每个行向量和β的转置进行矩阵乘法，得到的矩阵的转置记为γ；计算h_ul_coarse和h_ul_fine的具体过程如下：α的第0维和第1维分别加上10
‑5得到中间变量α
DV
和α
DE
；γ的第0维和第1维分别加上10
‑5得到中间变量γ
DV
、γ
DE
，以α
DV
、γ
DV
、α
DE
、γ
DE
的每个元素的倒数作为矩阵的对角线元素分别构建中间矩阵α
invDE
、γ
invDE
、α
DV2
、γ
DV2
，将α
DV2
、α、α
invDE
、α的转置和α
DV2
全部进行矩阵相乘得到h_ul_corase；将γ
DV2
、γ、γ
invDE
、γ的转置和γ
DV2
全部进行矩阵相乘得到h_ul_fine；
[0007]事件类型辅助张量train_hgg是一个描述事件类型之间关系的矩阵，事件类型之间的关系指的是，任意两个不同的事件类型之间，是否存在部分触发词相同；建立以训练集中事件类型的映射整数为行和列的事件类型矩阵，若两个不同的事件类型之间存在部分触发词相同，则在矩阵中两个指向的位置赋值为1，否则赋值为0，所述事件类型矩阵和其转置矩阵完成矩阵乘法后，结果再与所述事件类型矩阵完成对应元素相乘即可得到train_hgg；
[0008]构建初始的基于推荐的事件检测模型及初始参数，所述基于推荐的事件检测模型包括：BERT层、触发词超图卷积层、触发词判别器、事件类型超图卷积层、注意力权重层、神经协同过滤层、预测层；其中，触发词超图卷积层由两个自定义层组成，事件类型超图卷积层由一个自定义层组成，将六个随机初始化的可学习参数分别作为三个所述自定义层的权重和偏置，所述自定义层对输入做对应元素相乘，触发词超图卷积层和事件类型超图卷积层均使用dropout函数；触发词判别器包括一全连接层和一个双线性层，触发词判别器使用带有逻辑回归的二分类交叉熵损失BCEwithLogitsLoss作为损失函数以最大化正对之间的一致性，触发词判别器学习两个输入张量之间的分数，并为正对分配比负对更高的分数；预测层为一个二层感知器，所述二层感知器使用relu函数和dropout函数；注意力权重层是为了计算触发词关于事件文本的权重，此权重表示触发词在事件类型决策中的权重，或者说是触发词在决定事件类型对事件文本的选择方面的影响，显然，如果触发词对某个事件文本有显式的交互关系，它应该在事件类型对事件文本的选择上有更大的影响；
[0009]将所述训练集中的所有触发词输入至初始的基于推荐的事件检测模型中，经过BERT层得到触发词词向量，所述触发词词向量分别与h_ul_corase和h_ul_fine输入到触发词超图卷积层分别得到触发词粗粒度超图特征值和触发词细粒度超图特征值；针对训练集中的数据样本构建<正采样触发词，负采样触发词>的数据对，根据数据对中正采样触发词的映射整数和负采样触发词的映射整数在触发词粗粒度超图特征值和触发词细粒度超图特征值中索引得到正采样触发词粗粒度超图特征值、正采样触发词细粒度超图特征值及负采样触发词粗粒度超图特征值；正采样触发词粗粒度超图特征值和正采样触发词细粒度超图特征值经过触发词判别器后输出触发词正对分数；正采样触发词粗粒度超图特征值和负采样触发词粗粒度超图特征值经过判别器输出触发词负对分数；通过触发词正对分数和触发词负对分数计算损失值并更新模型参数；
[0010]将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于推荐的事件检测模型的构建方法，其特征在于，所述方法包括：对包含事件文本、触发词、事件类型的原始数据集进行预处理：将原始数据集中的事件文本、触发词、事件类型提取出来保存在JSON文件中，每条数据的事件文本、触发词、事件类型构成一个数据样本；将预处理后的数据集按比例划分为测试集和训练集；对训练集中的每个数据样本分别生成事件文本、触发词、事件类型的映射整数，分别构建事件文本
‑
映射整数字典、触发词
‑
映射整数字典、事件类型
‑
映射整数字典、事件类型
‑
触发词关系字典，通过所述事件文本
‑
映射整数字典、触发词
‑
映射整数字典、事件类型
‑
映射整数字典构建触发词粗粒度辅助张量h_ul_corase、触发词细粒度辅助张量h_ul_fine、事件类型辅助张量train_hgg；构建初始的基于推荐的事件检测模型及初始参数，所述基于推荐的事件检测模型包括：BERT层、触发词超图卷积层、触发词判别器、事件类型超图卷积层、注意力权重层、神经协同过滤层、预测层；其中，触发词超图卷积层由两个自定义层组成，事件类型超图卷积层由一个自定义层组成，将六个随机初始化的可学习参数分别作为三个所述自定义层的权重和偏置；触发词判别器包括一全连接层和一个双线性层；预测层为一个二层感知器；将所述训练集中的所有触发词输入至初始的基于推荐的事件检测模型中，经过BERT层得到触发词词向量，所述触发词词向量分别与h_ul_corase和h_ul_fine输入到触发词超图卷积层分别得到触发词粗粒度超图特征值和触发词细粒度超图特征值；针对训练集中的数据样本构建<正采样触发词，负采样触发词>的数据对，根据数据对中正采样触发词的映射整数和负采样触发词的映射整数在触发词粗粒度超图特征值和触发词细粒度超图特征值中索引得到正采样触发词粗粒度超图特征值、正采样触发词细粒度超图特征值及负采样触发词粗粒度超图特征值；正采样触发词粗粒度超图特征值和正采样触发词细粒度超图特征值经过触发词判别器后输出触发词正对分数；正采样触发词粗粒度超图特征值和负采样触发词粗粒度超图特征值经过判别器输出触发词负对分数；通过触发词正对分数和触发词负对分数计算损失值并更新模型参数；将所述训练集中所有的触发词和事件类型分别输入到更新参数后的基于推荐的事件检测模型中，经过BERT层后得到全部触发词的词向量和全部事件类型的词向量；将所有触发词词向量、触发词粗粒度辅助张量及触发词细粒度辅助张量输入至触发词超图卷积层后得到触发词粗粒度超图特征值和触发词细粒度超图特征值，将触发词粗粒度超图特征值和触发词细粒度超图特征值之和作为触发词双粒度超图特征值；将所有的事件类型词向量和事件类型辅助张量输入事件类型超图卷积层得到事件类型超图特征值；针对每一个事件类型，通过事件类型
‑
触发词的关系字典中索引得到该事件类型中的所有触发词，将该事件类型的所有触发词输入到更新参数后的基于推荐的事件检测模型中，经过BERT层得到该事件类型所有触发词的词向量；根据触发词
‑
映射整数字典获取到该事件类型所有触发词的映射整数，通过所述映射整数在所述触发词的双粒度超图特征值中索引得到该事件类型所有触发词的行向量；将所述行向量与该事件类型所有触发词的词向量相加得到该事件类型所有触发词的嵌入表示；针对训练集中的数据样本构建<事件类型，正采样事件文本，负采样事件文本>的数据对，将所述数据对输入至更新参数后的基于推荐的事件检测模型中，经过BERT层后得到事件文本的词向量，所述事件文本为正采样事件文本和负采样事件文本；将所述事件文本的词向量与所述该事件类型所有触发词的嵌入表示拼接后，输入到注意力权
重层得到该事件类型所有触发词关于事件文本的权重，将该事件类型所有触发词加权后与事件类型的词向量、事件类型超图特征值中该事件类型对应行向量求和得到该事件类型的嵌入表示；将该事件类型的嵌入表示、事件文本的词向量经神经协同过滤层得到该事件类型关于事件文本的交互特征，将所述交互特征、该事件类型的词向量及事件文本的词向量拼接后，输入到预测层，输出得到该事件类型关于事件文本的交互分数；事件类型和正采样事件文本的交互分数为正分数，事件类型和负采样事件事件文本的交互分数为负分数，通...

【专利技术属性】
技术研发人员：闫琰，李天诚，张博文，李文捷，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：