【技术实现步骤摘要】
本专利技术涉及深度学习、自然语言处理，知识图谱等技术，具体是基于提示学习范式的事件时序关系抽取方法和装置。
技术介绍
1、近年来，随着信息技术的高速发展，各种门户网站、各种社交媒体每天都会产生海量的新闻数据，在新闻数据中最重要的核心内容之一是理解新闻事件。因此如何有效地从各种平台网页新闻中抽取事件相关信息，能帮助客户理解新闻事件、事件演化过程和最新发展趋势。事件时序关系指事件在时间维度上的先后顺承关系，包括之前、之后、同时等时序关系，是理解事件发展过程的重要组成部分。事件时序关系研究领域已经成为了一项极具实用价值、受到各方关注的重要研究课题。
2、事件时序关系抽取任务主要面临训练语料存在标签分布极不均衡的问题，即训练数据中“先后”关系样本数量占比极高、“同时”关系样本数量占比极低问题。上述问题使得时间时序关系抽取模型难以对“同时关系”等少样本时序关系进行有效建模，无法达到令人满意的抽取效果。
3、例如，多数模型在多个常用公开数据集上对同时关系的f1值评价指标效果为0，远低于之前、之后关系的70％多效果的抽取准确率。
技术实现思路
1、针对上述技术问题，本专利技术提出一种基于提示学习范式的事件时序关系抽取方法和装置，利用大规模预训练语言模型roberta，通过定制相应的模板和映射器，将时序关系抽取问题转换为大规模预训练语料训练的遮蔽语言模型(masked language model)问题。
2、为了解决上述技术问题，本专利技术的技术方案如下：p>
3、一种基于提示学习范式的少样本事件时序关系抽取方法，包括以下阶段/步骤：
4、第一阶段为事件时序关系模板配置阶段，通过配置模板要素和模板样式，生成多个候选的事件时序关系模板；
5、第二阶段为时序标签映射器配置阶段，通过硬映射与软映射方式，实现从预训练语言模型的词典到事件时序关系标签集合的映射，得到时序标签映射器；
6、第三阶段为事件时序关系分类器训练阶段，事件时序关系分类器包含事件时序关系模板和时序标签映射器两个主要部件，该阶段完成分类器中所有参数的训练；
7、第四阶段为事件时序关系预测阶段，对于输入句子和两个事件的触发词，利用训练完成的事件时序关系分类器判断两个事件之间的时序关系。
8、进一步地，所述事件时序关系模板配置阶段，包括模板要素配置和模板样式配置两个步骤：
9、1)配置模板要素，包括输入句子、事件触发词、时序关系、提示符号、提示向量等多个槽，每个槽都会被用户可理解的词或短语以及机器可读的数字向量填充。其中，句子槽“(原始句子)”用来填充原始的输入句子；事件触发词槽“(e1:事件触发词)”用来填充表示某个事件发生的触发词；时序关系槽“[mask]”用来填充表达某种时序关系的词或短语，称为时序遮蔽词；提示符号槽“{提示符号}”用来填充“辅助说明其它槽含义”的提示词或短语；提示向量槽“{提示向量}”用n维数字向量来填充。
10、2、配置模板样式，包括提示前置式、提示后置式、问答式三类。其中，提示前置式将提示符号放在事件触发词前面，提示后置式将提示符号放在事件触发词后面，问答式是在两个事件触发词后面加上两个时序关系的问题。
11、进一步地，所述时序标签映射器配置阶段，用于配置实现时序标签映射器的两种映射方式：
12、1)硬映射方式：直接建立时序标签与时序遮蔽词(即表示某种时序关系的词或短语表达)之间的关联关系，例如表示“之前”时序关系的词或短语before、prior、inadvance。其中，时序标签为事件时序关系标签集合中的时序标签，时序遮蔽词为预训练语言模型预测的处于遮蔽位置的词。
13、2)软映射方式：对时序标签映射器进行训练，使其在训练过程中动态地调整时序标签与时序遮蔽词之间的映射关系，例如哈希函数映射关系。
14、进一步地，所述事件时序关系分类器训练阶段，实现事件时序关系分类器的参数训练。分类器包括前面阶段设计好的事件时序关系模板和时序标签映射器，在此基础上增加全连接层、正则化层、softmax层，输出时序关系标签。训练过程包括两个步骤：
15、1)模板粗筛阶段，首先对提示前置式、提示后置式、问答式三种方式设计的事件时序关系模板在测试数据集上进行事件时序关系预测的f1值测试，选择表现最优的模板样式。
16、2)分类器参数精调阶段，根据前一阶段筛选出的模板样式，分别对模板中提示符号、提示向量，根据训练数据集进行精调，以获得最佳模板。
17、进一步地，所述事件时序关系预测阶段是在前一阶段训练好的事件时序关系分类器基础上，将待测试数据依次分批输入，得出归一化后的标签分布，选择概率最大的时序标签作为输出。
18、一种基于提示学习范式的少样本事件时序关系抽取装置，其包括：
19、模板配置模块，用于配置事件时序关系模板；
20、映射器配置模块，用于通过硬映射方式与软映射方式实现从预训练语言模型的词典到事件时序关系标签集合的映射，得到时序标签映射器；
21、分类器训练模块，用于训练事件时序关系分类器，所述事件时序关系分类器包含所述事件时序关系模板和所述时序标签映射器；
22、事件时序关系预测模块，用于对于输入句子，利用训练完成的事件时序关系分类器判断事件之间的时序关系。
23、本专利技术的有益效果在于：
24、本专利技术针对时序关系抽取任务中常面临的时序标签样本不均衡问题，提出了基于提示学习范式的事件时序关系抽取方法，将监督学习问题巧妙的转换为预训练语言模型所擅长的mlm问题。具体地，定义事件时序关系分类器，其中最重要的两个组件分别是：事件时序关系模板和时序标签映射器。其中，事件时序关系模板设计思路为：先筛选适合的时序关系模板样式，然后根据数据集特点在训练过程中对前一阶段筛选出的模板进行微调，以更好地从预训练语言模型中挖掘出潜在的时序关系知识。时序标签映射器设计思路为：通过人为指定设置硬的映射关系，或者通过模型训练建立软的映射关系，最后挑选效果好的方式作为标签映射器的实现。基于软方式的时序标签映射器，首先在时序遮蔽词和时序标签之间建立随机的映射关系，然后在训练过程中利用最速下降法对映射关系不断调整优化，待模型收敛后，即为时序遮蔽词与时序标签之间最优的映射关系。
25、本专利技术将监督学习任务转换为与预训练语言任务擅长的mlm任务，通过挖掘大规模预训练语言模型中蕴含的时序知识，有效地降低了时序关系的抽取难度，减少了训练所需数据规模，达到了很好的时序关系抽取效果。此外在模型训练过程中，依据梯度下降法自动优化模型，填充所需槽位信息，能够实现对事件时序关系识别任务的快速建模和数据适应，有效地缓解了训练语料缺乏导致的模型训练不足问题。
本文档来自技高网...【技术保护点】
1.一种基于提示学习范式的少样本事件时序关系抽取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述配置事件时序关系模板，包括：
3.根据权利要求1所述的方法，其特征在于，所述硬映射方式是直接建立时序标签与时序遮蔽词之间的关联关系；所述软映射方式是初始时将时序遮蔽词与时序标签随机建立映射关系，然后通过训练的方式动态地调整时序遮蔽词与时序标签之间的映射关系。
4.根据权利要求1所述的方法，其特征在于，所述事件时序关系分类器是在所述事件时序关系模板和所述时序标签映射器的基础上增加全连接层、正则化层、Softmax层，输出时序关系标签。
5.根据权利要求1所述的方法，其特征在于，所述事件时序关系分类器的训练过程包括模板粗筛阶段、分类器参数精调阶段；
6.根据权利要求1所述的方法，其特征在于，所述事件时序关系分类器在训练过程中采用梯度下降算法，随着训练的进行不断优化目标函数，使用的优化公式为：
7.根据权利要求1所述的方法，其特征在于，所述对于输入句子，利用训练完成的事件时序关系分类器判断
8.一种基于提示学习范式的少样本事件时序关系抽取装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一项所述方法的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一项所述的方法。
...【技术特征摘要】
1.一种基于提示学习范式的少样本事件时序关系抽取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述配置事件时序关系模板，包括：
3.根据权利要求1所述的方法，其特征在于，所述硬映射方式是直接建立时序标签与时序遮蔽词之间的关联关系；所述软映射方式是初始时将时序遮蔽词与时序标签随机建立映射关系，然后通过训练的方式动态地调整时序遮蔽词与时序标签之间的映射关系。
4.根据权利要求1所述的方法，其特征在于，所述事件时序关系分类器是在所述事件时序关系模板和所述时序标签映射器的基础上增加全连接层、正则化层、softmax层，输出时序关系标签。
5.根据权利要求1所述的方法，其特征在于，所述事件时序关系分类器的训练过程包括模板粗筛阶段、分类器参数精调阶段；
【专利技术属性】
技术研发人员：臧良俊，虎嵩林，韩冀中，张晓斌，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。