【技术实现步骤摘要】
本专利技术属于一种因果关系抽取方法，具体是涉及到一种基于多任务协同学习的去噪因果关系抽取方法及装置。
技术介绍
1、因果关系抽取(event causality extraction，ce)作为自然语言处理(naturallanguage processing，nlp)的一项重要任务，在各种下游应用中发挥着不可或缺的作用，如知识图谱、事件逻辑图谱和问题回答系统。提取因果关系是相当具有挑战性的，因为它需要能够捕捉丰富语义信息和复杂语言现象。传统的方法利用序列标签任务来完成ce，而这些方法取得了比传统方法好得多的性能。后续通过引入预训练的语言模型，如elmo和bert，也可以提高模型的理解能力，从而提高模型的性能。
2、然而，这些方法往往面临着噪声数据问题。这主要是因为文本中的一些词不太可能被标记为“原因”或“结果”，像形容词和介词这样的语义成分不能指向一个具体的实体，为标记因果实体引入了一些噪声。传统的序列标注框架往往会做出错误的预测，对于一些形容词和介词被不加区分地预测为“原因”或“结果”。例如，在semeval-2010task 8数据集、event storyline语料库和causal timebank上进行实验，使用bilstm+crf模型进行序列标注，研究形容词、介词等噪声数据对模型性能的影响。实验结果表明，在semeval-2010 task8数据集的前两个样本中，bert将"blind标记为“b-cause”，没有考虑到词语的词性，在causal timebank案例中也是类似的问题。此外，在event
3、由此可知，现有技术常用的因果抽取方法主要局限在单一域的因果关系抽取，无法有效处理多域的因果关系，导致抽取准确率低。
技术实现思路
1、本专利技术要解决的技术问题是现有技术常用的因果抽取方法主要局限在单一域的因果关系抽取，无法有效处理多域的因果关系，导致抽取准确率低，为了解决上述问题，本专利技术提供一种基于多任务协同学习的去噪因果关系抽取方法及装置。
2、本专利技术的内容包括：
3、第一方面，本专利技术实施例提供了一种基于多任务协同学习的去噪因果关系抽取方法，包括：
4、将待处理文本输入基于多任务协同学习的去噪因果关系抽取模型的任务共享层进行特征提取，得到提取结果；
5、将所述提取结果输入所述基于多任务协同学习的去噪因果关系抽取模型的特定任务层进行词性标注任务、组块分析任务和因果抽取任务，分别得到所述词性标注任务对应的特征标签、所述组块分析任务对应的特征标签以及所述因果抽取任务对应的特征标签；
6、其中，所述基于多任务协同学习的去噪因果关系抽取模型为所述词性标注任务、所述组块分析任务和所述因果抽取任务并行训练得到的。
7、可选地，所述基于多任务协同学习的去噪因果关系抽取模型包括：
8、词性标注任务子网，所述词性标注任务子网包括第一任务共享子层和第一特定任务子层，所述第一任务共享子层用于对所述待处理文本进行特征提取，得到第一提取结果，所述第一特征任务层用于基于所述第一提取结果进行词性标注，得到所述词性标注任务对应的特征标签；
9、组块分析任务子网，所述组块分析任务子网包括第二任务共享子层和第二特定任务子层，所述第二任务共享子层用于对所述待处理文本进行特征提取，得到第二提取结果，所述第二特征任务层用于基于所述第二提取结果进行组块分析，得到所述组块分析任务对应的特征标签；
10、因果关系抽取任务子网，所述因果关系抽取任务子网包括第三任务共享子层和第三特定任务子层，所述第三任务共享子层用于对所述待处理文本进行特征提取，得到第三提取结果，所述第三特征任务层用于基于所述第三提取结果进行因果抽取，得到所述因果抽取任务对应的特征标签；
11、其中，所述任务共享层包括所述第一任务共享子层、所述第二任务共享子层和所述第三任务共享子层，所述特定任务层包括所述第一特定任务子层、所述第二特定任务子层和所述第三特定任务子层。
12、可选地，所述第一任务共享子层包括依次连接的第一bert语义抽取层和第一bilstm层，所述第二任务共享子层包括依次连接的第二bert语义抽取层和第二bilstm层，所述第三任务共享子层包括依次连接的第三bert语义抽取层和第三bilstm层；
13、其中，所述第一bert语义抽取层、所述第二bert语义抽取层和所述第三bert语义抽取层的部分参数相同，所述第一bilstm层、所述第二bilstm层和所述第三bilstm层的部分参数相同。
14、可选地，所述第一特定任务子层包括依次连接的第一特征转换层和第一标签预测层，所述第二特定任务子层包括依次连接的第二特征转换层和第二标签预测层，所述第三特定任务子层包括依次连接的第三特征转换层和第三标签预测层。
15、可选地，所述方法还包括：
16、对待训练基于多任务协同学习的去噪因果关系抽取模型进行迭代训练，得到所述基于多任务协同学习的去噪因果关系抽取模型；
17、其中，在迭代训练过程中，迭代修剪所述词性标注任务子网、所述组块分析任务子网和所述因果关系抽取任务子网的部分参数。
18、可选地，对所述待训练基于多任务协同学习的去噪因果关系抽取模型进行迭代训练的损失函数为：
19、losstask＝{lossce，losspos tagging，losschunk analysis}；
20、losstask＝-logp(ytrue|x)；
21、
22、其中，ytrue用于表示真实标记序列，yx用于表示所有可能的标签序列，s(·)用于表示标签序列的得分，lossce用于表示所述因果抽取任务产生的损失函数，losspos tagging用于表示所述词性标注任务产生的损失函数，losschunk analysis用于表示所述组块分析任务产生的损失函数。
23、可选地，第n次迭代训练时，迭代修剪所述词性标注任务子网、所述组块分析任务子网和所述因果关系抽取任务子网的部分参数的减枝率满足：
24、
25、其中，p用于表示每次迭代的修剪率，α用于表示迭代训练完成后所述词性标注任务子网、所述组块分析任务子网和所述因果关系抽取任务子网中保留的参数百分比。
26、第二方面，本专利技术实施例提供一种基于多任务协同学习的去噪因果关系抽取装置，包括：
27、特征提取模块，用于将待处理文本输入基于多任务协同学习的去噪因果关系抽取模型的任务共享层进行特征提取，得到提取结果；
28、特定任务模块，用于将所述提取结果输入所述基于多任务协同学习的去噪因果关系抽取模型的特定任务层进行词性标注任务、组块分析任务本文档来自技高网...
【技术保护点】
1.一种基于多任务协同学习的去噪因果关系抽取方法，其特征是，包括：
2.如权利要求1所述的方法，其特征是，所述基于多任务协同学习的去噪因果关系抽取模型包括：
3.如权利要求2所述的方法，其特征是，所述第一任务共享子层包括依次连接的第一BERT语义抽取层和第一BiLSTM层，所述第二任务共享子层包括依次连接的第二BERT语义抽取层和第二BiLSTM层，所述第三任务共享子层包括依次连接的第三BERT语义抽取层和第三BiLSTM层；
4.根据权利要求2所述的方法，其特征是，所述第一特定任务子层包括依次连接的第一特征转换层和第一标签预测层，所述第二特定任务子层包括依次连接的第二特征转换层和第二标签预测层，所述第三特定任务子层包括依次连接的第三特征转换层和第三标签预测层。
5.如权利要求3所述的方法，其特征是，所述方法还包括：
6.如权利要求5所述的方法，其特征是，对所述待训练基于多任务协同学习的去噪因果关系抽取模型进行迭代训练的损失函数为：
7.如权利要求5所述的方法，其特征是，第n次迭代训练时，迭代修剪所述词性标注
8.一种基于多任务协同学习的去噪因果关系抽取装置，其特征是，包括：
9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征是，所述处理器，用于读取存储器中的程序实现如权利要求1至7中任一项所述的基于多任务协同学习的去噪因果关系抽取方法中的步骤。
10.一种可读存储介质，用于存储程序，其特征是，所述程序被处理器执行时实现如权利要求1至7中任一项所述的基于多任务协同学习的去噪因果关系抽取方法中的步骤。
...【技术特征摘要】
1.一种基于多任务协同学习的去噪因果关系抽取方法，其特征是，包括：
2.如权利要求1所述的方法，其特征是，所述基于多任务协同学习的去噪因果关系抽取模型包括：
3.如权利要求2所述的方法，其特征是，所述第一任务共享子层包括依次连接的第一bert语义抽取层和第一bilstm层，所述第二任务共享子层包括依次连接的第二bert语义抽取层和第二bilstm层，所述第三任务共享子层包括依次连接的第三bert语义抽取层和第三bilstm层；
4.根据权利要求2所述的方法，其特征是，所述第一特定任务子层包括依次连接的第一特征转换层和第一标签预测层，所述第二特定任务子层包括依次连接的第二特征转换层和第二标签预测层，所述第三特定任务子层包括依次连接的第三特征转换层和第三标签预测层。
5.如权利要求3所述的方法，其特征是，所述方法还包括：<...
【专利技术属性】
技术研发人员：陈皖玉，张一嘉，刘超凡，黄浩恩，张海燕，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。