一种基于图结构的情绪原因提取方法技术

本发明专利技术涉及自然语言处理技术领域，公开了一种基于图结构的情绪原因提取方法；在图构建模块中，通过在情绪原因句子、情绪句子以及情绪之间构建边，有效构建起了他们之间的上下文和情绪信息之间的关系，并通过关系图卷积网络和注意力图卷积神经网络的建模有效利用了这些信息，从而提升了模型的性能；通过注意力图卷积神经网络模块计算注意力系数，对不同的上下文信息和情绪信息进行加权，实现了对不同信息的重要性的识别和利用，有效避免了这些信息中潜在的噪音对模型性能的影响。中潜在的噪音对模型性能的影响。中潜在的噪音对模型性能的影响。

【技术实现步骤摘要】
一种基于图结构的情绪原因提取方法


[0001]本专利技术涉及自然语言处理
，具体涉及一种基于图结构的情绪原因提取方法。

技术介绍

[0002]情绪原因提取旨在从对话中提取出导致目标情绪句子含有特定情绪的“情绪原因片段”。现有的方法把这个任务看作是抽取式问答任务，将情绪、情绪句子和单个情绪原因句子填入问题模板，并从情绪原因句子中抽取出情绪原因片段。
[0003]这种做法的局限性在于每次仅对一个情绪原因句子分析，忽略了句子之间的因果关系，可能造成情绪原因片段的遗漏。
[0004]本专利技术建立关于情绪原因句子、目标情绪句子和情绪的有向图模型，并将它们的相对位置关系引入到边上，从而全面地捕获情绪产生过程的因果关系，减少了由于忽略句子间因果关系造成的遗漏问题。

技术实现思路

[0005]为解决上述技术问题，本专利技术提供一种基于图结构的情绪原因提取方法。
[0006]为解决上述技术问题，本专利技术采用如下技术方案：一种基于图结构的情绪原因提取方法，通过情绪原因提取模型从对话中提取出导致情绪句子含有特定情绪E的情绪原因片段，情绪原因片段所在的句子称为情绪原因句子；对话记为，其中为对话的第i个句子，N为对话中的句子总数，为第i个句子的第j个词，为第i个句子中词的总数；情绪句子记为；为词的情绪原因抽取标签，当不属于情绪E的原因时，；当在情绪E的原因的开始位置时，；在情绪E的原因的中间时，；将情绪原因抽取标签和的词按顺序组合在一起即形成所述的情绪原因片段；情绪原因提取模型包括编码器、多原因推测图网络和解码器；情绪原因提取模型训练过程包括以下步骤：步骤一、使用编码器为对话中的N个句子以及句子中的词进行编码，得到第i个句子的初始句子编码向量，第i个句子中第j个词的初始词编码向量；记情绪句子的初始情绪编码向量；将初始句子编码向量和初始情绪编码向量输入到双向长短期记忆网络后，得到句子编码向量和情绪编码向量；取句子
中，存在情绪原因片段的情绪原因句子对应的句子编码向量，得到原因编码向量，n为情绪原因句子的总数；第c个情绪原因句子中第j个词的词编码向量为；步骤二、使用多原因推测图网络，对n个原因编码向量、情绪E、情绪编码向量建模，得到n个增强原因隐向量，其中，第c个增强原因隐向量为；步骤三、使用解码器，对某个情绪原因句子的每个词的词编码向量与对应的原因增强隐向量进行粘连，生成增强词编码隐向量，即；将增强词编码隐向量通过全连接层得到最终输出词向量，即，和b分别为解码器矩阵和向量；其中每个维度的值表示对应维度的情绪标签得分，选择得分最高的情绪标签作为词的情绪原因抽取标签的预测结果。
[0007]进一步地，所述编码器为SpanBERT编码器。
[0008]进一步地，多原因推测图网络包括嵌入模块、图构建模块、关系图卷积神经网络模块和注意力图卷积神经网络模块；步骤二中，多原因推测图网络计算增强原因隐向量的过程如下：步骤21：在嵌入模块中，使用情绪嵌入矩阵，把情绪E映射为向量，然后计算原因编码隐向量、情绪隐向量和情绪句子隐向量：；其中和为可训练参数，构成关于原因编码向量的全连接层；为非线性激活函数；；其中和为可训练的参数，构成关于情绪编码向量的全连接层；；其中为情绪词嵌入矩阵，和均为线性激活函数的参数，表示自
变量；步骤22：在图构建模块中，把情绪句子隐向量、情绪隐向量以及n个原因编码隐向量作为节点表征；记这n+2个节点表征为，为第k个节点，其中当时，；当时，；当时，；得到邻接矩阵和关系矩阵；其中表示为G中任意两个节点之间的有向边，，表示有向边所标记的值，反映了节点与节点之间的关系；对得到的n+2个节点使用有向异构图模型进行建模：即G中的每一对节点都能够映射到邻接矩阵A中的一个元素，而邻接矩阵A中的元素也能够映射为关系矩阵中的元素；步骤23：在关系图卷积神经网络模块中，对于每个节点，将与有连接的其他节点的信息聚合到节点中后，记为节点：；其中，是与节点有连接的其他节点的集合；是关系矩阵R中起始节点为的可能值的集合，；是用于自连接的矩阵，能够聚合自身的信息；是在关系r下用于提取节点信息的矩阵，和均为可训练参数；步骤24：在注意力图卷积神经网络模块中，使用注意力机制，对连接节点的异构信息进行动态聚合，具体包括：对于节点，计算与连接的节点对应的注意力系数：；其中表示softmax激活函数，为LeakyRelu非线性激活函数，是用于
得到注意力打分值的可训练的向量，为可训练的参数，是与节点有连接的其他节点的集合；得到注意力系数后，将和相连的节点进行加权求和得到所述的增强原因隐向量：；其中，是节点对自身的注意力系数，是节点关于节点的注意力系数。
[0009]与现有技术相比，本专利技术的有益技术效果是：本专利技术在图构建模块中，通过在情绪原因句子、情绪句子以及情绪E之间构建边，有效构建起了他们之间的上下文和情绪信息之间的关系，并通过关系图卷积网络和注意力图卷积神经网络的建模有效利用了这些信息，从而提升了模型的性能。
[0010]本专利技术通过注意力图卷积神经网络模块计算注意力系数，对不同的上下文信息和情绪信息进行加权，实现了对不同信息的重要性的识别和利用，有效避免了这些信息中潜在的噪音对模型性能的影响。
附图说明
[0011]图1为本专利技术的整体模型结构图。
具体实施方式
[0012]下面结合附图对本专利技术的一种优选实施方式作详细的说明。
[0013]情绪原因提取方法，是通过情绪原因提取模型从对话中提取出导致情绪句子含有特定情绪E的情绪原因片段，情绪原因片段所在的句子称为情绪原因句子。
[0014]对话记为，其中为对话的第i个句子，N为对话中的句子总数，为第i个句子的第j个词，为第i个句子中词的总数；情绪句子记为；为词的情绪原因抽取标签，当不属于情绪E的原因时，；当在情绪E的原因的开始位置时，；在情绪E的原因的中间时，；将情绪原因抽取标签和的词按顺序组合在一起即形成情绪原因片段。
[0015]本专利技术中的情绪原因提取模型包括编码器、多原因推测图网络和解码器；情绪原因提取模型训练过程包括以下步骤：S1、使用编码器为对话中的N个句子以及句子中的词进行编码，得到第i个句子的
初始句子编码向量，第i个句子中第j个词的初始词编码向量；记情绪句子的初始情绪编码向量；将初始句子编码向量和初始情绪编码向量输入到双向长短期记忆网络后，得到句子编码向量和情绪编码向量；由于情绪句子属于对话中所有句子的一部分，故将初始句子编码向量输入双向长短期记忆网络（BiLSTM）时，同时也会将初始情绪编码向量输入，但这里为了强调，故写做：将初始句子编码向量和初始情绪编码向量输入到双向长短期记忆网络。
[0016]取句子中，存在情绪原因片段的情绪原因句子对应的句子编码向量，得到原因编码向量，n为情绪原因句子的总数；第c个情绪原因句子中第j个词的词编码向量为。情绪原因句子不一定在对话中的句子中连续。
[0017]S2、使用多原因推测图网络，对n个原因编码向量、情绪E、情绪编码向量建模，得到n个增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图结构的情绪原因提取方法，其特征在于，通过情绪原因提取模型从对话中提取出导致情绪句子含有特定情绪E的情绪原因片段，情绪原因片段所在的句子称为情绪原因句子；对话记为，其中为对话的第i个句子，N为对话中的句子总数，为第i个句子的第j个词，为第i个句子中词的总数；情绪句子记为；为词的情绪原因抽取标签，当不属于情绪E的原因时，；当在情绪E的原因的开始位置时，；在情绪E的原因的中间时，；将情绪原因抽取标签和的词按顺序组合在一起即形成所述的情绪原因片段；情绪原因提取模型包括编码器、多原因推测图网络和解码器；情绪原因提取模型训练过程包括以下步骤：步骤一、使用编码器为对话中的N个句子以及句子中的词进行编码，得到第i个句子的初始句子编码向量，第i个句子中第j个词的初始词编码向量；记情绪句子的初始情绪编码向量；将初始句子编码向量和初始情绪编码向量输入到双向长短期记忆网络后，得到句子编码向量和情绪编码向量；取句子中，存在情绪原因片段的情绪原因句子对应的句子编码向量，得到原因编码向量，n为情绪原因句子的总数；第c个情绪原因句子中第j个词的词编码向量为；步骤二、使用多原因推测图网络，对n个原因编码向量、情绪E、情绪编码向量建模，得到n个增强原因隐向量，其中，第c个增强原因隐向量为；步骤三、使用解码器，对某个情绪原因句子的每个词的词编码向量与对应的原因增强隐向量进行粘连，生成增强词编码隐向量，即；将增强词编码隐向量通过全连接层得到最终输出词向量，即，和b分别为解码器矩阵和向量；其中每个
维度的值表示对应维度的情绪标签得分，选择得分最高的情绪标签作为词的情绪原因抽取标签的预测结果。2.根据权利要求1所述的基于图结构的情绪原因提取方法，其特征在于，所述编码器为SpanBERT编码器。3.根据权利要求1所述的基于图结构的情绪原因提取方法，其特征在于，多原因推测图网络包括嵌入...

【专利技术属性】
技术研发人员：宋彦，田元贺，张勇东，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：