基于注意力机制的自然语言文本三元组提取方法及系统技术方案

本发明专利技术公开了一种基于注意力机制的自然语言文本三元组提取方法及系统，首先对输入进行双路编码；然后对双路编码的结果进行双向注意力机制处理；最后对双向注意力机制得到的相关性矩阵进行处理，得到三元组结果。本发明专利技术对输入分为aspect路和opinion路进行编码，其中，对aspect路用双层BiLSTM进行处理；对opinion路首先进行依存分析，在依存分析的基础上构建图卷积网络，之后用单层BiLSTM进行处理；并且在双路编码时，引入辅助任务以更好地提取关键信息。本发明专利技术引入辅助任务进行双路编码，能够更好地提取关键信息；通过双向注意力机制使得aspect提取任务和opinion提取任务能够显式地相互促进、提高；通过将相关性矩阵纳入优化目标，使得三元组的抽取更加一体化。使得三元组的抽取更加一体化。使得三元组的抽取更加一体化。

【技术实现步骤摘要】
基于注意力机制的自然语言文本三元组提取方法及系统


[0001]本专利技术自然语言处理
，具体为一种自然语言文本中抽取出<aspect，opinion，sentiment>三元组方法及系统，具体涉及一种基于注意力机制的自然语言文本三元组提取方法及系统。

技术介绍

[0002]深度学习是用计算机模仿人类神经网络对信息的处理方式的一种方法，在21世纪10年代之后在图像处理、自然语言处理等领域取得了重大突破。深度学习中注意力机制，借鉴了人类视觉所特有的一种大脑信息处理机制。一般来说，人类在观察外界环境时会迅速的扫描全景，然后根据大脑信号的处理快速的锁定重点关注的目标区域，最终形成注意力焦点。该机制可以帮助人类在有限的资源下，从大量无关背景区域中筛选出具有重要价值信息的目标区域，帮助人类更加高效的处理视觉信息。在自然语言处理领域，注意力机制被用于定位关键的词汇，达到高效准确处理文本信息的目的。情感分析是用计算机处理人类自然语言以从中获取相关情感倾向的技术。细粒度情感分析，目标是在获取到情感倾向的基础上，还要获得情感对应的更多的信息。三元组情感分析是细粒度情感分析中的一种，其目标在于从自然语言文本中抽取出<aspect，opinion，sentiment>三元组。其中aspect是情感表达的对象，是具体的客体，通常是名词、指代词等；opinion是体现情感的关键词，通常是形容词、语气词等；sentiment是具体的情感极性，通常有正面(positive)、负面(negative)、中性(natural)三种。
[0003]现有的技术方案为：
[0004]1.基于词典的细粒度情感分析方法，首先标记情感词，判断情感倾向，然后处理情感反转词和转折词，最后用一定的规则汇总情感得分。
[0005]2.基于监督学习的细粒度情感分析方法，利用句法生成树生成关联评价对象的特征集，然后利用机器学习方法进行训练。
[0006]3.基于深度学习的细粒度情感分析方法：首先获取每个词汇的词嵌入，然后利用循环网络或卷积网络等结构，分多个阶段地抽取相关信息。
[0007]传统的细粒度情感分析方法通常面临两个问题：
[0008]1.抽取的信息不够全面，通常只涉及到<aspect,opinion,sentiment>中的一个或者是两个；
[0009]2.抽取的信息比较全面的方法，通常分多个阶段来进行抽取不同的信息，因此多个任务之间的相互辅助提升的效果是间接的，并且存在误差传递的问题；
[0010]因此，我们提出一种基于注意力机制的三元组情感分析方法，以便于解决上述中提出的问题。

技术实现思路

[0011]本专利技术提供了一种基于注意力机制的自然语言文本三元组提取方法及系统，以解
决上述
技术介绍
中提出的，信息抽取不够全面、多元信息之间相互促进效果不直接、多阶段任务误差传递等问题。
[0012]本专利技术的方法所采用的技术方案是：一种基于注意力机制的自然语言文本三元组提取方法，包括以下步骤：
[0013]步骤1：对输入进行双路编码；
[0014]设输入为W＝{w1,w2,
…
,w
n
}，其中w
i
为第i个词汇的词嵌入；对输入进行双路编码，包括aspect路和opinion路；
[0015]对于aspect路，对输入W用两层双向长短时记忆网络(BiLSTM)进行处理，得到aspect路初步的编码fa'＝{fa'1,fa'2,
…
,fa'
n
}，其中fa'
i
为第i个词汇对应的经过两层BiLSTM处理之后的结果；
[0016]对于opinion路，首先将输入W用图卷积网络(GCN)进行处理，其中图卷积网络的邻接矩阵是由输入句的依存分析树确定的，通过这一步获得opinion信息抽取过程需要的文本结构信息；接下来对图卷积得到的结果依次用BiLSTM、CRF进行处理，得到opinion编码路的编码结果f
p
；
[0017]步骤2：对双路编码的结果进行双向注意力机制处理；
[0018]对双路编码的结果进行双向注意力处理，将aspect路提取的信息与opinion路提取的信息进行双向注意力机制处理，处理之后aspect路与opinion路双路信息记为h
a
、h
p
；
[0019]步骤3：综合步骤1、2中的结果计算得到损失函数，并利用随机梯度下降法以降低损失函数数值为目的进行迭代训练，优化方法中参与训练的各项参数；
[0020]步骤4：按照训练结束后得到的参数，对双向注意力机制得到的相关性矩阵进行处理，得到三元组结果<aspect，opinion，sentiment>。
[0021]本专利技术的系统所采用的技术方案是：一种基于注意力机制的自然语言文本三元组提取系统，包括以下系统，包括以下模块：
[0022]模块1，用于对输入进行双路编码；
[0023]设输入为W＝{w1,w2,
…
,w
n
}，其中w
i
为第i个词汇的词嵌入；对输入进行双路编码，包括aspect路和opinion路；
[0024]对于aspect路，对输入W用两层双向长短时记忆网络(BiLSTM)进行处理，得到aspect路初步的编码fa'＝{fa'1,fa'2,
…
,fa'
n
}，其中fa'
i
为第i个词汇对应的经过两层BiLSTM处理之后的结果；
[0025]对于opinion路，首先将输入W用图卷积网络(GCN)进行处理，其中图卷积网络的邻接矩阵是由输入句的依存分析树确定的，通过这一步获得opinion信息抽取过程需要的文本结构信息；接下来对图卷积得到的结果依次用BiLSTM、CRF进行处理，得到opinion编码路的编码结果f
p
；
[0026]模块2，用于对双路编码的结果进行双向注意力机制处理；
[0027]对双路编码的结果进行双向注意力处理，将aspect路提取的信息与opinion路提取的信息进行双向注意力机制处理，处理之后aspect路与opinion路双路信息记为h
a
、h
p
；
[0028]模块3，用于综合模块1、2中的结果计算得到损失函数LOSS，并利用随机梯度下降法以降低损失函数LOSS的数值为目的进行迭代训练，优化方法中参与训练的各项参数；
[0029]模块4，用于按照训练结束后得到的参数，用于对双向注意力机制得到的相关性矩
阵进行处理，得到三元组结果<aspect，opinion，sentiment>。
[0030]与现有技术相比，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的自然语言文本三元组提取方法，其特征在于，包括以下步骤：步骤1：对输入进行双路编码；设输入为W＝{w1,w2,
…
,w
n
}，其中w
i
为第i个词汇的词嵌入；对输入进行双路编码，包括aspect路和opinion路；对于aspect路，对输入W用两层双向长短时记忆网络进行处理，得到aspect路初步的编码fa'＝{fa
′1,fa
′2,
…
,fa
′
n
}，其中fa
′
i
为第i个词汇对应的经过两层BiLSTM处理之后的结果；对于opinion路，首先将输入W用图卷积网络进行处理，其中图卷积网络的邻接矩阵是由输入句的依存分析树确定的，通过这一步获得opinion信息抽取过程需要的文本结构信息；接下来对图卷积得到的结果依次用BiLSTM、CRF进行处理，得到opinion编码路的编码结果f
p
；步骤2：对双路编码的结果进行双向注意力机制处理；对双路编码的结果进行双向注意力处理，将aspect路提取的信息与opinion路提取的信息进行双向注意力机制处理，处理之后aspect路与opinion路双路信息记为h
a
、h
p
；步骤3：综合步骤1、2中的结果计算得到损失函数，并利用随机梯度下降法以降低损失函数数值为目的进行迭代训练，优化方法中参与训练的各项参数；步骤4：按照训练结束后得到的参数，对双向注意力机制得到的相关性矩阵进行处理，得到三元组结果<aspect,opinion,sentiment>。2.根据权利要求1所述的基于注意力机制的自然语言文本三元组提取方法，其特征在于：步骤1中，为保证隶属于同一个aspect的情感标签的一致性，采用情感一致性辅助性任务对编码过程进行优化；为保证opinion编码路信息提取质量，采用opinion预标签任务，对编码过程进行优化；首先利用如下公式将fa
′
处理为考虑情感一致性的fa
″
：fa
″
i
＝g
i
☉
fa
′
i
+(1
‑
g
i
)
☉
fa
′
i
‑1g
i
＝σ(W
g
fa
″
i
+b
g
)；其中，
☉
表示按位相乘；g
i
为控制情感一致性的门向量，W
g
为情感一致性模块权重矩阵、b
g
为情感一致性模块偏执向量，σ()表示非线性激活函数；将fa”通过条件随机场处理，得到aspect路编码的结果f
a
；然后将f
a
进行softmax处理，得到初步的aspect的预测，并与真实的aspect路标签的BIOS标签使用交叉熵函数计算得到损失aspect预标签损失其中，给每个词汇进行标注，每个词汇有B、I、O、S四种可能的标签，分别为begin、inside、other、single，分别表示关键词的开始部分、关键词的内部、关键词的外部、单词汇关键词。3.根据权利要求2所述的基于注意力机制的自然语言文本三元组提取方法，其特征在于：步骤1中，为保证opinion编码路信息提取质量，采用opinion预标签任务对编码过程进行优化；将f
p
进行softmax处理，得到初步的opinion的预测，并与真实的opinion路的BIOS标签使用交叉熵函数计算得到opinion预标签任务的损失4.根据权利要求3所述的基于注意力机制的自然语言文本三元组提取方法，其特征在
于，步骤2的具体实现包括以下子步骤：步骤2.1：获取多头注意力张量α
a
→
p
；其中，G
a
、G
p
均为(k,2d,2d)的三维张量，随机初始化并参与训练过程；f
a
、f
p
分别为aspect路的编码和opinion路的编码，维度均为(n,2d)，其中n为句子的长度，2d为aspect编码向量和opinion编码向量的维度；如公式，得到维度为k的向量α
ij
是集合α中的元素；步骤2.2：将注意力张量α
a
→
p
计算为相关性矩阵A
a
→
p
；其中，v为随机初始化的k维向量，参与训练过程，目的是将多个注意力头产生的信息加权聚合；步骤2.3：得到相关性矩阵A
p
→
a
：A
p
→
a
＝(A
a
→
p
)
T
；步骤2.4：得到最终编码h
a
与h
p
；h
a
＝h
a
+softmax
r

【专利技术属性】
技术研发人员：刘泽彬，
申请(专利权)人：武汉大学，
类型：发明
国别省市：