一种基于交互注意力网络的方面级情感分析方法技术

本发明专利技术涉及一种基于交互注意力网络的方面级情感分析方法，首先建模上下文序列和方面序列之间词与词的关系，进行词与词之间的相互注意力计算，再利用两个注意力来学习方面和上下文中的重要的部分，再分别更新上下文序列和方面序列的表示。本发明专利技术与现有的基线方法相比，具有更好的性能，可以很好的关注到影响方面序列情感极性的文本序列，结果优于普通的交互注意力模型。互注意力模型。互注意力模型。

【技术实现步骤摘要】
一种基于交互注意力网络的方面级情感分析方法


[0001]本专利技术属于数据自然语言处理中的细粒度情感分析领域，涉及一种基于交互注意力网络的方面级情感分析方法

技术介绍

[0002]在自然语言处理领域，方面词在情感分类中十分重要，目前已发展了各种算法，目的是通过生成基于特定方面词的表示来更加准确地建模上下文。然而，之前的研究常常忽略对方面词进行单独的建模，而只有当方面词的表示和上下文表示相匹配才能真正提高情感分类的效果。事实上，方面词也不仅仅限于一个词，因此方面词和上下文内容都需要特殊处理，并且需要通过交互地注意力网络学习来学习上下文和方面中的注意力分数，最后分别生成方面和上下文的表示。为了能够同时准确地建模方面和上下文，让方面词和上下文可以相互影响促进彼此的表示，需要将方面词和上下文通入长短时记忆网络单独建模。
[0003]交互式注意网络模型能够很好地表示方面词及其上下文，有助于情感分类。交互式注意网络模型由两部分组成，分别将方面词序列和上下文序列以单词嵌入的形式输入，利用LSTM网络分别获取方面和上下文的单词级隐藏状态。利用目标的隐藏状态和上下文的隐藏状态的平均值来监督注意向量的生成，并采用注意机制来捕获上下文和方面中的重要信息。通过这种设计，方面词和上下文可以交互地影响它们表示的生成。最后，将方面词表示和上下文表示连接起来作为最终表示，并将其输入到SoftMax函数中进行方面级情感分析。
[0004]在交互注意力网络中，虽然已经开始利用注意力机制学习上下文中不同部分与方面之间的关系，做到了一定程度的交互，但是大部分方面序列不仅仅是一个单词，如果把方面序列和上下文序列的隐藏层输出直接进行池化，这将损失掉上下文和方面序列的词级别的交互信息，这样得到的注意力分数也不是全面细致的，会影响最终的分类效果。

技术实现思路

[0005]本专利技术的目的是针对交互注意力网络的上述不足，提供一种基于上下文的方面级情感分析系统，提升方面级别情感分析的精度。
[0006]本专利技术的技术方案如下：
[0007]一种基于交互注意力网络的方面级情感分析方法，其特征在于，包括输入层、特征提取层、注意力层以及分类层，各层的实现方法如下：
[0008](1)输入层：首先构建一个词向量矩阵其中V表示数据集中单词的个数，d
w
表示词向量的维度；利用Glove文本表示方法，得到所有单词的向量表示，其中给定一个句子和方面序列，通过在矩阵中查询句子和方面序列中每个单词的词向量，可以得到文本和方面序列的两组向量，其中文本向量其中v
i
表示第i个单词的词向量表示，n表示上下文句子的长度，方面向量m表示方面序列
的长度；
[0009](2)特征提取层：将上下文句子向量输入到正向LSTM网络中，得到正向隐藏层输出其中d
h
是隐藏层状态的维度，然后再将上下文句子向量输入到反向LSTM网络后得到反向隐藏层输出将正向和反向输出拼接得到最终的隐藏层状态用同样的方法得到方面词的隐藏层状态h
t
：
[0010][0011][0012][0013]用同样的方法得到方面词的隐藏层状态h
t
：
[0014][0015][0016][0017](3)注意力层：首先计算交互注意力权重矩阵I∈R
n
×
m
，
[0018]然后针对权重矩阵的每一行和每一列计算得到α和β，其中α表示每个方面词对全部上下文文本单词的注意力权重分数，β表示每个文本对每个方面词的注意力权重分数。
[0019][0020][0021]对β进行平均得到整个文本对方面词的注意力分数对β进行平均得到整个文本对方面词的注意力分数中的每个值表示对应的方面词的权重，中值越大表示对应的方面词对于整个文本来说越重要。用α乘上获得方面词序列对整个文本的注意力分数γ∈R1×
n
，γ中的每个值表示对应的文本词的权重，γ中值越大表示对应的文本词对于给定的方面来说越重要。
[0022][0023][0024]利用得到的文本对方面以及方面对文本的注意力分数乘上隐藏层输出的文本和方面表示，得到最终的文本和方面表示，用于最终的情感分类。
[0025][0026][0027]r＝[r
s
，r
t
][0028](4)分类层：将文本和方面表示连接到一起送入一个三个神经元的全连接层，然后送入SoftMax函数进行分类，得到和为1的三个概率值，概率最大的即为最终的情感类别。
[0029]x＝W
l
·
r+b
l
[0030][0031]其中W
l
∈R3×
4d
和b
l
∈R3×1分别表示权重矩阵和偏差。
[0032]本专利技术主要思想是建模上下文序列和方面序列之间词与词的关系，进行词与词之间的相互注意力计算，再利用两个注意力来学习方面和上下文中的重要的部分，再分别更新上下文序列和方面序列的表示。利用上下文对方面进行词级别注意力往往是被其他方法所忽略的，与那些基线方法相比，本专利技术具有更好的性能，可以很好的关注到影响方面序列情感极性的文本序列，结果优于普通的交互注意力模型。
附图说明
[0033]图1是本专利技术的系统结构图。
具体实施方式
[0034]如图1所示，本专利技术可分为输入层、特征提取层、注意力层以及分类层。在方面级别的情感分析问题中，假设给定一个句子s＝[w1，w2，...，w
i
，...，w
j
，...，w
n
]，其中w
i
表示上下文中的第i个单词，给定方面内容t＝[w
i
，w
i+1
，...，w
i+m
‑1]，其中方面内容可能包含一个或多个词，任务的目标是判断句子s对方面内容t的情感倾向。下面对每一层内容进行详细的介绍。
[0035](1)输入层：首先构建一个词向量矩阵其中V表示数据集中单词的个数，d
w
表示词向量的维度。利用Glove文本表示方法，得到所有单词的向量表示，其中给定一个句子和方面序列，通过在矩阵中查询句子和方面序列中每个单词的词向量，可以得到文本和方面序列的两组向量。其中文本向量其中v
i
表示第i个单词的词向量表示，n表示上下文句子的长度，方面向量m表示方面序列的长度。
[0036](2)特征提取层：LSTM网络通过门控机制来控制传输状态，可以使网络忘记不重要的信息，并且进行长距离记忆，解决了长序列训练过程中的梯度消失和梯度爆炸问题，在长序列中有很好的表现，并且由于双向LSTM网络可以同时学习到前后的信息，因此，我们采用双向LSTM网络对上下文文本和方面序列及进行特征抽取。
[0037]具体的做法是将上下文句子向量输入到正向LSTM网络中，得到正向隐藏层输出其中d<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互注意力网络的方面级情感分析方法，其特征在于，包括输入层、特征提取层、注意力层以及分类层，各层的实现方法如下：(1)输入层：首先构建一个词向量矩阵其中V表示数据集中单词的个数，d
w
表示词向量的维度；利用Glove文本表示方法，得到所有单词的向量表示，其中给定一个句子和方面序列，通过在矩阵中查询句子和方面序列中每个单词的词向量，可以得到文本和方面序列的两组向量，其中文本向量其中v
i
表示第i个单词的词向量表示，n表示上下文句子的长度，方面向量m表示方面序列的长度；(2)特征提取层：将上下文句子向量输入到正向LSTM网络中，得到正向隐藏层输出其中d
h
是隐藏层状态的维度，然后再将上下文句子向量输入到反向LSTM网络后得到反向隐藏层输出将正向和反向输出拼接得到最终的隐藏层状态用同样的方法得到方面词的隐藏层状态h
t
：：：用同样的方法得到方面词的隐藏层状态h
t
：：：(3)注意力层：首先计算交互注意力权重矩阵I∈R
n
×
m
，然后针对权重矩阵的每一行和每一列计算得到α和β，其中α表示每个方面词对全部上下文文本单词的注意力权重分数，β表示每个文本对每个方...

【专利技术属性】
技术研发人员：张硕，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：