基于语境引导注意力的方面级情感分类方法及系统技术方案

本发明专利技术公开了基于语境引导注意力的方面级情感分类方法，获取待分类的句子和句子对应的方面词；对获取数据分别进行词嵌入表示的提取，得到句子和方面词的词嵌入表示；对两种词嵌入表示分别进行向量提取，得到两种词嵌入隐藏状态向量；构建语义图卷积网络；构建句法图卷积网络；将两种词嵌入隐藏状态向量，输入到语义图卷积网络中，输出语义表示；将两种词嵌入隐藏状态向量，输入到句法图卷积网络中，输出句法表示；将两种表示进行聚合操作，得到两方面节点隐藏状态向量；分别对两方面节点隐藏状态向量进行平均池化操作，然后对平均池化操作的两个结果进行级联操作得到最终特征；对最终特征给出情感概率分布，进而得到情感分类标签。签。签。

【技术实现步骤摘要】
基于语境引导注意力的方面级情感分类方法及系统


[0001]本专利技术涉及自然语言处理
，特别是涉及基于语境引导注意力的方面级情感分类方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]基于方面的情感分析是一个重要的细粒度情感分析任务，目标是预测句子中的方面词的情感极性。相较于传统的粗粒度情感分析而言，细粒度的情感分析对于实际应用有更大的意义。
[0004]先前的研究已经使用基于注意力机制的神经网络模型来建模方面词与其上下文之间的关系并生成特定于方面的句子表示。尽管这种方法得到了不错的结果，但是注意力机制本身存在的缺陷会给无关的单词分配错误的值从而产生噪声影响实验结果。
[0005]研究基于方面的情感分析的另一条路线是对句子的句法结构建模进行预测。最近的许多研究使用图卷积网络在句子的依赖树上工作，它们利用了句子的句法结构。与基于注意力的模型相比，此类模型有许多改进。然而，当将句法依赖知识应用于ABSA任务时，会出现两个问题。首先，因为一些特定数据集中(例如Twitter数据集)包含非正式表达和一些复杂没有明显句法结构的在线评论，这就导致依赖树上的GCNs在对这样的数据集上不能像预期的那样工作。此外，并非所有依赖树的信息对本专利技术的任务都是有效的，如果在此基础上继续使用注意力机制就会造成二次噪声。
[0006]比如，对于句子“The environment is romantic but the food is horrible”。对于方面词“environment”来说，情绪极性是积极的，但方面词“food”的情绪极性是消极的。这就需要模型有效地捕获句子中每个方面的上下文信息。

技术实现思路

[0007]为了解决现有技术的不足，本专利技术提供了基于语境引导注意力的方面级情感分类方法及系统；能够避免注意力机制本身的产生的噪声影响并且能够提取丰富的句法信息，同时，对提取的句法和语义信息进行交互，提高了在不同数据集上对方面词情感判断的准确性和稳定性。
[0008]第一方面，本专利技术提供了基于语境引导注意力的方面级情感分类方法；
[0009]基于语境引导注意力的方面级情感分类方法，包括：
[0010]获取待分类的句子和所述句子对应的方面词；
[0011]将获取的数据，输入到训练后的方面级情感分类模型中，输出方面级情感分类结果；其中，训练后的方面级情感分类模型，包括：对待分类的句子和方面词分别进行词嵌入表示的提取，得到句子的词嵌入表示和方面词的词嵌入表示；对句子的词嵌入表示和方面词的词嵌入表示分别进行向量提取，得到句子的词嵌入隐藏状态向量和方面词的词嵌入隐藏状态向量；基于语境引导注意力机制，构建语义图卷积网络；同时，构建句法图卷积网络；
将句子的词嵌入隐藏状态向量和方面词的词嵌入隐藏状态向量，输入到语义图卷积网络中，输出语义表示；将句子的词嵌入隐藏状态向量和方面词的词嵌入隐藏状态向量，输入到句法图卷积网络中，输出句法表示；将语义表示和句法表示进行聚合操作，得到第一方面节点隐藏状态向量和第二方面节点隐藏状态向量；分别对第一方面节点隐藏状态向量和第二方面节点隐藏状态向量进行平均池化操作，然后对平均池化操作的两个结果进行级联操作得到最终特征；最后，对最终特征给出情感概率分布，进而得到情感分类标签。
[0012]第二方面，本专利技术提供了基于语境引导注意力的方面级情感分类系统；
[0013]基于语境引导注意力的方面级情感分类系统，包括：
[0014]获取模块，其被配置为：获取待分类的句子和所述句子对应的方面词；
[0015]输出模块，其被配置为：将获取的数据，输入到训练后的方面级情感分类模型中，输出方面级情感分类结果；其中，训练后的方面级情感分类模型，包括：对待分类的句子和方面词分别进行词嵌入表示的提取，得到句子的词嵌入表示和方面词的词嵌入表示；对句子的词嵌入表示和方面词的词嵌入表示分别进行向量提取，得到句子的词嵌入隐藏状态向量和方面词的词嵌入隐藏状态向量；基于语境引导注意力机制，构建语义图卷积网络；同时，构建句法图卷积网络；将句子的词嵌入隐藏状态向量和方面词的词嵌入隐藏状态向量，输入到语义图卷积网络中，输出语义表示；将句子的词嵌入隐藏状态向量和方面词的词嵌入隐藏状态向量，输入到句法图卷积网络中，输出句法表示；将语义表示和句法表示进行聚合操作，得到第一方面节点隐藏状态向量和第二方面节点隐藏状态向量；分别对第一方面节点隐藏状态向量和第二方面节点隐藏状态向量进行平均池化操作，然后对平均池化操作的两个结果进行级联操作得到最终特征；最后，对最终特征给出情感概率分布，进而得到情感分类标签。
[0016]第三方面，本专利技术还提供了一种电子设备，包括：
[0017]存储器，用于非暂时性存储计算机可读指令；以及
[0018]处理器，用于运行所述计算机可读指令，
[0019]其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
[0020]第四方面，本专利技术还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
[0021]第五方面，本专利技术还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
[0022]与现有技术相比，本专利技术的有益效果是：
[0023]本专利技术使用一种融合自我注意和方面注意的语境引导注意机制，将融合后的注意得分矩阵作为语义图卷积网络的邻接矩阵并且将由BERT模型获得的隐藏状态向量作为语义图卷积网络的初始节点表示提取语义信息。本专利技术可以在不同的上下文中有效提取特定于方面和句子的全局语义信息。对于一些没有明显句法结构的数据，可以解决依赖树上的图卷积网络不能像预期的那样工作的问题。
[0024]本专利技术为每个单词引入四种特征并建模单词之间的关系，然后对四个特征和获得的单词关系特征使用级联操作获得句法图卷积网络的邻接矩阵并且将由BERT模型获得的隐藏状态向量作为句法图卷积网络的初始节点表示提取句法信息。
[0025]本专利技术利用聚合模块同时提取句法和语义信息，能够避免注意力机制本身的产生
的噪声影响并且能够提取丰富的句法信息。同时，对提取的句法和语义信息进行交互，提高了在不同数据集上对方面词情感判断的准确性和稳定性。
附图说明
[0026]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0027]图1是本专利技术的流程图；
[0028]图2是本专利技术的句法依赖关系实例图；
[0029]图3是本专利技术的网络结构图。
具体实施方式
[0030]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于语境引导注意力的方面级情感分类方法，其特征是，包括：获取待分类的句子和所述句子对应的方面词；将获取的数据，输入到训练后的方面级情感分类模型中，输出方面级情感分类结果；其中，训练后的方面级情感分类模型，包括：对待分类的句子和方面词分别进行词嵌入表示的提取，得到句子的词嵌入表示和方面词的词嵌入表示；对句子的词嵌入表示和方面词的词嵌入表示分别进行向量提取，得到句子的词嵌入隐藏状态向量和方面词的词嵌入隐藏状态向量；基于语境引导注意力机制，构建语义图卷积网络；同时，构建句法图卷积网络；将句子的词嵌入隐藏状态向量和方面词的词嵌入隐藏状态向量，输入到语义图卷积网络中，输出语义表示；将句子的词嵌入隐藏状态向量和方面词的词嵌入隐藏状态向量，输入到句法图卷积网络中，输出句法表示；将语义表示和句法表示进行聚合操作，得到第一方面节点隐藏状态向量和第二方面节点隐藏状态向量；分别对第一方面节点隐藏状态向量和第二方面节点隐藏状态向量进行平均池化操作，然后对平均池化操作的两个结果进行级联操作得到最终特征；最后，对最终特征给出情感概率分布，进而得到情感分类标签。2.如权利要求1所述的基于语境引导注意力的方面级情感分类方法，其特征是，所述训练后的方面级情感分类模型，网络结构包括：Glove词向量模型，所述Glove词向量模型的输入端用于输入待分类的句子和方面词；Glove词向量模型的输出端与BERT句子编码器的输入端连接，BERT句子编码器的输出端与语义图卷积网络的输入端和句法图卷积网络的输入端连接；语义图卷积网络的输出端和句法图卷积网络的输出端均与聚合模块的输入端连接，聚合模块的输出端分别与第一平均池化层的输入端和第二平均池化层的输入端连接，第一平均池化层的输出端和第二平均池化层的输出端均与拼接单元的输入端连接，拼接单元的输出端与Softmax函数层的输入端连接。3.如权利要求1所述的基于语境引导注意力的方面级情感分类方法，其特征是，所述训练后的方面级情感分类模型，训练过程包括：构建训练集，所述训练集为已知方面级情感分类标签的句子；将训练集输入到方面级情感分类模型中，对方面级情感分类模型进行训练，当模型的损失函数值不再下降时，停止训练，得到训练后的方面级情感分类模型；所述模型的损失函数使用交叉熵损失函数：其中，a表示句子s中的方面对，θ表示所有可训练的参数，包含所有的句子
‑
方面对，表示情感极性的集合。4.如权利要求1所述的基于语境引导注意力的方面级情感分类方法，其特征是，所述基于语境引导注意力机制，构建语义图卷积网络，具体包括：多头自注意力A
self
，被表述为：
其中softmax是激活函数，Q
′
是修改后的查询矩阵，K
′
是修改后的键值矩阵，d是缩放因子，T代表转置；将上下文集成到自注意力机制中，具体公式为：Q
′
＝(1
‑
λ
Q
)Q+λ
Q
(BW
Q
)
ꢀꢀꢀꢀ
(2)K
′
＝(1
‑
λ
K
)K+λ
K
(B
K
)
ꢀꢀꢀꢀ
(3)其中，λ
Q
和λ
K
是学习的上下文权重，B是上下文表示，W
Q
和W
K
是线性层的权重，Q表示原始自注意力机制的查询矩阵，K表示原始自注意力机制的键值矩阵；使用零对称门控单元，学习上下文门控因子λ
Q
和λ
K
，以使每个头部捕获不同层次的语境信息：λ
Q
＝tanh(QV
Q
+BW
Q
V
Q
)
ꢀꢀꢀꢀ
(4)λ
K
＝tanh(KV
K
+BW
K
V
K
)
ꢀꢀꢀꢀ
(5)其中，V
Q
和V
K
是线性层的权重，用于变换相应的矩阵，tanh函数允许Q和K的正向和负向贡献，所以，选择tanh作为激活函数；另外，对句子中的方面词进行建模，具体地，将方面词视为在计算方面词相关特征的注意力时的查询，其公式为：A
a
＝tanh(H
a
W
a
×
(KW
K
)
T
+b)
ꢀꢀꢀꢀ
(6)其中，tanh是激活函数，H
a
是方面表示，K是由BERT编码器得到的隐藏状态向量，W
a
和W
k
是可学习的权重，b是偏置项；将自注意力和方面注意力整合之后作为语义图卷积网络SemGCN的邻接矩阵A
sm
以增强图卷积网络的节点表示，获得语义信息，其公式为：A
sem
＝A
self
+A
a
ꢀꢀꢀꢀ
(7)；根据语义图卷积网络SemGCN的邻接矩阵A
sem
，得到语义图卷积网络SemGCN。5.如权利要求1所述的基于语境引导注意力的方面级情感分类方法，其特征是，所...

【专利技术属性】
技术研发人员：刘祥志，仪佳，吴晓明，
申请(专利权)人：齐鲁工业大学山东省科学院山东山科智能科技有限公司，
类型：发明
国别省市：