一种基于多通道注意力融合的方面级情感分析系统及方法技术方案

本发明专利技术属于自然语言处理技术领域，公开了一种基于多通道注意力融合的方面级情感分析系统及方法，使用BERT预训练模型，将初始文本数据转换成为带有上下文语境信息的文本词向量。通过方面词增强机制，增强方面词在文本中的语义权重；通过BiGRU神经网络捕捉文本序列的位置信息，学习文本内的顺序关系，提取文本特征。构建多通道注意力融合层，引入文本卷积神经网络，多维度地提取不同大小的高维文本特征，同时每个通道中引入自注意力机制，有效地利用了上下文对于方面词的注意力信息，提高模型准确率。型准确率。型准确率。

【技术实现步骤摘要】
一种基于多通道注意力融合的方面级情感分析系统及方法


[0001]本专利技术属于自然语言处理
，具体是涉及一种基于多通道注意力融合的方面级情感分析系统及方法。

技术介绍

[0002]近些年来全球互联网行业得到快速发展，互联网在人们的日常生活中所占的比重越来越大，我们可以看到网络上用户生成内容的大量增加，大量的文本数据得以生成。随着先进的数字化技术得到应用，人们群众越来越倾向于通过互联网在网络上进行购物、观看网络直播进行娱乐、接受在线教育，以及通过QQ、微信、微博等社交软件进行社交以及评论。人们在使用互联网来进行各种社会活动的过程当中，大概率会产生并传递个人的观点、意见、情绪、立场等相关情感信息，例如消费者在进行网络购物之后，会在购物平台上面对商家服务态度以及购买的商品质量等进行评价；在微博、贴吧以及知乎等社交平台上面，人们热衷于关注社会上发生的实时热点事件，并参与话题的讨论，表达出对该事件的情感态度。对这些带有情感倾向的数据进行收集、分析、归纳，从中识别出情感倾向或观点的过程，就是情感分析，又称观点挖掘、倾向性分析，是人们对产品、服务、问题、事件以及主题等实体的观点、情感、态度及其属性的计算研究。情感分析目前已经成为自然语言处理(Natural Language Processing, NLP)中最活跃的研究领域之一，也在数据挖掘，Web挖掘，文本挖掘和信息检索方面有广泛的应用，具有极高的现实研究价值。
[0003]文本数据的情感分析任务可以根据所研究内容的细粒度大小分为篇章级、句子级以及方面级。以往对于文本的情感分析研究大都聚焦于篇章级以及句子级这两级文本上面，对于方面级文本的情感分析研究比较少。由于人类语言内容相当丰富，一段话甚至一句话中通常包含多个方面多个实体，若只是在篇章级和语句级上面对文本进行整体的情感分析，不可避免地会丢失大量信息，得出的结论甚至会与真实情况大相径庭。例如“洗衣机很好用，但是快递很慢，商家服务态度也不好”；其中，“洗衣机”作为目标，其情绪倾向是正向的；而“快递”以及“服务态度”作为目标，其情绪倾向是负向的。这个事例中关联到对商品性质和服务方面的评价，且每个方面对应的情绪偏向是不一样的，因此，直接对整个句子判定情绪倾向，不但不严谨，而且不精确。总体来说，基于方面级别的文本情感分类，更具有针对性且更有价值，所以受到广泛研究者的关注，对方面级情感分析的要求也日益增加，逐渐成为了情感分析问题的研究热点和重点。
[0004]但现有技术中对于方面级情感分析的方法，多采用静态词嵌入，导致向量不具备上下文语境信息且无法应对一词多义，同时特征提取网络无法多维度地挖掘文本中的局部特征和语境信息。如专利申请CN112434161A公开了一种采用双向长短期记忆网络的方面级情感分析方法，改善传统的情感分析算法中对不同方面情感分析的单一性及笼统型问题，更加准确的对用户评论中不同方面的情感极性进行判断；但其没有能够充分考虑文本的上下文语境，所采用的长短期记忆网络（LSTM）模型效率不高；仅仅使用一个双向LSTM网络里挖掘文本的隐藏信息，易遗漏大量关键信息，使得上下文语境信息利用不充分；所引入的
Encoder
‑
Decoder模型，无法兼顾局部与总体特征，没有误差修正，无法有效地对不同词汇分配合适的注意力，使得模型拟合效率低下，算力消耗大。

技术实现思路

[0005]为解决上述技术问题，本专利技术提出了一种基于多通道注意力融合的方面级情感分析系统及方法，利用BERT预训练模型处理初始文本，通过方面词增强、BiGRU神经网络提取文本特征；构建多通道注意力融合层，使用文本卷积神经网络多维度地提取局部信息，结合自注意力机制有效利用上下文信息，从而提高模型准确率。
[0006]一种基于多通道注意力融合的方面级情感分析系统，包括基于transformer的BERT训练模型、BiGRU神经网络、多通道注意力融合层、全连接网络；所述基于transformer的BERT训练模型用于将初始文本数据转换为上下文语境信息的文本词向量；通过方面词增强机制，对文本词向量进行方面词增强；BiGRU神经网络捕捉文本词向量的位置信息，学习文本内的顺序关系，提取文本特征，得到文本特征矩阵；多通道注意力融合层，多维度地提取不同大小的文本特征矩阵局部信息，得到高维特征矩阵，并通过自注意力机制，计算高维特征矩阵中每个向量的注意力权重，提取高维特征矩阵中隐藏的上下文信息；进一步对所提取出来的上下文信息进行拉伸拼接；全连接网络对多通道注意力融合层输出的文本上下文信息进行处理，经过softmax得到情感极性预测结果。
[0007]进一步的，所述多通道注意力融合层，包括文本卷积神经网络TEXTCNN和自注意力机制，在文本卷积神经网络TEXTCNN的每个卷积通道中融入自注意力机制；文本卷积神经网络TEXTCNN对BiGRU神经网络的输出特征矩阵做卷积操作，通过定义多个不同感受野大小的卷积核，多维度全方面地提取不同大小的文本高维特征；注意力层用于深层次捕获文本卷积神经网络TEXTCNN输出高维特征中的隐藏信息，分配给文本情感极性关键词更多的注意力，同时降低非关键词的注意力权重，调整所述系统侧重点。
[0008]一种基于多通道注意力融合的方面级情感分析方法，包括以下步骤：步骤1、使用基于transformer的BERT训练模型完成词嵌入操作，将初始文本数据转化为包含上下文语境信息的文本词向量；步骤2、利用方面词增强机制，将文本词向量进行方面词的增强；步骤3、将方面词增强后的文本词向量输入至BiGRU神经网络，进行双向语义挖掘，产生序列化的输出特征矩阵；步骤4、将步骤3得到的输出特征矩阵输入至文本卷积网络TEXTCNN中，得到对应不同维度卷积核的高维特征矩阵；步骤5、将高维特征矩阵分别输入自注意力机制中，获得特征矩阵中各向量对应的自注意力系数；步骤6、将自注意力系数与步骤5中特征矩阵中对应的向量做乘法，获得相应的带注意力的特征词向量；步骤7、将步骤6得到的多个通道的带注意力的特征词向量进行拼接拉平，输入至
全连接网络中，在经过softmax得到情感极性预测结果。
[0009]进一步的，步骤1中，基于transformer的BERT训练模型完成词嵌入操作，将初始文本数据转化为包含上下文语境信息的文本词向量，具体为：步骤1
‑
1、将输入的初始文本数据设置固定的序列长度，不足的部分用[PAD]补充；步骤1
‑
2、输入的初始文本数据每句话的开头第一个位置用[CLS]表示，每句话之间用[SEP]间隔开，然后输入至基于transformer的BERT训练模型进行训练；步骤1
‑
3、基于transformer的BERT训练模型将接收到的初始文本数据进行词切割，将完整的句子切割成单个的词汇；步骤1
‑
4、对所获得的词汇进行三重编码，根据字典语料库对每个词汇进行向量表示，同时将每个词汇的位置信息进行编码，并对词汇的段落信息进行编码；最终转换成语义编码、位置编码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多通道注意力融合的方面级情感分析系统，其特征在于，包括基于transformer的BERT训练模型、BiGRU神经网络、多通道注意力融合层、全连接网络；所述基于transformer的BERT训练模型用于将初始文本数据转换为上下文语境信息的文本词向量；通过方面词增强机制，对文本词向量进行方面词增强；BiGRU神经网络捕捉文本词向量的位置信息，学习文本内的顺序关系，提取文本特征，得到文本特征矩阵；多通道注意力融合层，多维度地提取不同大小的文本特征矩阵局部信息，得到高维特征矩阵，并通过自注意力机制，计算高维特征矩阵中每个向量的注意力权重，提取高维特征矩阵中隐藏的上下文信息；进一步对所提取出来的上下文信息进行拉伸拼接；全连接网络对多通道注意力融合层输出的文本上下文信息进行处理，经过softmax得到情感极性预测结果。2.根据权利要求1所述的一种基于多通道注意力融合的方面级情感分析系统，其特征在于，所述多通道注意力融合层，包括文本卷积神经网络TEXTCNN和自注意力机制，在文本卷积神经网络TEXTCNN的每个卷积通道中融入自注意力机制；文本卷积神经网络TEXTCNN对BiGRU神经网络的输出特征矩阵做卷积操作，通过定义多个不同感受野大小的卷积核，多维度全方面地提取不同大小的文本高维特征；注意力层用于深层次捕获文本卷积神经网络TEXTCNN输出高维特征中的隐藏信息，分配给文本情感极性关键词更多的注意力，同时降低非关键词的注意力权重，调整所述系统侧重点。3.一种基于多通道注意力融合的方面级情感分析方法，其特征在于，所述方法包括以下步骤：步骤1、使用基于transformer的BERT训练模型完成词嵌入操作，将初始文本数据转化为包含上下文语境信息的文本词向量；步骤2、利用方面词增强机制，将文本词向量进行方面词的增强；步骤3、将方面词增强后的文本词向量输入至BiGRU神经网络，进行双向语义挖掘，产生序列化的输出特征矩阵；步骤4、将步骤3得到的输出特征矩阵输入至文本卷积网络TEXTCNN中，得到对应不同维度卷积核的高维特征矩阵；步骤5、将高维特征矩阵分别输入自注意力机制中，获得特征矩阵中各向量对应的自注意力系数；步骤6、将自注意力系数与步骤5中特征矩阵中对应的向量做乘法，获得相应的带注意力的特征词向量；步骤7、...

【专利技术属性】
技术研发人员：孙雁飞，武长超，亓晋，孙莹，胡筱旋，董振江，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：