文本情感识别模型的训练方法和文本情感识别方法及装置制造方法及图纸

本公开关于一种文本情感识别模型的训练方法和文本情感识别方法及装置，其中训练方法包括：基于输入文本数据集通过BERT模型获得局部语义特征向量，全局语义特征向量和方面词语义特征向量；通过特征融合层获得方面词局部语义特征向量和方面词全局语义特征向量；将方面词全局语义特征向量输入到方面词识别网络中，获得方面词识别序列；将方面词局部语义特征向量和方面词全局语义特征向量输入到情感极性识别网络中，获得情感极性识别序列；基于获得的方面词识别序列和情感极性识别序列，以及方面词识别序列和情感极性识别序列分别对应的真实值计算损失；基于计算的损失调整文本情感识别模型中的参数，对文本情感识别模型进行训练。练。练。

【技术实现步骤摘要】
文本情感识别模型的训练方法和文本情感识别方法及装置


[0001]本公开涉及自然语言处理领域，更具体地说，涉及一种文本情感识别模型的训练方法和装置，文本情感识别方法和装置，电子设备，及存储介质。

技术介绍

[0002]针对情感分析的相关技术中，基于机器学习的技术需要大量的特征提取工作，而特征工程往往会消耗大量的人力，且特征工程对后续模型的训练效果影响极大，加之机器学习算法速度较慢，若有大量数据进行训练，时间成本和情感分析的难度都很高；而基于知识增强的方法需要提前针对某领域的数据集进行一定的搜集、扩充，增强后的先验知识表示会主观性地对该数据进行一个提前判断，并不有利于情感极性的识别；另外，基于序列神经网络RNN的方法由于复杂网络太多，而BERT（Bidirectional Encoder Representations from Transformers，一种预训练语言模型）已经学习到了上下文长文本的关系，再次使用BiLSTM（Bi
‑
directional Long Short
‑
Term Memory，双向长短期记忆网络）等RNN（Recurrent Neural Network，循环神经网络）模型会增加时间成本，同时由于内部参数增多，当数据量较小时，很可能会给模型带来过拟合的风险，降低准确率。

技术实现思路

[0003]本公开提供一种文本情感识别模型的训练方法和装置，文本情感识别方法和装置，电子设备，及存储介质，以至少解决上述相关技术中的问题，也可不解决任何上述问题。
[0004]根据本公开实施例的第一方面，提供一种文本情感识别模型的训练方法，所述文本情感识别模型包括文本嵌入网络、特征融合层、方面词识别网络和情感极性识别网络，所述训练方法包括：基于输入文本数据集构建局部语义输入序列和全局语义输入序列；所述局部语义输入序列和所述全局语义输入序列分别输入到所述文本嵌入网络中的BERT模型中，获得局部语义特征向量和全局语义特征向量；基于所述输入文本数据集中的方面词数据集构建方面词语义序列；将所述方面词语义序列输入到所述文本嵌入网络中的BERT模型中，经过所述文本嵌入网络中的平均池化层获得方面词语义特征向量；将所述局部语义特征向量和所述方面词语义特征向量输入到所述特征融合层中，获得方面词局部语义特征向量；将所述全局语义特征向量和所述方面词语义特征向量输入到所述特征融合层中，获得方面词全局语义特征向量；将所述方面词全局语义特征向量输入到所述方面词识别网络中，获得方面词识别序列；将所述方面词局部语义特征向量和所述方面词全局语义特征向量输入到所述情感极性识别网络中，获得情感极性识别序列；基于获得的所述方面词识别序列和所述情感极性识别序列，以及所述方面词识别序列和所述情感极性识别序列分别对应的真实值计算损失；基于计算的损失调整所述文本情感识别模型中的参数，对所述文本情感识别模型进行训练。
[0005]可选的，所述特征融合层对输入的特征向量进行处理的步骤包括：将输入的至少两个特征向量在预设维度上进行拼接；将拼接得到的特征向量使用所述文本情感识别模型
中对应的参数组进行处理；将处理后的特征向量输入到多头自注意力层中，获得特征融合后的特征向量。
[0006]可选的，所述将所述方面词全局语义特征向量输入到所述方面词识别网络中，获得方面词识别序列，包括：将所述方面词全局语义特征向量使用所述文本情感识别模型中对应的参数组进行特征转化，获得特征转化向量，其中，所述特征转化向量的维度数与预设标签集合中的标签数相同；将所述特征转化向量输入到条件随机场层中，获得所述方面词识别序列。
[0007]可选的，所述将所述方面词局部语义特征向量和所述方面词全局语义特征向量输入到所述情感极性识别网络中，获得情感极性识别序列，包括：所述情感极性识别网络包括自适应局部语义理解层，所述特征融合层以及情感预测层；其中，所述自适应局部语义理解层基于定义的自适应文本语义阈值结合上下文动态掩码算法和上下文动态加权算法获得；将所述方面词局部语义特征向量输入到所述自适应局部语义理解层中，获得自适应上下文动态掩码矩阵和自适应上下文动态加权矩阵； 将所述方面词全局语义特征向量与所述自适应上下文动态掩码矩阵和所述自适应上下文动态加权矩阵输入到所述特征融合层中，获得特征融合向量；将所述特征融合向量输入到所述情感预测层中，获得所述情感极性识别序列；其中，所述情感预测层包括平均池化层，线性变换层和激活层。
[0008]可选的，所述自适应文本语义阈值基于以下公式进行定义：，其中，所述指句子中方面词的单词个数，所述指句子中的单词个数，所述指方面词的中心词在句子中的索引位置。
[0009]可选的，所述基于获得的所述方面词识别序列和所述情感极性识别序列，以及所述方面词识别序列和所述情感极性识别序列分别对应的真实值计算损失，包括：基于获得的所述方面词识别序列以及对应的真实值计算第一损失；基于获得的所述情感极性识别序列以及对应的真实值计算第二损失；对第一损失和第二损失进行动态加权处理，得到所述文本情感识别模型的损失。
[0010]可选的，所述文本情感识别模型的损失基于下面的公式计算得到：其中，所述指所述第一损失，所述指所述第二损失，所述指在所述文本情感识别模型的训练过程中进行学习的参数。
[0011]根据本公开实施例的第二方面，提供一种文本情感识别方法，所述识别方法基于上述任意一种训练方法训练得到的文本情感识别模型执行，所述识别方法包括：基于待识别文本数据集构建第一输入序列和第二输入序列;将所述第一输入序列和所述第二输入序列分别输入到所述文本嵌入网络中的BERT模型中，获得第一特征向量和第二特征向量；基于所述待识别文本数据集中的方面词数据集构建第三输入序列；将所述第三输入序列输入到所述文本嵌入网络中的BERT模型中，经过平均池化层获得第三特征向量；将所述第一特征向量和所述第三特征向量输入到特征融合层中，获得第一特征融合向量；将所述第二特征向量和所述第三特征向量输入到所述特征融合层中，获得第二特征融合向量；将所述第
一特征融合向量和所述第二特征融合向量输入到所述情感极性识别网络中，获得情感极性第一识别序列。
[0012]可选的，所述特征融合层对输入的特征向量进行处理的步骤包括：将输入的至少两个特征向量在预设维度上进行拼接；将拼接得到的特征向量使用所述文本情感识别模型中对应的参数组进行处理；将处理后的特征向量输入到多头自注意力层中，获得特征融合后的特征向量。
[0013]可选的，所述识别方法还包括：将所述第二特征融合向量使用所述文本情感识别模型中对应的参数组进行特征转化，获得第一特征转化向量，其中，所述第一特征转化向量的维度数与第一预设标签集合中的标签数相同；将所述第一特征转化向量输入到条件随机场层中，获得方面词第一识别序列。
[0014]可选的，所述将所述第一特征融合向量和所述第二特征融合向量输入到所述情感极性识别网络中，获得情感极性第一识别序列，包括：将所述第一特征融合向量输入到自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本情感识别模型的训练方法，其特征在于，所述文本情感识别模型包括文本嵌入网络、特征融合层、方面词识别网络和情感极性识别网络，所述训练方法包括：基于输入文本数据集构建局部语义输入序列和全局语义输入序列;将所述局部语义输入序列和所述全局语义输入序列分别输入到所述文本嵌入网络中的BERT模型中，获得局部语义特征向量和全局语义特征向量；基于所述输入文本数据集中的方面词数据集构建方面词语义序列；将所述方面词语义序列输入到所述文本嵌入网络中的BERT模型中，经过所述文本嵌入网络中的平均池化层获得方面词语义特征向量；将所述局部语义特征向量和所述方面词语义特征向量输入到所述特征融合层中，获得方面词局部语义特征向量；将所述全局语义特征向量和所述方面词语义特征向量输入到所述特征融合层中，获得方面词全局语义特征向量；将所述方面词全局语义特征向量输入到所述方面词识别网络中，获得方面词识别序列；将所述方面词局部语义特征向量和所述方面词全局语义特征向量输入到所述情感极性识别网络中，获得情感极性识别序列；基于获得的所述方面词识别序列和所述情感极性识别序列，以及所述方面词识别序列和所述情感极性识别序列分别对应的真实值计算损失；基于计算的损失调整所述文本情感识别模型中的参数，对所述文本情感识别模型进行训练。2.如权利要求1所述的训练方法，其特征在于，所述特征融合层对输入的特征向量进行处理的步骤包括：将输入的至少两个特征向量在预设维度上进行拼接；将拼接得到的特征向量使用所述文本情感识别模型中对应的参数组进行处理；将处理后的特征向量输入到多头自注意力层中，获得特征融合后的特征向量。3.如权利要求1所述的训练方法，其特征在于，所述将所述方面词全局语义特征向量输入到所述方面词识别网络中，获得方面词识别序列，包括：将所述方面词全局语义特征向量使用所述文本情感识别模型中对应的参数组进行特征转化，获得特征转化向量，其中，所述特征转化向量的维度数与预设标签集合中的标签数相同；将所述特征转化向量输入到条件随机场层中，获得所述方面词识别序列。4.如权利要求1所述的训练方法，其特征在于，所述将所述方面词局部语义特征向量和所述方面词全局语义特征向量输入到所述情感极性识别网络中，获得情感极性识别序列，包括：所述情感极性识别网络包括自适应局部语义理解层，所述特征融合层以及情感预测层；其中，所述自适应局部语义理解层基于定义的自适应文本语义阈值结合上下文动态掩码算法和上下文动态加权算法获得；将所述方面词局部语义特征向量输入到所述自适应局部语义理解层中，获得自适应上下文动态掩码矩阵和自适应上下文动态加权矩阵；
将所述方面词全局语义特征向量与所述自适应上下文动态掩码矩阵和所述自适应上下文动态加权矩阵输入到所述特征融合层中，获得特征融合向量；将所述特征融合向量输入到所述情感预测层中，获得所述情感极性识别序列；其中，所述情感预测层包括平均池化层，线性变换层和激活层。5.如权利要求4所述的训练方法，其特征在于，所述自适应文本语义阈值基于以下公式进行定义：其中，所述指句子中方面词的单词个数，所述指句子中的单词个数，所述指方面词的中心词在句子中的索引位置。6.如权利要求1所述的训练方法，其特征在于，所述基于获得的所述方面词识别序列和所述情感极性识别序列，以及所述方面词识别序列和所述情感极性识别序列分别对应的真实值计算损失，包括：基于获得的所述方面词识别序列以及对应的真实值计算第一损失；基于获得的所述情感极性识别序列以及对应的真实值计算第二损失；对第一损失和第二损失进行动态加权处理，得到所述文本情感识别模型的损失。7.如权利要求6所述的训练方法，其特征在于，所述文本情感识别模型的损失基于下面的公式计算得到：其中，所述指所述第一损失，所述指所述第二损失，所述指在所述文本情感识别模型的训练过程中进行学习的参数。8.一种文本情感识别方法，其特征在于，所述识别方法基于如权利要求1
‑
6中任意一项的训练方法训练得到的文本情感识别模型执行，所述识别方法包括：基于待识别文本数据集构建第一输入序列和第二输入序列;将所述第一输入序列和所述第二输入序列分别输入到所述文本嵌入网络中的BERT模型中，获得第一特征向量和第二特征向量；基于所述待识别文本数据集中的方面词数据集构建第三输入序列；将所述第三输入序列输入到所述文本嵌入网络中的BERT模型中，经过平均池化层获得第三特征向量；将所述第一特征向量和所述第三特征向量输入到特征融合层中，获得第一特征融合向量；将所述第二特征向量和所述第三特征向量输入到所述特征融合层中，获得第二特征融合向量；将所述第一特征融合向量和所述第二特征融合向量输入到所述情感极性识别网络中，获得情感极性第一识别序列。9.如权利要求8所述的识别方法，其特征在于，所述特征融合层对输入的特征向量进行处理的步骤包括：
将输入的至少两个特征向量在预设维度上进行拼接；将拼接得到的特征向量使用所述文本情感识别模型中对应的参数组进行处理；将处理后的特征向量输入到多头自注意力层中，获得特征融合后的特征向量。10.如权利要求8所述的识别方法，其特征在于，所述识别方法还包括：将所述第二特征融合向量使用所述文本情感识别模型中对应的参数组进行特征转化，获得第一特征转化向量，其中，所述第一特征转化向量的维度数与第一预设标签集合中的标签数相同；将所述第一特征转化向量输入到条件随机场层中，获得方面词第一识别序列。11.如权利要求8所述的识别方法，其特征在于，所述将所述第一特征融合向量和所述第二特征融合向量输入到所述情感极性识别网络中，获得情感极性第一识别序列，包括：将所述第一特征融合向量输入到自适应局部语义理解层中，获得第一掩码矩阵和第一加权矩阵；将所述第二特征融合向量与所述第一掩码矩阵和所述第一加权矩阵输入到所述特征融合层中，获得第三特征融合向量；将所述第三特征融合向量输入到所述情感预测层中，获得所述情感极性第一识别序列。12.如权利要求11所述的识别方法，其特征在于，所述自适应文本语义阈值基于以下公式进行定义：其中，所述指句子中方面词的单词个数，所述指句子中的单词个数，所述指方面词的中心词在句子中的索引位置。13.一种文本情感识别模型的训练装置，其特征在于，所述文本情感识别模型包括文本嵌入网络、特征融合层、方面词识别网络和情感极性识别网络，所述训练装置包括：文本嵌入单元，被配置为：基于输入文本数据集构建局部语义输入序列和全局语义输入序列;将所述局部语义输入序列和所述全局语义输入序列...

【专利技术属性】
技术研发人员：朱权，郑重，王潇茵，杜婉茹，丁醒醒，李瑞群，孙鹏程，
申请(专利权)人：航天宏康智能科技北京有限公司，
类型：发明
国别省市：