面向语义片段的目标情感分析方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了面向语义片段的目标情感分析方法、装置、设备及介质，应用于目标情感分析领域，所述方法中，将文本样本输入至嵌入层，得到句子词向量、上下文词向量以及目标词向量；利用注意力编码层，对句子词向量、上下文词向量以及目标词向量进行编码，得到对应的隐状态表示；将上下文和目标词的隐状态表示输入至多头注意力层，得到目标上下文语义特征表示；将句子隐状态表示输入至结构化自注意力层，得到句子分段语义特征表示；将目标上下文语义特征表示和句子分段语义特征表示输入至预测层，得到目标词情感预测结果。由此，本发明专利技术使模型将注意力集中在各个语义分段，进而抑制了词语上的噪声，提高了目标情感分析任务的准确性。提高了目标情感分析任务的准确性。提高了目标情感分析任务的准确性。

Semantic fragment oriented target emotion analysis method, device, device and medium

【技术实现步骤摘要】
面向语义片段的目标情感分析方法、装置、设备及介质


[0001]本专利技术涉及目标情感分析领域，尤其涉及一种面向语义片段的目标情感分析方法、装置、设备及介质。

技术介绍

[0002]目标情感分析（Targeted Sentiment Analysis，TSA）任务是指判断句子中特定目标的情感极性。
[0003]现阶段技术中通过会采用注意力机制来捕获句子中特定目标与句子中其他的词语/词组的联系，即权重。但由于注意力机制仅注重词与词之间的关系，容易出现特定目标与不相干的其他词语的错误搭配。如“The bed is so good and so comfortable but ornament of this room is really ugly.”的句子中，注意力机制会错误地为目标“ornament”前后的“good”、“comfortable”及“ugly”分配相同的权重，因而导致目标情感分析任务的精确度受到影响。

技术实现思路

[0004]有鉴于此，本专利技术提供一种面向语义片段的目标情感分析方法、装置、设备及介质，以改善目标情感分析任务中注意力机制仅注重词与词之间的关系，容易出现特定目标与不相干的其他词语的错误搭配，因而导致目标情感分析任务的精确度受到影响的现状。
[0005]第一方面，本专利技术实施例提供一种面向语义片段的目标情感分析方法，包括：将获取到的文本样本输入至预设的目标情感分析模型的嵌入层，得到所述文本样本的句子词向量、上下文词向量以及目标词向量；基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示；将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示；将所述句子隐状态表示输入至所述目标情感分析模型的结构化自注意力层，以获取所述句子隐状态对应的多个语义分段的语义特征，得到句子分段语义特征表示；将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，其中，所述预测层用于将所述目标上下文语义特征表示池化后，根据所述句子分段语义特征表示与池化处理后的目标上下文语义特征表示的拼接结果进行目标词情感预测。
[0006]可选的，在本专利技术实施例提供的一种实施方式中，所述注意力编码层包括第一多头注意力编码模块、第二多头注意力编码模块及第三多头注意力编码模块，所述第一多头注意力编码模块和所述第二多头注意力编码模块均包括依次相连的第一多头注意力单元和卷积单元，所述第三多头注意力编码模块包括依次相连的第二多头注意力单元和卷积单
元；所述基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示，包括：基于所述第一多头注意力编码模块和所述第二多头注意力编码模块的第一多头注意力单元，将所述句子词向量、所述上下文词向量分别映射为对应的查询表示、键表示及值表示；基于所述第三多头注意力编码模块的第二多头注意力单元，将所述目标词向量映射为所述目标词向量对应的键表示和值表示，并将所述上下文词向量映射为所述目标词向量对应的查询表示；根据所述句子词向量、所述上下文词向量以及所述目标词向量分别对应的查询表示、键表示及值表示，得到句子语义特征表示、上下文语义特征表示及目标语义特征表示；将所述句子语义特征表示、所述上下文语义特征表示及所述目标语义特征表示分别输入至所述第一多头注意力编码模块、所述第二多头注意力编码模块及所述第三多头注意力编码模块的卷积单元以进行逐点卷积变换，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示。
[0007]可选的，在本专利技术实施例提供的一种实施方式中，所述将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示，包括：利用所述目标情感分析模型的多头注意力层，将所述目标词隐状态表示映射为所述目标词隐状态对应的键表示和值表示，并将所述上下文隐状态表示映射为所述目标词隐状态表示对应的查询表示；利用所述目标词隐状态表示对应的查询表示、键表示和值表示，得到目标上下文语义特征表示。
[0008]可选的，在本专利技术实施例提供的一种实施方式中，所述预测层包括平均池化层和全连接层；所述将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，包括：将所述目标上下文语义特征表示输入至所述平均池化层，得到池化处理后的目标上下文语义特征表示；将所述句子分段语义特征表示与所述池化处理后的目标上下文语义特征表示连接，得到所述文本样本对应的文本表示；将所述文本表示输入至所述全连接层，得到所述文本表示对应的分类输出；基于预设分类器，根据所述文本样本对应的分类输出计算所述文本样本的目标词情感预测结果。
[0009]可选的，在本专利技术实施例提供的一种实施方式中，所述嵌入层包括已经过预训练的基于转换器的双向编码表征模型。
[0010]第二方面，本专利技术实施例提供一种面向语义片段的目标情感分析装置，包括：嵌入模块，用于将获取到的文本样本输入至预设的目标情感分析模型的嵌入层，
得到所述文本样本的句子词向量、上下文词向量以及目标词向量；隐状态编码模块，用于基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示；第一特征获取模块，用于将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示；第二特征获取模块，用于将所述句子隐状态表示输入至所述目标情感分析模型的结构化自注意力层，以获取所述句子隐状态对应的多个语义分段的语义特征，得到句子分段语义特征表示；预测模块，用于将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，其中，所述预测层用于将所述目标上下文语义特征表示池化后，根据所述句子分段语义特征表示与池化处理后的目标上下文语义特征表示的拼接结果进行目标词情感预测。
[0011]可选的，在本专利技术实施例提供的一种实施方式中，所述注意力编码层包括第一多头注意力编码模块、第二多头注意力编码模块及第三多头注意力编码模块，所述第一多头注意力编码模块和所述第二多头注意力编码模块均包括依次相连的第一多头注意力单元和卷积单元，所述第三多头注意力编码模块包括依次相连的第二多头注意力单元和卷积单元；所述隐状态编码模块，包括：第一映射子模块，用于基于所述第一多头注意力编码模块和所述第二多头注意力编码模块的第一多头注意力单元，将所述句子词向量、所述上下文词向量分别映射为对应的查本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向语义片段的目标情感分析方法，其特征在于，包括：将获取到的文本样本输入至预设的目标情感分析模型的嵌入层，得到所述文本样本的句子词向量、上下文词向量以及目标词向量；基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示；将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示；将所述句子隐状态表示输入至所述目标情感分析模型的结构化自注意力层，以获取所述句子隐状态对应的多个语义分段的语义特征，得到句子分段语义特征表示；将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，其中，所述预测层用于将所述目标上下文语义特征表示池化后，根据所述句子分段语义特征表示与池化处理后的目标上下文语义特征表示的拼接结果进行目标词情感预测。2.根据权利要求1所述的面向语义片段的目标情感分析方法，其特征在于，所述注意力编码层包括第一多头注意力编码模块、第二多头注意力编码模块及第三多头注意力编码模块，所述第一多头注意力编码模块和所述第二多头注意力编码模块均包括依次相连的第一多头注意力单元和卷积单元，所述第三多头注意力编码模块包括依次相连的第二多头注意力单元和卷积单元；所述基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示，包括：基于所述第一多头注意力编码模块和所述第二多头注意力编码模块的第一多头注意力单元，将所述句子词向量、所述上下文词向量分别映射为对应的查询表示、键表示及值表示；基于所述第三多头注意力编码模块的第二多头注意力单元，将所述目标词向量映射为所述目标词向量对应的键表示和值表示，并将所述上下文词向量映射为所述目标词向量对应的查询表示；根据所述句子词向量、所述上下文词向量以及所述目标词向量分别对应的查询表示、键表示及值表示，得到句子语义特征表示、上下文语义特征表示及目标语义特征表示；将所述句子语义特征表示、所述上下文语义特征表示及所述目标语义特征表示分别输入至所述第一多头注意力编码模块、所述第二多头注意力编码模块及所述第三多头注意力编码模块的卷积单元以进行逐点卷积变换，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示。3.根据权利要求1所述的面向语义片段的目标情感分析方法，其特征在于，所述将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示，包括：利用所述目标情感分析模型的多头注意力层，将所述目标词隐状态表示映射为所述目标词隐状态对应的键表示和值表示，并将所述上下文隐状态表示映射为所述目标词隐状态表示对应的查询表示；
利用所述目标词隐状态表示对应的查询表示、键表示和值表示，得到目标上下文语义特征表示。4.根据权利要求1所述的面向语义片段的目标情感分析方法，其特征在于，所述预测层包括平均池化层和全连接层；所述将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，包括：将所述目标上下文语义特征表示输入至所述平均池化层，得到池化处理后的目标上下文语义特征表示；将所述句子分段语义特征表示与所述池化处理后的目标上下文语义特征表示连接，得到所述文本样本对应的文本表示；将所述文本表示输入至所述全连接层，得到所述文本表示对应的分类输出；基于预设分类器，根据所述文本样本对应的分类输出计算所述文...

【专利技术属性】
技术研发人员：琚生根，邓航，李怡霖，鄢凡力，
申请(专利权)人：四川大学，
类型：发明
国别省市：