【技术实现步骤摘要】
本专利技术涉及应答场景语料分析，尤其是涉及一种基于ama模型的多任务多模态方面级情感分析方法及装置。
技术介绍
1、在云改数转的引领下，智能应答业务快速发展，用户数量屡创新高，智能应答每天产生大量数据，文本的情感分析及正确分类对于提升用户体验很重要。alsa是一种细粒度的情感分析任务，其目的是自动分类与文本的特定方面相关的情感。近年来，许多模型重点关注作用于局部文本特征的模型，然后融合全局文本的特征，专注于局部文本或局部文本方面关系，然而，这忽略了全局文本的作用。
2、中国专利申请cn202310439788.5公开了一种基于句法和图卷积网络的方面级情感分析方法，其基于依赖树和依赖位置图来增强每个句子实例的句法依赖，仅仅解决了情感分析领域容易忽略的依赖树拓扑结构与依赖距离之间存在密切关系的问题，忽略了全局文本的作用。在多模态特征融合时，仅仅通过向量拼接的手段，盲目地进行音频和文本特征融合，往往会引入噪声，导致多模态方面级情感分析效果难有提升。
技术实现思路
1、本专利技术的目的是克服上述现有单模态方面级情感分析模型对当前场景下分类正确率低的问题而提供一种面向智能应答多场景语料数据的多模态情感识别方法及装置。
2、本专利技术的目的可以通过以下技术方案来实现：
3、本专利技术基于语音数据和文本数据两种模态数据构建多模态情感识别方法，该方法融入领域知识、依赖树、句子级别和语义级别的知识，首先通过双向编码表示bert模型转换句子中的单词，对语料数据进行双
4、作为优选技术方案，对于所述的文本语料数据，对全场景语料数据经过asr转换后对数据进行etl工程，获取用户唯一id、文本内容、主被叫、意图类别、开始时间、结束时间以及标签，得到文本语料数据集；
5、对于所述的语音语料数据，通过大网旁路获取应答业务中的语音流，按照时间顺序进行存储，进行etl工程，选取用户唯一id、文本内容、主被叫、意图类别、开始时间，结束时间以及标签，进而得到语音语料数据集。
6、作为优选技术方案，所述bert模型对语料数据进行双向编码表示的具体步骤为：
7、采用预训练bert模型通过嵌入层将每个文本中的字转换为字向量表示；
8、bert还包括额外的嵌入层以句向量嵌入和位置向量嵌入的形式融入领域知识、依赖树、句子级别和语义级别的知识；
9、将字向量，词向量和位置向量进行合并表示，并采用哈希标签语义算法实现语义信息的哈希标签编码和多模态语义信息的对齐。
10、作为优选技术方案，所述哈希标签编码公式如下所示：
11、
12、其中：为哈希标签的隐状态，表示标签的特征向量，fhashtag为哈希编码网络，πhashtag为网络超参数。
13、作为优选技术方案，所述的ama网络模型具体如下：
14、对全局文本进行建模获得的全局上下文特征e，采用最大池化方法将全局上下文特征e中大于1的方面术语长度减少到1，并在最后填充0补齐后得到e'＝{e'0,e1',…,e'a1,…,e'n,0,…,0}；
15、对于全局上下文嵌入，基于ama网络模型进行上下文特征动态加权：
16、
17、其中：q是通过全局嵌入输入线性层获得，e代表全局上下文嵌入；d为全局上下文嵌入e的维度；
18、对于全局嵌入中截断的局部嵌入部分，采用ama计算局部嵌入的注意力分数：
19、
20、
21、其中：n为输入句子含有语句的条数，m为每条语句包含需要执行方面级情感分析方面术语实体单词的数量；
22、输出的结果表示为：
23、att_out＝(αij)m×n×e
24、所述的ama网络模型将att_out与动态加权后获得指定权重的全局上下文嵌入特征outweighted进行拼接并输出：
25、outconcat＝[outweighted,att_out]。
26、作为优选技术方案，所述ama网络模型采用多阶段多任务联合训练方法：
27、第一阶段进行单模态表征的子任务，输入表示文本/音频的句子矩阵，在文本表征子任务和音频表征子任务之间进行联合训练，输出第一阶子任务网络参数；
28、第二阶段进行多模态子任务，输入第一阶段子任务网络参数以及第一阶段融合矩阵，利用多模态信息进行学习，输出最终训练好的ama网络模型参数。
29、作为优选技术方案，对于所述ama网络模型输出结果依次通过激活函数和最大池化层，后通过全连接层实现方面级情感分类结果。
30、作为优选技术方案，对于所述进行情感类别的分类识别的全连接层输出使用交叉熵损失函数计算损失：
31、loss＝crossentropy(ytruth,ypredict)
32、其中：ytruth表示真实值，ypredict表示全连接层的预测值。
33、作为本专利技术的第二方面，提供一种基于ama的多模态方面级情感分析装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上所述的基于ama的多模态方面级情感分析方法。
34、作为本专利技术的第三方面，提供一种存储介质，其上存储有程序，所述程序被执行时实现如上所述的基于ama的多模态方面级情感分析方法。
35、与现有技术相比，本专利技术具有以下有益效果：
36、本专利技术提出的基于ama网络模型作用于全局文本和局部文本，由于全局文本可以更好地学习方面术语的内容，同时作用于局部文本可以防止信息的冗余并减少噪声，能够更好地计算具有更多充分学习方面术语特征的局部文本之间每个标记的权重。通过重新排序token的索引，进而根据token的索引重新分配每个方面术语的向量权重，有效解决了权重分配的可解释性问题和设置阈值引起的信息缺失问题。
37、本专利技术基于ama多任务模型采用多阶段多任务联合训练方法，其在第一阶段引入了单模态表征的子任务，并且文本和音频表征子任务之间进行联合训练，在第一阶段单模态表征的帮助下，第二阶段进行多模态子任务，利用多模态信息进行学习，考虑到了多模态的一致性和差异性问题。
本文档来自技高网...【技术保护点】
1.一种基于AMA的多模态方面级情感分析方法，其特征在于，步骤包括：
2.根据权利要求1所述的一种基于AMA的多模态方面级情感分析方法，其特征在于，
3.根据权利要求1所述的一种基于AMA的多模态方面级情感分析方法，其特征在于，所述BERT模型对语料数据进行双向编码表示的具体步骤为：
4.根据权利要求3所述的一种基于AMA的多模态方面级情感分析方法，其特征在于，所述哈希标签编码公式如下所示：
5.根据权利要求1所述的一种基于AMA的多模态方面级情感分析方法，其特征在于，所述的AMA网络模型具体如下：
6.根据权利要求1所述的一种基于AMA的多模态方面级情感分析方法，其特征在于，所述AMA网络模型采用多阶段多任务联合训练方法：
7.根据权利要求1所述的一种基于AMA的多模态方面级情感分析方法，其特征在于，对于所述AMA网络模型输出结果依次通过激活函数和最大池化层，后通过全连接层实现方面级情感分类结果。
8.根据权利要求7所述的一种基于AMA的多模态方面级情感分析方法，其特征在于，对于所述进行情感类别
9.一种基于AMA的多模态方面级情感分析装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的基于AMA的多模态方面级情感分析方法。
10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的基于AMA的多模态方面级情感分析方法。
...【技术特征摘要】
1.一种基于ama的多模态方面级情感分析方法，其特征在于，步骤包括：
2.根据权利要求1所述的一种基于ama的多模态方面级情感分析方法，其特征在于，
3.根据权利要求1所述的一种基于ama的多模态方面级情感分析方法，其特征在于，所述bert模型对语料数据进行双向编码表示的具体步骤为：
4.根据权利要求3所述的一种基于ama的多模态方面级情感分析方法，其特征在于，所述哈希标签编码公式如下所示：
5.根据权利要求1所述的一种基于ama的多模态方面级情感分析方法，其特征在于，所述的ama网络模型具体如下：
6.根据权利要求1所述的一种基于ama的多模态方面级情感分析方法，其特征在于，所述ama网络模型采用多阶段多任务联合训练方法：
...
【专利技术属性】
技术研发人员：周晓辉，王华超，张晨昱，
申请(专利权)人：号百信息服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。