【技术实现步骤摘要】
本专利技术涉及情感识别领域，尤其涉及一种基于双层关系图的多模态会话情感识别方法。
技术介绍
1、近年来，由于自然语言处理(natural language processing,nlp)的快速发展，情感识别已成为一个热门话题。情感识别是指通过对语言、声音、图像或其他形式的数据进行分析，来确定人类情感状态的技术或方法，旨在帮助计算机理解人类的情感。多模态情感识别利用了多个感知通道的信息，从而提供更全面和准确的情感分析，对提高情感识别的可靠性有重要意义。
2、对话中的情感识别(emotion recognition in conversation,erc)是自然语言处理领域一个重要的研究课题，不同于独立句子的情感识别，erc需要结合说话者信息、上下文内容和对话意图等特征来判断话语的情感。erc是生成需要理解用户情绪的情感感知对话的关键，openai公司推出的开放域知识问答模型gpt-4，在基础任务上有很好的表现，但是只有用户明确的说“我不开心”时才能够表达安慰，只能理解文字表面的含义，无法理解文字背后的情感。
3、现有的大多数多模态情感识别的方法可分为基于非图的方法和基于图的方法。基于非图的方法大多采用长短期记忆网络(long short-term memory,lstm)和多头注意力机制(multi-head attention)等模型捕获时序关系，并利用transformer及其变体模型融合不同模态并提取全局上下文特征。基于图的常用方法是图卷积神经网络(graphconvolutional network
4、对话中的多模态情感任务作为情感计算领域的重要问题，尽管相关研究发展迅速，模型性能不断提升，但是仍然存在几个关键问题未能得到充分解决：(1)现有的邻域聚合策略面临着节点信息冗余的问题，导致节点的判别信息受到干扰；(2)多模态数据、说话者信息、说话者情感状态等关键特征未能全部有效利用，对话和说话者的情感惯性未能被充分考虑。
技术实现思路
1、本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种基于双层关系图的多模态会话情感识别方法，能够减少冗余信息的干扰，并有效利用不同说话者的信息来建模不容说话者与情感间的关系。
2、为解决上述技术问题，本专利技术提出的技术方案为：
3、一种基于双层关系图的多模态情感识别方法，包括以下步骤：
4、获取不同说话者的对话内容，对所述对话内容划分节点；
5、计算每个节点与每个节点的邻居节点之间的相似度，根据所述相似度构建全局亲和图，同时获取每个节点的上下文信息，根据上下文信息构建局部依赖图；
6、将全局亲和图与局部依赖图分别进行图卷积特征提取，得到全局特征向量和局部特征向量，将全局特征向量和局部特征向量融合后进行预测得到情感识别结果。
7、进一步的，对所述对话内容划分节点时，包括：对所述对话内容中的每一句话分别提取模态特征向量，将同一句话的不同模态特征向量进行融合，将每一句话融合后的特征作为一个节点。
8、进一步的，所述模态特征向量包括文本特征、视频特征和音频特征。
9、进一步的，计算每个节点与每个节点的邻居节点之间的相似度，根据所述相似度构建全局亲和图时，包括：
10、分别提取每个节点的特征，得到每个节点的特征向量；
11、将每个节点的特征向量与每个节点的邻居节点的特征向量代入距离函数，计算得到每个节点与其邻居节点之间的相似度；
12、分别选取与每个节点相似度最高的指定数量的邻居节点，用选取的节点的特征向量生成全局亲和图中的边；
13、为全局亲和图中每条边嵌入说话者信息和时序关系。
14、进一步的，获取每个节点的上下文信息，根据上下文信息构建局部依赖图时，包括：
15、分别提取每个节点的特征，得到每个节点的特征向量；
16、针对每个节点，分别选取指定滑动窗口内的节点作为对应上下文信息，并用每个节点与对应的上下文信息的特征向量生成局部依赖图中的边；
17、为局部依赖图中每条边嵌入说话者信息和时序关系。
18、进一步的，分别提取每个节点的特征时，包括：使用transformer模型中的encoder模块作为特征提取器提取特征，encoder模块中的多头注意力机制的计算如下：
19、
20、
21、
22、其中，u是模态特征向量包括文本特征、视频特征和音频特征，q，k，v分别为u和wq，wk，wv相乘后提取到的特征向量，wq，wk，wv分别为模型中可训练的权重参数，att为自注意力机制的输出结果，h表示多头注意力机制中的头数，multihead为多头注意力机制的计算结果，w为模型中可训练的参数，对应的情感嵌入的计算公式为：
23、u′＝layernorm(u+multihead)
24、z＝layernorm(u′+relu(u′w1)w2)
25、其中，layernorm是层标准化函数，u′是u和多头注意力机制相加经过层标准化函数后的输出，w1，w2分别是模型中可训练的权重参数，z是对话中每句话对应的特征向量。
26、进一步的，将全局亲和图与局部依赖图分别进行图卷积特征提取时，均包括：根据不同边的类型获取说话者间或说话者内的依赖关系；使用多头注意力机制作为权重系数，根据权重系数和所述依赖关系计算得到特征向量。
27、进一步的，根据不同边的类型获取说话者间或说话者内的依赖关系时，计算公式如下：
28、
29、其中，x′i表示通过不同的关系集合所得到的节点i的特征向量，nri表示节点i在关系r下相连的节点的集合，|nri|是nri的总和，σ是激活函数，wr表示模型中可训练的权重参数，zj表示权利要求4和5中提取每个节点的特征，得到的每个节点的特征向量。
30、进一步的，根据权重系数和所述依赖关系计算得到特征向量时，计算公式如下：
31、
32、其中，ei表示聚合邻居节点后的节点i的特征向量，x′i表示节点i初始的特征向量，ni表示节点i的所有相连顶点的集合，x′j表示与节点i相连节点的初始特征向量，w3和w4分别表示模型中可训练的权重参数，atti,j表示多头注意力机制，计算公式如下：
33、
34、其中，d是隐藏层的维度，t表示矩阵转置。
35、进一步的，将全局特征向量和局部特征向量融合后进行预测得到情感识别结果时，包括：
36、将全局特征向量和局部本文档来自技高网...
【技术保护点】
1.一种基于双层关系图的多模态情感识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于双层关系图的多模态情感识别方法，其特征在于，对所述对话内容划分节点时，包括：对所述对话内容中的每一句话分别提取模态特征向量，将同一句话的不同模态特征向量进行融合，将每一句话融合后的特征作为一个节点。
3.根据权利要求2所述的基于双层关系图的多模态情感识别方法，其特征在于，所述模态特征向量包括文本特征、视频特征和音频特征。
4.根据权利要求1所述的基于双层关系图的多模态情感识别方法，其特征在于，计算每个节点与每个节点的邻居节点之间的相似度，根据所述相似度构建全局亲和图时，包括：
5.根据权利要求1所述的基于双层关系图的多模态情感识别方法，其特征在于，获取每个节点的上下文信息，根据上下文信息构建局部依赖图时，包括：
6.根据权利要求4或5所述的基于双层关系图的多模态情感识别方法，其特征在于，分别提取每个节点的特征时，包括：使用Transformer模型中的Encoder模块作为特征提取器提取特征，Encoder模块中的多头注意
7.根据权利要求1所述的基于双层关系图的多模态情感识别方法，其特征在于，将全局亲和图与局部依赖图分别进行图卷积特征提取时，包括：根据不同边的类型获取说话者间或说话者内的依赖关系；使用多头注意力机制作为权重系数，根据权重系数和所述依赖关系计算得到特征向量。
8.根据权利要求7所述的基于双层关系图的多模态情感识别方法，其特征在于，根据不同边的类型获取说话者间或说话者内的依赖关系时，计算公式如下：
9.根据权利要求7所述的基于双层关系图的多模态情感识别方法，其特征在于，根据权重系数和所述依赖关系计算得到特征向量时，计算公式如下：
10.根据权利要求1所述的基于双层关系图的多模态情感识别方法，其特征在于，将全局特征向量和局部特征向量融合后进行预测得到情感识别结果时，包括：
...【技术特征摘要】
1.一种基于双层关系图的多模态情感识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于双层关系图的多模态情感识别方法，其特征在于，对所述对话内容划分节点时，包括：对所述对话内容中的每一句话分别提取模态特征向量，将同一句话的不同模态特征向量进行融合，将每一句话融合后的特征作为一个节点。
3.根据权利要求2所述的基于双层关系图的多模态情感识别方法，其特征在于，所述模态特征向量包括文本特征、视频特征和音频特征。
4.根据权利要求1所述的基于双层关系图的多模态情感识别方法，其特征在于，计算每个节点与每个节点的邻居节点之间的相似度，根据所述相似度构建全局亲和图时，包括：
5.根据权利要求1所述的基于双层关系图的多模态情感识别方法，其特征在于，获取每个节点的上下文信息，根据上下文信息构建局部依赖图时，包括：
6.根据权利要求4或5所述的基于双层关系图的多模态情感识别方法，其特征在于，分别提取每个...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。