【技术实现步骤摘要】
本专利技术涉及多模态共情对话生成领域，具体涉及一种融合性格特征的多模态共情对话生成方法。
技术介绍
1、在人际交往中，共情的表现与个人的性格特点紧密相连，而这些性格特点可以通过迈尔斯-布里格斯类型指标(mbti)进行描述。该工具通过四个二分维度将个体划分为16种不同的性格类型：外向(e)与内向(i)、感觉(s)与直觉(n)、思考(t)与情感(f)，以及判断(j)与知觉(p)。在对话过程中，人们不仅依赖自己习惯性的共情表达方式，还会根据对方的性格特点调整自己的回应。例如，一个倾向于思考型(t)的人可能会更加逻辑化地回应问题，而一个倾向于情感型(f)的人则可能更注重对方的感受并作出更具同理心的反应。同样，感知型(p)的人可能会对开放性和灵活性表现出更大的兴趣，而判断型(j)的人则可能更重视结构和决策。因此，了解mbti性格类型可以帮助共情对话系统更好地理解和适应他人，促进和谐有效的人机交互过程。
2、多模态共情对话生成是一项结合自然语言处理、计算机视觉和语音处理等
的前沿研究，旨在实现更具情感理解和人性化的对话交互。现有的共情对话生成方法主要分为三条技术路线：一是专门针对对话文本中的用户情绪识别，并将所识别的情绪特征整合进共情回复的生成流程。然而，鉴于人类情感表达是一个多模态的过程，涵盖了语言符号、语音语调、面部表情以及身体姿态等多个方面，单纯依赖文本数据进行情绪识别可能限制了情绪识别的精确性。此外，共情本身不仅涉及情感层面的共鸣，即情感共情，还包括理解对方视角的认知过程，即认知共情。因此，仅通过融合用户情绪这一单
3、二是在基于对话文本进行用户情绪识别的基础上，借助外部知识图谱从对话上下文中推导出常识性知识，并将这些推理所得的知识与识别到的情绪标签共同融入共情回复的生成过程。然而，这种方法依然未能充分考虑人类交流中的多模态特性，因而可能在情绪识别的准确性上有所欠缺。此外，单纯依赖知识图谱进行文本推理以获取与用户相关的常识知识，存在一定的局限性，这不仅限制了对用户具体情境的全面理解，也因为知识图谱内容可能存在不准确或不完备的情况，影响了推理结果的有效性和可靠性。
4、三是采用多模态大语言模型作为对话代理，该类模型能够接收与用户交互相关的多模态数据输入，并据此生成相应的输出内容。然而，值得注意的是，大多数现有的多模态大语言模型并非专门为共情对话生成任务而设计。尽管这些模型在语言推理和理解方面展现出卓越的能力，但在共情理解和表达上，它们的表现通常不及经过专门微调的小型模型。此外，多模态大语言模型对计算资源的需求相对较高，这限制了其在端侧设备上的大规模部署和应用，尤其是在资源受限的环境中。
5、此外，上述三类方法在生成共情回复的过程中普遍缺乏对用户个性化信息的充分考虑，导致所产生的共情回复往往呈现出高度的一致性和泛化性，而未能针对个体用户的性格特点提供个性化的响应。这种缺乏针对性的共情表达可能会削弱人机交互的有效性，进而降低人机交互体验的满意度。
技术实现思路
1、本专利技术是为了解决上述现有技术存在的不足之处，提出一种融合性格特征的多模态共情对话生成方法，以期能构建一个在多模态环境下生成与用户性格特点和表达习惯相契合的共情对话的深度学习网络，从而能提升多模态共情对话系统在情感共鸣表达方面的能力，同时增强用户对人机交互体验的满意度。
2、本专利技术为达到上述专利技术目的，采用如下技术方案：
3、本专利技术一种融合性格特征的多模态共情对话生成方法的特点在于，是按如下步骤进行：
4、步骤1、构建包含性格特征标签和情绪标签的多模态数据集合；其中，表示第个用户的多模态信息，表示第个用户的视觉模态数据，表示第个用户分词后的文本模态数据，表示第个用户的性格特征标签，表示第个用户的情绪标签，为用户的总数；其中，，表示分词后的第条文本模态数据中的第个单词，表示第条文本模态数据的长度；
5、步骤2、使用词袋模型生成的特征向量集合；使用特征向量集合生成的似然概率，其中，表示特征向量集合中的向量；从而利用式(1)构建性格特征分类器的优化目标，并训练性格特征分类器：
6、 (1)
7、式(1)中，表示的后验概率；表示成正比例；表示的似然概率；表示的先验概率；
8、步骤3、识别用户s的性格特征标签及其向量表征；
9、步骤4、构建情绪分类器并对和进行处理，预测第个用户的情绪标签；从而利用式(2)构建情绪分类器的交叉熵损失函数：
10、 (2)
11、步骤5、利用语言模型对第个用户的多模态信息进行处理，得到对第个用户的共情回复的概率分布，从而利用式(3)构建语言模型的负对数最大似然损失：
12、 (3)
13、式(3)中，表示求期望；
14、步骤6、利用式(4)构建由情绪分类器和语言模型构成的融合性格特征的多模态共情对话生成模型的总损失函数：
15、 (4)
16、式(4)中，和是2个超参数；
17、步骤7、基于总损失函数，使用adam优化器对所述融合性格特征的多模态共情对话生成模型进行训练，并计算总损失函数，依据反向传播和梯度下降法来更新网络参数，直到迭代次数达到最大值时或总损失函数不再继续减小时，停止训练步骤，从而得到最优融合性格特征的多模态共情对话生成模型，用于生成共情对话。
18、本专利技术所述的一种融合性格特征的多模态共情对话生成方法的特点也在于，所述步骤3是按如下步骤进行：
19、步骤3.1、获取任一用户s的文本模态数据并经过分词处理后，输入训练后的性格特征分类器中进行预测，得到用户的性格特征标签；
20、步骤3.2、根据，获取关于性格特征标签的一段文本描述，在文本描述的开头添加一个全局标记后，输入到预训练语言模型bert中进行处理，得到文本描述嵌入向量，并将全局标记所在位置处的嵌入作为性格特征标签的向量表征。
21、进一步的，所述步骤4是按如下步骤进行：
22、步骤4.1、使用预训练语言模型gpt-2提取的文本模态特征；使用预训练视觉语言模型blip提取的视觉模态特征；其中，表示特征的维度；
23、步骤4.2、情绪分类器将视觉模态特征通过线性变换映射到查询和键值向量空间，从而利用式(5)计算的自注意力：
24、 (5)
25、式(5)中，分别表示将视觉模态特征映射到查询和键值向量空间的待学习的3个参数，是隐藏层的维度；表示softmax函数；
26、步骤4.3、按照步骤4.2的步骤计算文本模态特征的自注意力；
27、步骤4.4、情绪分类器将作为查询向量，将作为键和值向量，计算第个用户的跨模态注意力；再将跨模态注意力经过前馈层和归一化层处理之后，得到隐藏层的输出向量；从而利用式(6)得到第个用户的情绪预测标签本文档来自技高网...
【技术保护点】
1.一种融合性格特征的多模态共情对话生成方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种融合性格特征的多模态共情对话生成方法，其特征在于，所述步骤3是按如下步骤进行：
3.根据权利要求1所述的一种融合性格特征的多模态共情对话生成方法，其特征在于，所述步骤4是按如下步骤进行：
4.根据权利要求1所述的一种融合性格特征的多模态共情对话生成方法，其特征在于，所述步骤5是将第个用户的多模态信息输入到语言模型中，并利用式(7)预测对第个用户的共情回复的概率分布，将通过函数处理后，得到对第个用户的共情回复：
5.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-4中任一所述融合性格特征的多模态共情对话生成方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
6.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-4中任一所述融合性格特征的多模态共情对话生成方法的步骤。
【技术特征摘要】
1.一种融合性格特征的多模态共情对话生成方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种融合性格特征的多模态共情对话生成方法，其特征在于，所述步骤3是按如下步骤进行：
3.根据权利要求1所述的一种融合性格特征的多模态共情对话生成方法，其特征在于，所述步骤4是按如下步骤进行：
4.根据权利要求1所述的一种融合性格特征的多模态共情对话生成方法，其特征在于，所述步骤5是将第个用户的多模态信息输入到语言模型中，并利用式(7)预测对第...
【专利技术属性】
技术研发人员：王上飞，吴家强，黄晅东，朱周安，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。