【技术实现步骤摘要】
本专利技术属于情感信号处理，具体涉及一种基于面部图像和文本特征诱发的多模态情感识别方法。
技术介绍
1、随着人工智能的快速发展，情感计算逐渐成为一个热门研究话题。而情感数据是情感计算相关领域的研究对象，它是进行后续研究的必要保障。优质的情感数据能够提升整个研究的水平，保障研究课题的可靠性。所以，建立情感数据库对情感计算相关研究很有必要。
2、人的情感与感官体验紧密相关，而传统的数据集相对而言最多只能从两种感官进行刺激。大多都是由图片(视觉)、音频(听觉)、视频(视觉和听觉)等单一刺激诱发的情感，在刺激感官的数量上较为单调，所诱发的情感也相对较弱。
3、社交媒体平台，尤其是小红书这种以用户生成内容，分享自己的生活与体验为主的社交平台，往往包含大量用户的面孔图片信息，以及表达个人感受的文本信息，如果文本内容能与图片内容相融洽，则会相辅相成，营造出更浓烈的情感氛围。但倘若结合的不好，就会产生互斥性，使用户剥离整体营造的情景，情感出现不可控式变化。
4、另外，多模态情绪的特征表达和多模态融合方法是多模态情绪识别的两大关键问题。良好的特征表征能抓住能总结出各种内容的丰富情绪线索，良好的融合机制能够将个模态信息进行有效的集成。理论上，基于多模态融合的情感识别能结合不同模态间的互补信息，但选择合适的融合方法是多模态情感识别应用的一大难题。
5、因此亟需提供一种新型的基于面部图像‐文本联合诱发的多模态情感识别方法来解决上述问题。
技术实现思路
1、本
2、一种基于面部图像和文本特征诱发的多模态情感识别方法，包含：
3、获取若干面部图像组成图像集并进行人工标记；
4、获取若干文本组成文本集并进行人工标记；
5、将图像集和文本集根据标记结果进行交叉组合构成包含若干图像-文本刺激材料的刺激组合集；
6、采集受试者在不同组合刺激材料下的eeg信号和eog信号，并由受试者完成实验后反馈情感体验，将采集到的所有eeg信号和eog信号从事件发生标定点到事件结束标定点进行有用数据的截取，建立一个多刺激诱发的多模态情感数据库；
7、对eeg信号和eog信号进行预处理；
8、对预处理之后的eeg信号和eog信号提取各自的eeg特征和eog特征；
9、通过提取的eeg特征和eog特征训练预测模型，通过训练好的预测模型对用户发布的图文动态进行情感预测。
10、进一步地，所述获取若干面部图像组成图像集并进行人工标记的具体方法为：
11、选择affectnet大型面部表情数据集作为图像集，affectnet大型面部表情数据集包含八种面部表情以及效价和唤醒的强度，标记每张面部图像的情感极性和情感强度，情感极性包含积极和消极，情感强度包含高和低。
12、进一步地，所述获取若干文本组成文本集并进行人工标记的具体方法为：
13、抓取小红书社交平台中粉丝数大于预设值的用户发表内容的文本，标记每个文本的情感极性和情感强度，情感极性包含积极和消极，情感强度包含高和低。
14、进一步地，所述将所述图像集和所述文本集根据标记结果进行交叉组合构成包含若干图像-文本刺激材料的刺激组合集的具体方法为：
15、按照图片的不同情感极性、不同情感强度和文本的不同情感极性、情感强度进行两两组合，形成包含高情感-积极情绪-高情感-积极情绪、高情感-消极情绪-高情感-积极情绪、高情感-积极情绪-低情感-积极情绪、高情感-消极情绪-低情感-积极情绪、低情感-积极情绪-高情感-积极情绪、高情感-消极情绪-高情感-消极情绪、高情感-积极情绪-低情感-消极情绪、高情感-消极情绪-低情感-消极情绪、低情感-积极情绪-高情感-积极情绪、低情感-消极情绪-高情感-积极情绪、低情感-积极情绪-低情感-积极情绪、低情感-消极情绪-低情感-积极情绪、低情感-积极情绪-高情感-积极情绪、低情感-消极情绪-高情感-消极情绪、低情感-消极情绪-低情感-消极情绪和低情感-积极情绪-高情感-消极情绪共16种组合的刺激材料。
16、进一步地，对eeg信号和eog信号进行预处理的具体方法包含去除无用通道信号、滤波、坏导检测和插值、重参考、划分试验单位数据和去除伪迹中的至少三种。
17、进一步地，所述通过提取的eeg特征和eog特征训练预测模型的具体方法为：
18、将eeg信号和eog信号两种模态的特征按照串联规则执行特征层融合策略，获得一个融合后的特征向量；
19、将eeg特征、eog特征和融合后的特征向量分别送入分类模型中进行联合训练，基于各特征对情感识别效果的贡献对各分类模型的损失赋予权重以获得总损失值，反向传播更新下一轮的参数使模型训练得以优化，预测效果得以提升，最终得出各自的预测精度；
20、根据分析择优采用最大值规则对上一步骤得到的三个预测结果执行决策层融合策略，确定最终预测的情感类别。
21、进一步地，将eeg特征、eog特征和融合后的特征向量各自送入一个分类模型中进行学习和训练，训练的同时根据各输入特征对情感识别的贡献度来确定其损失的权重，权重的寻优方法是采用考虑每个任务的均方差不确定性来权衡多个损失函数。
22、进一步地，所述分类模型采用transformer分类器。
23、进一步地，采取有监督方式训练用户情感四分类模型，使用获取的eeg特征和eog特征，以多类别交叉熵损失作为优化目标函数，并且利用反向传播算法回传梯度以最小化目标函数;
24、目标函数的计算方式为:
25、
26、其中，m表示训练数据集中的样本总数，表示第z个文本-图片组合的真实标签；对目标函数loss进行最小化，即获得训练好的用户情感四分类模型。
27、进一步地，将图像集根据性别划分为男性图像集和女性图像集，将文本集根据性别划分为男性文本集和女性文本集；
28、将男性图像集和男性文本集进行交叉组合构成男性刺激组合集，基于上述过程得到男性预测模型，通过男性预测模型对男性用户发布的图文动态进行情感预测；
29、将女性图像集和女性文本集进行交叉组合构成女性刺激组合集，基于上述过程得到女性预测模型，通过女性预测模型对女性用户发布的图文动态进行情感预测。
30、本专利技术的有益之处在于所提供的基于面部图像和文本特征诱发的多模态情感识别方法，能够对用户发布的图文数据进行情感识别。
本文档来自技高网...【技术保护点】
1.一种基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，包含：
2.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
3.根据权利要求2所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
4.根据权利要求3所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
5.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
6.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
7.根据权利要求6所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
8.根据权利要求7所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
9.根据权利要求8所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
10.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
【技术特征摘要】
1.一种基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，包含：
2.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
3.根据权利要求2所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
4.根据权利要求3所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
5.根据权利要求1所述的基于面部图像和文本特征诱发的多模态情感识别方法，其特征在于，
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。