【技术实现步骤摘要】
本申请涉及多模态情感识别，特别是涉及一种基于超图层级对比学习的多模态情感识别方法。
技术介绍
1、在多模态情感识别领域，技术的发展正朝着更加精准化和智能化的方向迈进。情感识别作为人机交互的重要组成部分，广泛应用于社交媒体分析、在线教育、客服系统和医疗情感检测等领域。多模态情感识别通常需要处理和分析来自语音、文本和图像等多种模态的数据，这些数据分别提供了不同维度的情感信息，语音数据能够捕捉语调、语速等情感线索，文本数据提供了丰富的语义信息，而图像数据则反应了面部表情、姿态等直观情感特征。
2、然而，传统的多模态情感识别技术仍存在一些局限性，这些技术通常在正在多模态数据时，未能充分利用各模态间的内在联系和时序一致性，导致信息的融合不充分、跨模态特征关系建模能力不足。此外，不同模态数据具有异质性，语音、文本和图像的特征空间存在显著差异，这使得在统一框架下对多模态数据进行有效建模变得尤为困难。同时，现有方法在面对噪声、遮挡或模态缺失等实际场景时，模型鲁棒性交叉，难以满足复杂应用需求。
技术实现思路
1、基于此，有必要提供一种基于超图层级对比学习的多模态情感识别方法，该方法包括：
2、s1：获取按时间分布的包含语音、文本、图像的多模态数据，并对语音数据、文本数据、图像数据分别进行特征提取；
3、s2：基于时间序列，并基于提取出的语音模态特征、文本模态特征、图像模态特征构建节点，以两节点之间的相似度作为边的权重，构建模态互联图；
4、s3：将每个
5、s4：对所述第一超图分别进行成员掩码和节点掩码，分别得到第二超图、第三超图；基于所述第一超图、所述第二超图、所述第三超图进行多层级对比学习，并计算联合损失；
6、s5：增强三种模态特征的融合特征，得到增强特征，基于所述联合损失对所述增强特征进行联合优化，得到多模态情感表示，基于所述多模态情感表示预测情感识别结果。
7、有益效果：该方法通过引入超图结构建模多模态数据之间的关系，以挖掘跨模态的潜在关联性和时序一致性，同时采用多层次对比学习策略，提升情感识别的泛化能力和鲁棒性。这种新方法不仅能够充分利用多模态数据的互补性，还能增强对噪声和模态异质性的适应能力，为实现更加精准和高效的情感识别提供了技术支持。
本文档来自技高网...【技术保护点】
1.一种基于超图层级对比学习的多模态情感识别方法，其特征在于，包括：
2.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，语音模态特征的提取包括：
3.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，S2中，模态互联图的构建过程包括：
4.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，S3中，第一超图的构建过程包括：
5.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，第二超图的构建过程包括：
6.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，第三超图的构建过程包括：
7.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，多层级对比学习包括：
8.根据权利要求7所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，将第二超图/第三超图中的成员损失、节点损失与所述超图损失进行加权求和，得到层次内的对比损失；
9.根据权利要求1
10.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，所述基于所述多模态情感表示预测情感识别结果包括：
...【技术特征摘要】
1.一种基于超图层级对比学习的多模态情感识别方法，其特征在于，包括：
2.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，语音模态特征的提取包括：
3.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，s2中，模态互联图的构建过程包括：
4.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，s3中，第一超图的构建过程包括：
5.根据权利要求1所述的基于超图层级对比学习的多模态情感识别方法，其特征在于，第二超图的构建过程包括：
6.根据权利要求1所述的基于超图层级对比学习的多模态情感识别...
【专利技术属性】
技术研发人员：徐雪松，石韬，王煜坤，曾伟豪，褚孟达，
申请(专利权)人：湖南工商大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。