【技术实现步骤摘要】
本专利技术属于人工智能、计算机视觉、情感计算，具体涉及一种多模态情绪识别方法及系统。
技术介绍
1、情感识别技术在多个实际应用场景中展现出其巨大的潜力与价值。比如：在人机交互中，该技术可以使机器更深入理解人类需求，提供智能服务；在医学辅助诊断中，情感识别对神经系统疾病，如睡眠障碍、精神分裂症、帕金森病等的诊断与治疗有极大帮助，同时能监测患者的生理状况，如疲劳、嗜睡、抑郁和疼痛等。此外，情感识别对自闭症、多动障碍和恐慌障碍等心理疾病的研究也具有重要意义。
2、过去，情感识别的研究成果主要侧重于单一数据源(如面部表情或语音信号)的分析与应用，如文本情感分析(text sentiment analysis，tsa)、音频情感识别(speechemotion recognition，ser)和人脸表情识别(facial expression recognition，fer)等，虽然通过机器学习和深度学习的方法，这些技术已经能够较准确地识别情感，但每种单模态识别方法都存在一定的局限性，如识别精度不足、难以平衡精度与时间效率、缺乏可解释性等。
3、近年来，情感识别领域的研究者逐渐认识到，情感表达是一个复杂而多维的过程，它不仅仅依赖于单一的感知通道，而是需要综合多种感知通道的信息来形成更为全面和准确的情感表示。因此，多模态情绪识别技术应运而生，其结合多种感知来源的信息来识别和理解人类的情绪状态。相比于单模态情绪识别，多模态情绪识别能够充分挖掘不同模态情感数据之间的一致性和互补性特征。
4、面部表情是可以准确
5、目前涉及脑电信号与面部表情的多模态情绪识别的专利存在如下问题：
6、专利申请号为cn117591967a的一种基于置信度融合的多模态情绪识别方法及系统，该专利未能充分考虑各个模态信号(脑电信号和人脸表情数据)中固有的空间上下文信息，忽略了这些信息的利用以提升识别的准确度。基于的lstm(长短时记忆网络)方法由于其逐元素处理的特点，限制了模型并行化能力，导致训练过程效率低下。此外，lstm在处理长序列时，捕捉长距离依赖关系的能力有限，这进一步影响了情绪识别的准确性；
7、专利申请号为cn115359576a的一种多模态情绪识别方法、装置、电子设备及存储介质，该专利未能充分利用各个模态信号的空间上下文信息。在多模态融合阶段，它采用了固定的权值分配方法，这种方法忽略了不同情绪在不同模态中的主导性差异，无法捕捉模态间可能存在的非线性复杂关系。因此，这种融合策略在理论和方法学上都缺乏合理性；
8、专利申请号为cn117520826a的一种基于可穿戴设备的多模态情绪识别方法及系统，该专利未能有效利用各个模态信号的空间上下文信息。基于的svm(支持向量机)方法在处理高维、复杂的多模态数据时存在局限性，它对数据噪声和异常值较为敏感，且更适用于小规模、低维度且数据质量较高的场景。此外，该方法未提及明确的多模态融合方案，这在一定程度上限制了其在实际应用中的效果；
9、专利申请号为cn117409396a的一种多模态情绪识别方法、系统、设备及介质，同样尝试结合脑电信号与面部表情进行多模态情绪识别，并直接对脑电特征向量和人脸特征向量进行拼接，但由于人脸图像和脑电信号这两种模态之间存在固有的异质性差距，拼接这两种特征进行情绪分类有可能丢失了各个模态中与情绪有关的语义信息，从而降低分类性能。此外，该方法仅支持二分类情绪识别，对于情绪识别领域更深入的研究和实际应用场景存在一定的局限性。
技术实现思路
1、本专利技术的目的在于提供一种多模态情绪识别方法及系统，以解决上述
技术介绍
中提出的目前对情感的识别方法存在单一数据源在情感识别中的局限性，使计算机不能有效的识别和理解用户的情感状态的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种多模态情绪识别方法，具体包括如下步骤：
3、步骤一：数据预处理与特征提取，对于情绪脑电，利用eeglab工具处理脑电数据，先采用使用零相移fir滤波器在0.5-50hz波段对eeg数据进行带通滤波，消除50hz线路噪声中的电干扰，采用球面插值法对去除的不良电极位置进行插值，并进行ica处理以消除非脑相关伪迹，保证后续分析的准确性，采用256hz的采样频率对脑电数据进行下采样，加快计算速度，在处理脑电数据后，将执行多通道脑电图的三维变换过程；
4、步骤二：将预处理后得到的情绪脑电特征与人脸表情特征，用空间上下文编码器对预处理后的各模态特征进行空间上下文特征提取；
5、步骤三：用时间上下文编码器进一步提取时间上下文特征；
6、步骤四：用基于模态注意力机制的多模态融合模块来对不同模态的时空特征表示进行融合，最后进行多模态特征情绪分类，采用相同架构的网络结构来处理不同模态的数据，不仅有利于多模态模型训练的统一性和效率，而且有助于在后续阶段不同模态信息之间的互补与融合，进而提升情绪识别的性能。
7、作为本专利技术中一种优选的技术方案，在所述步骤一中，三维变换过程涉及将多个脑电电极记录的信号转换为地形图形式，其中每个电极的功率分布构成了地形图上的特定点。
8、作为本专利技术中一种优选的技术方案，所述步骤二中，空间上下文编码器采用swintransformer作为骨干架构，用于学习脑电特征与人脸特征空间上下文信息，并且在处理过程中确保了高分辨率数据信息的不丢失，这对于捕捉数据空间分布上细微变化至关重要，对预处理后的脑电特征或人脸特征进行空间上下文特征提取，得到融合空间上下文信息特征图。
9、作为本专利技术中一种优选的技术方案，所述步骤三中，时间上下文编码器基于transformer结构设计时间上下文编码器，以减轻时间维度上人脸遮挡与脑电异常峰值等问题并捕捉脑电信号和人脸表情随时间变化的动态特征。
10、作为本专利技术中一种优选的技术方案，本专利技术在探讨多模态情绪识别时，观察到不同情绪在不同模态中的主导性存在差异，某些情绪可能主要由脑电信号(eeg)主导，而另一些情绪则可能更多地通过人脸表情来体现，为了适配本专利技术的骨干网络并充分利用这两种模态的信息，设计多模态注意力机制，这种机制根据计算得出的注意力权重，也即所述步骤四中，基于模态注意力机制的多模态融合模块对eeg和人脸表情的编码特征进行了加权融合，允许根据每个模态对特定情绪的贡献程度，动态地调整其权重，对于eeg主导的情绪，将给予eeg特征更高的权重；而对于人脸表情主导的情绪，则会赋予人脸表情特征更大的权本文档来自技高网...
【技术保护点】
1.一种多模态情绪识别方法，其特征在于：具体包括如下步骤：
2.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：在所述步骤一中，三维变换过程涉及将多个脑电电极记录的信号转换为地形图形式，其中每个电极的功率分布构成了地形图上的特定点。
3.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：所述步骤二中，空间上下文编码器采用SwinTransformer作为骨干架构，用于学习脑电特征与人脸特征空间上下文信息，并且在处理过程中确保了高分辨率数据信息的不丢失，对预处理后的脑电特征或人脸特征进行空间上下文特征提取，得到融合空间上下文信息特征图。
4.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：所述步骤三中，时间上下文编码器基于Transformer结构设计时间上下文编码器，以减轻时间维度上人脸遮挡与脑电异常峰值问题并捕捉脑电信号和人脸表情随时间变化的动态特征。
5.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：所述步骤四中，基于模态注意力机制的多模态融合模块对EEG和人脸表情的编码特征进行了加权融合，允许根
6.根据权利要求5所述的一种多模态情绪识别方法，其特征在于：所述基于模态注意力机制的多模态融合模块的计算方式如下：
7.一种多模态情绪识别系统，其特征在于：本系统结合B/S(浏览器/服务器)与C/S(客户端/服务器)架构实现，该系统划分为前端、后端和数据库三个核心组件；
8.根据权利要求7所述的一种多模态情绪识别系统，其特征在于：还包括
...【技术特征摘要】
1.一种多模态情绪识别方法，其特征在于：具体包括如下步骤：
2.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：在所述步骤一中，三维变换过程涉及将多个脑电电极记录的信号转换为地形图形式，其中每个电极的功率分布构成了地形图上的特定点。
3.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：所述步骤二中，空间上下文编码器采用swintransformer作为骨干架构，用于学习脑电特征与人脸特征空间上下文信息，并且在处理过程中确保了高分辨率数据信息的不丢失，对预处理后的脑电特征或人脸特征进行空间上下文特征提取，得到融合空间上下文信息特征图。
4.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：所述步骤三中，时间上下文编码器基于transformer结构设计时间上下文编码器，以减轻时间维度上人脸遮挡与脑电...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。