一种多模态情绪识别方法、系统、设备及介质技术方案

本发明专利技术公开了一种多模态情绪识别方法、系统、设备及介质，包括虚拟现实场景构建模块、信号采集模块、特征提取模块、特征重构模块及多模态情绪识别模型；对穿戴VR设备被试者通过VR情绪图片库进行情绪诱发，采集被测试者在虚拟现实设备下的生理信号，并进行特征提取，通过迁移学习对各个模块进行特征重构，通过多模态特征融合最终实现情绪分类。本发明专利技术提供虚拟现实诱发态下基于注意力机制和迁移学习的多模态情绪识别系统，利用不同生理信号的优点，探索并挖掘其在情绪识别中的作用，借助迁移学习和注意力机制，加强情绪识别系统的泛化能力，这不仅在实际应用中具有良好的发展前景，也开创了一种情绪识别系统新模式。创了一种情绪识别系统新模式。创了一种情绪识别系统新模式。

【技术实现步骤摘要】
一种多模态情绪识别方法、系统、设备及介质


[0001]本专利技术涉及人机信号识别领域，特别涉及一种多模态情绪识别方法、系统、设备及介质。

技术介绍

[0002]情绪来源于心理层面，是人类重要特征之一。常见的情绪分类的研究方法有三种：基于面部表情或语音实现情绪识别；基于外围生理信号实现情绪识别；基于中枢神经系统信号实现情绪识别。传统的检测指标如脑电信号(Electroencephalogram,EEG)，具有高时间分辨率、低空间分辨率、定位能力差等特点；在虚拟现实环境中，对比脑电信号，基于眼动信号的情绪识别方式更加便捷，具有较强的抗干扰性和较方便的采集模式等特点；而功能性近红外光谱技术(Functional Near
‑
Infrared Spectroscopy,fNIRS)作为一种新兴的新型脑功能检测技术，具有低时间分辨率、高空间分辨率、对测量环境要求不高、抗干扰和抗电磁能力强、便于携带等特点。
[0003]多模态的脑功能检测方法能得到脑活动的多维信息，便于从不同方向对大脑神经活动进行描述，故脑电信号和眼动信号和功能性近红外光谱技术三种模式结合的情绪识别系统具有较高的研究价值。
[0004]不同个体之间存在生理、心理等方面的差异，对于同一种情绪诱发元，不同个体诱发的情绪可能并不完全相同。即使不同个体产生相同的情绪，其产生的生理信号也可能存在差异。故通过迁移学习来构建一种具有较强的泛化能力的情绪识别系统是一个较好的解决方案。
[0005]随着虚拟现实、元宇宙、人机交互、深度学习等领域的不断发展，基于VR设备下具有泛化能力的多模态的情绪分析有着广阔的应用前景和重要的意义。

技术实现思路

[0006]为了克服现有技术的上述缺点与不足，本专利技术的目的在于提供一种多模态情绪识别方法、系统、设备及介质。
[0007]本专利技术的目的通过以下技术方案实现：
[0008]一种多模态情绪识别方法，包括：
[0009]构建VR全景情绪图片库及数据集，并对数据集内的数据进行情绪标签；
[0010]用户佩戴VR设备，采用VR全景情绪图片库中的图片进行刺激，采集脑电信号、眼动信号及fNIRS信号；
[0011]使用稀疏自动编码器分别对脑电信号、眼动信号及fNIRS信号进行处理，提取输出层的特征，并将输出层特征作为输入层，继续处理，得到每一层的脑电信号、眼动信号及fNIRS信号特征；
[0012]通过模态间迁移函数学习进行特征重构，得到各模态重构特征；
[0013]将模态重构特征即眼动信号重构特征、脑电信号重构特征以及fNIRS信号重构特
征，输入残差多头自注意力模块，将眼动模态、脑电模态、fNIRS模态三种模态进行两两组合，通过引入交谈多头注意力机制的多头互注意力模块，采用级联拼接进行特征融合，然后全局平均池化处理后分类输出情绪标签。
[0014]进一步，所述得到每一层的脑电信号、眼动信号及fNIRS信号特征，具体包括：
[0015]编码过程，具体是学习函数h的过程；
[0016]解码过程，具体是通过最小化重构误差来重构输入信号；
[0017]获得稀疏自动编码器每一层的脑电信号、眼动信号及fNIRS信号的特征。
[0018]进一步，所述通过模态间迁移函数学习进行特征重构，得到各模态重构特征，具体为：
[0019]将脑电模态、眼动模态及fNIRS模态三个模态两两组合，将模态投影到共同空间，在该空间中学习迁移函数，得到α、β的投影矩阵，并将该矩阵作为相应模态组合的迁移函数；
[0020]利用迁移函数得到各个模态第i层的迁移特征，进一步得到稀疏自动编码器每一层的输出；
[0021]通过反向传播BP算法微调权重通过反向传播BP算法微调权重直至收敛。通过情感特征迁移学习后，能够得到各模态的重构特征，选择特征表现较好的第i层作为情感特征，此时得到脑电情感特征H
E
、眼动情感特征H
Y
及fNIRS情感特征H
F
。
[0022]进一步，所述将模态重构特征即眼动信号重构特征、脑电信号重构特征以及fNIRS信号重构特征，输入残差多头自注意力模块，将眼动模态、脑电模态、fNIRS模态三种模态进行两两组合，通过引入交谈多头注意力机制的多头互注意力模块，采用级联拼接进行特征融合，然后全局平均池化处理后分类输出情绪标签，具体为：
[0023]残差多头自注意力模块包含残差模块、线性变换模块、放缩点积注意力机制模块以及拼接模块，任一模态情感特征经过线性变换得到查询向量矩阵Q、键值向量矩阵K、输出值向量矩阵V，将其通过放缩点积注意力机制，最后将输出进行拼接，得到任一模态的输出；
[0024]由于多头自注意力模块加入残差网络后，将上述各模态输出与该模态的浅层特征矩阵，即与所述对应模态的特征结合，因此得到脑电情感特征、眼动情感特征及fNIRS情感特征，作为经残差多头自注意力模块的输出；
[0025]交谈多头互注意力模块包含线性变换模块、经交谈机制处理的放缩点积注意力机制模块以及拼接模块，与自注意力模块不同的是，可同时处理两种模块的信号特征；
[0026]模态之间两两组合，分别将得到的残差多头自注意力输出经线性变换分别得到两种模态的查询向量矩阵Q、键值向量矩阵K、输出值向量矩阵V，将其通过引入交谈机制的放缩点积注意力机制，分别将两种模态的结果进行拼接得到多头互注意力输出，最后将两两组合拼接的结果再次进行拼接得到多模态的输出；
[0027]采用级联拼接进行特征融合，并通过全局平均池化处理后得到多模态融合后的情感特征。最后经分类器判别器输出情绪类别。
[0028]进一步，采用KSLPCCA方法使模态投影到共同空间。
[0029]进一步，所述对数据集内的数据进行情绪标签，具体为：对数据集进行愉悦度筛
选，将消极情绪图片诱发的数据设定标签为负向情绪，标签值为0，将中立情绪图片诱发的数据设定标签为中立情绪，标签值为1，将积极情绪图片诱发的数据设定标签为积极情绪，标签值为2。
[0030]进一步，所述脑电信号、眼动信号及fNIRS信号还包括带通滤波降低噪声过程。
[0031]一种情绪识别系统，用于实现所述的多模态情绪识别方法，包括：
[0032]虚拟现实场景构建模块：借助国际情绪图片系统(IAPS)收集不同情绪全景图片，包含相同数量的消极情绪图片、中立情绪图片和积极情绪图片，构成VR全景情绪图片库。并通过借助Unity搭建虚拟现实作为诱发态下的场景；
[0033]信号采集模块：包括脑电采集设备、眼动采集设置及fNIRS采集设备，分别用于采集脑电信号、眼动信号及fNIRS信号；
[0034]特征提取模块：使用稀疏自动编码器分别对脑电、眼动、fNIRS信号进行处理，获得其特征；
[0035]特征重构模块：通过模态间迁移函数学习进行特征重构，将各个模态的输入信号作为输入得到其对应的重构特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态情绪识别方法，其特征在于，包括：构建VR全景情绪图片库及数据集，并对数据集内的数据进行情绪标签；用户佩戴VR设备，采用VR全景情绪图片库中的图片进行刺激，采集脑电信号、眼动信号及fNIRS信号；使用稀疏自动编码器分别对脑电信号、眼动信号及fNIRS信号进行处理，提取输出层的特征，并将输出层特征作为输入层，继续处理，得到每一层的脑电信号、眼动信号及fNIRS信号特征；通过模态间迁移函数学习进行特征重构，得到各模态重构特征；将模态重构特征即眼动信号重构特征、脑电信号重构特征以及fNIRS信号重构特征，输入残差多头自注意力模块，将眼动模态、脑电模态、fNIRS模态三种模态进行两两组合，通过引入交谈多头注意力机制的多头互注意力模块，采用级联拼接进行特征融合，然后全局平均池化处理后分类输出情绪标签。2.根据权利要求1所述的多模态情绪识别方法，其特征在于，所述得到每一层的特征，具体包括：编码过程，具体是学习函数h的过程；解码过程，具体是通过最小化重构误差来重构输入信号；获得稀疏自动编码器每一层的脑电信号、眼动信号及fNIRS信号的特征。3.根据权利要求1所述的多模态情绪识别方法，其特征在于，所述通过模态间迁移函数学习进行特征重构，得到各模态重构特征，具体为：将脑电模态、眼动模态及fNIRS模态三个模态两两组合，将模态投影到共同空间，在该空间中学习迁移函数，得到α、β的投影矩阵，并将该矩阵作为相应模态组合的迁移函数；利用迁移函数得到各个模态第i层的迁移特征，进一步得到稀疏自动编码器每一层的输出；通过反向传播BP算法微调权重通过反向传播BP算法微调权重直至收敛，通过情感特征迁移学习后，能够得到各模态的重构特征，选择特征表现较好的第i层作为情感特征，此时得到脑电情感特征H
E
、眼动情感特征H
Y
及fNIRS情感特征H
F
。4.根据权利要求1所述的一种多模态情绪识别方法，其特征在于，所述将模态重构特征即眼动信号重构特征、脑电信号重构特征以及fNIRS信号重构特征，输入残差多头自注意力模块，将眼动模态、脑电模态、fNIRS模态三种模态进行两两组合，通过引入交谈多头注意力机制的多头互注意力模块，采用级联拼接进行特征融合，然后全局平均池化处理后分类输出情绪标签，具体为：残差多头自注意力模块包含残差模块、线性变换模块、放缩点积注意力机制模块以及拼接模块，任一模态情感特征经过线性变换得到查询向量矩阵Q、键值向量矩阵K、输出值向量矩阵V，将其通过放缩点积注意力机制，最后将输出进行拼接，得到任一模态的输出；由于多头自注意力模块加入残差网络后，将上述各模态输出与该模态的浅层特征矩阵，即与所述对应模态的特征结合，因此得到脑电情感特征、眼动情感特征及...

【专利技术属性】
技术研发人员：唐浩雲，青春美，欧浩春，徐向民，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：