【技术实现步骤摘要】
本专利技术涉及生物医学工程领域，尤其涉及一种多模态信息融合的情感识别方法。
技术介绍
1、当前，医疗资源有限是制约医疗服务质量提升的一重要因素。传统的康复方法往往依赖于大量的医疗设备和人力资源，成本较高且难以普及。
2、医护资源人手不足是医疗领域面临的另一大挑战。在脑卒中患者的康复过程中，情感康复同样重要，但往往由于医护人员数量有限，难以对每位患者提供充分的情感支持和关注。
3、此外，患者康复情绪配合度低成为康复护理的另一痛点问题。由于康复周期长、康复训练强度大、情感陪护少，使得一部分患者在康复过程中出现抵触、反感、烦躁等心态，极不利于患者的康复的连续性与顺利性。
技术实现思路
1、鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种多模态信息融合的情感识别方法。
2、根据本专利技术的一个方面，提供了一种多模态信息融合的情感识别方法，所述情感识别方法包括：
3、实时采集待测试者的数据信息；
4、将所述数据信息进行预处理和特征提取，获得提取特征；
5、将所述提取特征利用卷积神经网络对面部表情、语音文本进行识别，结合采取环境信息，辅以皮肤电信号和脑电信号，判断待测试者的情感状态。
6、可选的，所述数据信息具体包括：待测试者的生理信号、行为信息和外部环境信息。
7、可选的，所述生理信号具体包括：手部皮肤电信号、脑电波和心率。
8、可选的，所述行为信息具
9、可选的，所述外部环境信息具体包括：实时天气、室内外温度以及当地时间。
10、可选的，所述预处理具体包括：滤波、去噪和特征提取。
11、可选的，预处理后的数据中提取出与情感状态相关的特征。
12、可选的，所述卷积神经网络具体包括：
13、卷积操作表示为：
14、
15、其中，f是输入图像，g是卷积核，*表示卷积操作，[u,v]是输出特征图的位置；
16、池化操作表示为：
17、
18、其中，p是池化后的输出，f是输入特征图，max表示取最大值操作；
19、全连接层的输出通过公式计算：
20、o＝w·a+b
21、其中，o是输出，w是权重矩阵，a是输入特征向量，b是偏置项。
22、本专利技术提供的一种多模态信息融合的情感识别方法，所述情感识别方法包括：实时采集待测试者的数据信息；将所述提取特征利用卷积神经网络对面部表情、语音文本进行识别，结合采取环境信息，辅以皮肤电信号和脑电信号，判断待测试者的情感状态。提高了情感识别的自动化水平和精度。
23、上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
本文档来自技高网...【技术保护点】
1.一种多模态信息融合的情感识别方法，其特征在于，所述情感识别方法包括：
2.根据权利要求1所述的一种多模态信息融合的情感识别方法，其特征在于，所述数据信息具体包括：待测试者的生理信号、行为信息和外部环境信息。
3.根据权利要求2所述的一种多模态信息融合的情感识别方法，其特征在于，所述生理信号具体包括：手部皮肤电信号、脑电波和心率。
4.根据权利要求2所述的一种多模态信息融合的情感识别方法，其特征在于，所述行为信息具体包括：面部表情、语音。
5.根据权利要求2所述的一种多模态信息融合的情感识别方法，其特征在于，所述外部环境信息具体包括：实时天气、室内外温度以及当地时间。
6.根据权利要求1所述的一种多模态信息融合的情感识别方法，其特征在于，所述预处理具体包括：滤波、去噪和特征提取。
7.根据权利要求1所述的一种多模态信息融合的情感识别方法，其特征在于，预处理后的数据中提取出与情感状态相关的特征。
8.根据权利要求1所述的一种多模态信息融合的情感识别方法，其特征在于，所述卷积神经网络具体包括：>...
【技术特征摘要】
1.一种多模态信息融合的情感识别方法，其特征在于，所述情感识别方法包括：
2.根据权利要求1所述的一种多模态信息融合的情感识别方法，其特征在于，所述数据信息具体包括：待测试者的生理信号、行为信息和外部环境信息。
3.根据权利要求2所述的一种多模态信息融合的情感识别方法，其特征在于，所述生理信号具体包括：手部皮肤电信号、脑电波和心率。
4.根据权利要求2所述的一种多模态信息融合的情感识别方法，其特征在于，所述行为信息具体包括：面部表情、语音。
...
【专利技术属性】
技术研发人员：计樱莹，朱晨，高鹏飞，朱浩浩，成于思，
申请(专利权)人：无锡市精神卫生中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。