【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于多模态情感的抑郁症早期智能预测方法和系统。
技术介绍
1、抑郁症是致残率和发病率最高的疾病之一。重度抑郁症(mdd)具有高复发性和高发病性特点，在当前全球疾病中，抑郁症有较高的致残率和致死率，然而，目前还没有有效的生物特征和临床方法能够辅助医生对抑郁症进行准确的诊断。
2、抑郁症诊断和早期预测是临床医学的难题，目前抑郁症的发病原因和发病机制尚不完全清楚，大量研究资料提示遗传因素、神经生化因素和心理社会因素等对本病的发生均有明显影响。早期发现早期诊断，及时用药对病人的治疗和康复非常重要。抑郁症经过合理的治疗，往往能够达到比较好的治疗效果，临床治愈率可达到60％到80％。早期抑郁症的一般出现情绪低落、思维迟缓、意志活动减退等征兆。抑郁症可能与性格内向、重大事件刺激、家族遗传等因素有关，患者会出现持久性的做事缺乏兴趣、情绪低落、反应迟钝、主动说话变少、记忆力下降等思维迟缓症状，也可能出现回避社交、疏远亲友、生活懒散等意志活动减退症状。抑郁症是社会、心理和生物因素综合作用的结果，抑郁症发病的过程中病人的面部表情、心电、脑电和心理都会发生变化，通过多模态情感计算信息可为抑郁症辅助诊断提供有效临床，这为抑郁症的分析和诊断提供了新的可能性，也为医生进行抑郁症辅助诊断提供有价值的参考意见。但是，目前尚无通过多模态情感计算信息进行抑郁症的分析和辅助诊断的有效手段和工具。
技术实现思路
1、本专利技术针对上述问题，为实现抑郁症的情感多模态数据采集和早
2、为了实现上述目的，本专利技术采用以下技术方案：
3、本专利技术一方面提出一种基于多模态情感的抑郁症早期智能预测方法，包括：
4、步骤1：采集正常人和抑郁症患者的抑郁筛查量表、人脸图像和心电图数据，构建多模态情感抑郁症数据集；
5、步骤2：在多模态情感抑郁症数据集和医学大数据上，训练抑郁筛查的随机森林、人脸图像的卷积神经网络和心电图的循环神经网络模型；
6、步骤3：基于上述三个单模态抑郁症预测模型构建多模态抑郁症早期预测模型，基于单模态抑郁症预测模型的预测结果和医疗知识图谱进行抑郁症的决策融合，以此来训练多模态抑郁症早期预测模型；
7、步骤4：采集用户的多模态情感数据，基于多模态抑郁症早期预测模型和上述融合策略，在线进行抑郁症预测。
8、进一步地，所述步骤1包括：
9、步骤1.1：通过智能终端获取正常人和抑郁症患者的抑郁筛查量表数据；
10、步骤1.2：通过智能终端采集正常人和抑郁症患者的人脸图像信息，构建人脸图像数据；
11、步骤1.3：通过智能手表采集正常人和抑郁症患者的心电图信息，构建心电图数据；
12、步骤1.4：根据正常人和抑郁症患者的id信息，抑郁症语义标签信息，组合抑郁筛查量表数据、人脸图像数据和心电图数据，构建多模态情感抑郁症数据集。
13、进一步地，所述步骤2包括：
14、步骤2.1：在医学大数据的基础上，利用抑郁筛查量表数据训练抑郁筛查的随机森林模型；
15、步骤2.2：在医学大数据的基础上，利用人脸图像数据提取人脸图像的情感特征，基于人脸图像的情感特征训练人脸图像的卷积神经网络模型；
16、步骤2.3：在医学大数据的基础上，利用心电图数据提取心电序列的情感特征，基于心电序列的情感特征训练心电图的循环神经网络模型。
17、进一步地，所述步骤3包括：
18、步骤3.1：基于上述三个单模态抑郁症预测模型构建多模态抑郁症早期预测模型；
19、步骤3.2：在单模态抑郁症预测模型的预测结果和医疗知识图谱的基础上，采用多模态情感抑郁症数据集，根据融合策略，训练多模态抑郁症早期预测模型。
20、进一步地，所述融合策略为投票决策、支持向量机或加权融合中的任一种。
21、进一步地，所述加权融合包括：
22、dp_ewm(dp_dsm)＝(α*drtt(dst)+β*cnni(dsi)+γ*rnnd(dsd))/(α+β+γ)
23、其中α,β,γ分别为抑郁筛查量表、人脸图像和心电图三个模态预测的权重系数，dp_ewm表示多模态抑郁症早期预测模型，dp_dsm表示多模态情感抑郁症数据集，dst、dsi、dsd分别表示抑郁筛查量表、人脸图像、心电图，drtt、cnni、rnnd分别表示抑郁筛查的随机森林模型、人脸图像的卷积神经网络模型、心电图的循环神经网络模型。
24、进一步地，所述步骤4包括：
25、步骤4.1：通过智能终端获取用户的抑郁筛查量表和人脸图像，利用智能手表实时采集用户的心电图；
26、步骤4.2：在云计算平台上，利用上传的各类单模态特征，基于多模态抑郁症早期预测模型进行多模态融合决策，得到融合决策结果；
27、步骤4.3：根据融合决策结果预测用户的健康状况，并反馈在智能终端上实时显示。
28、本专利技术另一方面还提出一种基于多模态情感的抑郁症早期智能预测系统，包括抑郁症数据采集终端和网络服务器，所述智能移动终端上设置有智能移动终端app和智慧医疗服务中间件，所述网络服务器上设置有基于云计算的网络智能诊断服务子系统；
29、所述智能移动终端app包括病人数据采集模块、病人数据显示模块、诊断信息显示模块、本地多模态情感抑郁症数据集管理模块；所述病人数据采集模块用于对病人的多模态情感数据进行采集；所述病人数据显示模块用于对采集的病人的多模态情感数据进行显示；所述诊断信息显示模块用于对病人的抑郁症诊断信息进行显示；所述本地多模态情感抑郁症数据集管理模块用于对本地多模态情感抑郁症数据集进行管理；
30、所述智慧医疗服务中间件包括单模态情感特征提取模块、网络通信模块、模型同步模块、医疗知识图谱模块、医学大数据模块；所述单模态情感特征提取模块用于对单模态情感特征进行提取；所述网络通信模块用于抑郁症数据采集终端和网络服务器之间的通信；所述模型同步模块用于对抑郁症数据采集终端和网络服务器中的每类单模态抑郁症预测模型进行同步；所述医疗知识图谱模块用于调用医疗知识图谱；所述医学大数据模块用于调用医学大数据；
31、所述基于云计算的网络智能诊断服务子系统包括智能诊断服务模块、智能融合决策模块、模型训练模块和模型调用模块；所述智本文档来自技高网...
【技术保护点】
1.一种基于多模态情感的抑郁症早期智能预测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述步骤1包括：
3.根据权利要求1所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述步骤2包括：
4.根据权利要求1所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述步骤3包括：
5.根据权利要求4所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述融合策略为投票决策、支持向量机或加权融合中的任一种。
6.根据权利要求5所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述加权融合包括：
7.根据权利要求1所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述步骤4包括：
8.一种基于多模态情感的抑郁症早期智能预测系统，包括抑郁症数据采集终端和网络服务器，其特征在于，所述智能移动终端上设置有智能移动终端APP和智慧医疗服务中间件，所述网络服务器上设置有基于云计算的网络智能诊断服务子系统；
【技术特征摘要】
1.一种基于多模态情感的抑郁症早期智能预测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述步骤1包括：
3.根据权利要求1所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述步骤2包括：
4.根据权利要求1所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述步骤3包括：
5.根据权利要求4所述的基于多模态情感的抑郁症早期智能预测方法，其特征在于，所述融合策略为...
【专利技术属性】
技术研发人员：刘睿佳，唐友朋，胡树清，李响，华皓月，翁嘉仪，
申请(专利权)人：河南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。