一种基于多模态数据融合模型的抑郁识别方法和系统技术方案

本发明专利技术涉及一种基于多模态数据融合模型的抑郁识别方法和系统，包括：获取受试者在刺激状态下的多组生理数据；多组生理数据包括眼动数据、心电数据、脑电数据、面部表情及姿态数据和调查问卷数据；基于多组生理数据中的每一组数据，分别建立对应的抑郁识别模型；抑郁识别模型包括基于眼动数据的抑郁识别模型、基于心电数据的抑郁识别模型、基于脑电数据的抑郁识别模型、基于表情和姿态数据的抑郁识别模型和基于问卷数据的抑郁识别模型；基于抑郁识别模型和多模态数据的融合方法，建立用于抑郁识别的多模态数据融合模型；基于多模态数据融合模型，对受试者进行抑郁识别。本发明专利技术缓解了现有技术中存在的对抑郁症的识别准确率低下的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
一种基于多模态数据融合模型的抑郁识别方法和系统


[0001]本专利技术涉及心理健康
，尤其涉及一种基于多模态数据融合模型的抑郁识别方法和系统。

技术介绍

[0002]抑郁症诊断的传统方法主要是通过医生访谈和量表，医生访谈主要是通过对患者进行观察、倾听和提问，此方法有一定的主观性，诊断结果很大程度取决于心理医生的经验，没有统一的标准，很容易出现偏差，同时抑郁症早期症状不明显，难以通过这种方式被准确的诊断出来。而以量表为主的测量方法只有当其达到诊断阈值时才能生效，被测人员在回答量表的时候容易出现主观掩饰和不配合的情况，或者可能出现自己无法准确判断自身的情况，会导致不确定的增加，影响最终的诊断准确率。将常规的医生访谈和量表结合起来，采用一套包含笔试和操作测验的试题来进行诊断，能够得到更加准确的诊断结果。然而，传统测量方法往往基于先验的心理学研究逻辑，过程中无法避免耗费大量的人力和物力，难以维持对人群进行大规模的诊断。
[0003]除此之外，近年来还有一些基于脑电、眼动、脑影像、语音等能够反应生物、心理变化的抑郁识别方法，这些方法对减少主观偏差有着重要意义。然而，该类方法明显存在一些局限性，一方面由于个体的生理数据存在差异，通过单一模态的生理数据来进行抑郁诊断的方法，泛化性能往往较差。同时单一生理指标对抑郁症的特征反映不够全面，无法据此构建出客观有效的模型，因此对抑郁症的识别准确率低下。

技术实现思路

[0004]有鉴于此，本申请提供了一种基于多模态数据融合模型的抑郁识别方法和系统，以缓解现有技术中存在的对抑郁症的识别准确率低下的技术问题。
[0005]第一方面，本专利技术实施例提供了一种基于多模态数据融合模型的抑郁识别方法，包括：获取受试者在刺激状态下的多组生理数据；所述多组生理数据包括眼动数据、心电数据、脑电数据、面部表情及姿态数据和调查问卷数据；基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型；所述抑郁识别模型包括基于眼动数据的抑郁识别模型、基于心电数据的抑郁识别模型、基于脑电数据的抑郁识别模型、基于表情和姿态数据的抑郁识别模型和基于问卷数据的抑郁识别模型；基于所述抑郁识别模型和多模态数据的融合方法，建立用于抑郁识别的多模态数据融合模型；基于所述多模态数据融合模型，对所述受试者进行抑郁识别。
[0006]进一步地，基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型，包括：对所述眼动数据进行降噪和归一化处理，得到预处理之后的眼动数据；对所述预处理之后的眼动数据进行特征值提取，得到眼动特征数据；基于所述眼动特征数据对预设机器学习模型进行训练，得到基于眼动数据的抑郁识别模型。
[0007]进一步地，基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模
型，包括：对与所述眼动数据同步的心电数据进行降噪处理，得到处理之后的心电数据；对所述处理之后的心电数据进行特征值提取，得到心电特征数据；基于所述心电特征数据对预设机器学习模型进行训练，得到基于心电数据的抑郁识别模型。
[0008]进一步地，基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型，包括：对与所述眼动数据和心电数据同步的脑电数据进行去除伪迹操作，得到处理之后的心电数据；所述伪迹包括所述眼动数据和所述心电数据干扰导致的伪迹；对所述处理之后的脑电数据进行特征值提取，得到脑电特征数据；基于所述脑电特征数据对预设机器学习模型进行训练，得到基于脑电数据的抑郁识别模型。
[0009]进一步地，基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型，包括：对所述面部表情及姿态数据进行降噪处理，得到处理之后的面部表情及姿态数据；对所述处理之后的面部表情及姿态数据进行特征值提取，得到面部表情及姿态特征数据；基于所述面部表情及姿态特征数据对预设机器学习模型进行训练，得到基于表情和姿态数据的抑郁识别模型。
[0010]进一步地，基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型，包括：基于所述调查问卷数据对预设机器学习模型进行训练，得到基于问卷数据的抑郁识别模型。
[0011]第二方面，本专利技术实施例还提供了一种基于多模态数据融合模型的抑郁识别系统，包括：获取模块，模型建立模块，融合模块和识别模块；其中，所述获取模块，用于获取受试者在刺激状态下的多组生理数据；所述多组生理数据包括眼动数据、心电数据、脑电数据、面部表情及姿态数据和调查问卷数据；所述模型建立模块，用于基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型；所述融合模块，用于基于所述抑郁识别模型和多模态数据的融合方法，建立用于抑郁识别的多模态数据融合模型；所述识别模块，用于基于所述多模态数据融合模型，对所述受试者进行抑郁识别。
[0012]第三方面，本专利技术实施例还提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的处理方法。
[0013]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如上述第一方面所述的方法。
[0014]本专利技术提供了一种基于多模态数据融合模型的抑郁识别方法和系统，通过提取多模态生理数据和构建多模态数据融合模型进行抑郁识别，克服了单一模态数据识别方法的缺点，提高了抑郁识别的准确率，缓解了现有技术中存在的对抑郁症的识别准确率低下的技术问题。
附图说明
[0015]为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术实施例提供的一种基于多模态数据融合模型的抑郁识别方法的流程图；
[0017]图2为本专利技术实施例提供的一种多模态数据融合模型的建立流程图；
[0018]图3为本专利技术实施例提供的一种基于多模态数据融合模型的抑郁识别系统的示意图；
[0019]图4为本专利技术实施例提供的一种模型建立模块的示意图。
具体实施方式
[0020]为更进一步阐述本专利技术为实现预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术的具体实施方式、结构、特征及其功效，详细说明如后。
[0021]实施例一：
[0022]图1是根据本专利技术实施例提供的一种基于多模态数据融合模型的抑郁识别方法的流程图。如图1所示，该方法具体包括如下步骤：
[0023]步骤S102，获取受试者在刺激状态下的多组生理数据；多组生理数据包括眼动数据、心电数据、脑电数据、面部表情及姿态数据和调查问卷数据。
[0024]步骤S104，基于多组生理数据中的每一组数据，分别建立对应的抑郁识别模型；抑郁识别模型包括基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据融合模型的抑郁识别方法，其特征在于，包括：获取受试者在刺激状态下的多组生理数据；所述多组生理数据包括眼动数据、心电数据、脑电数据、面部表情及姿态数据和调查问卷数据；基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型；所述抑郁识别模型包括基于眼动数据的抑郁识别模型、基于心电数据的抑郁识别模型、基于脑电数据的抑郁识别模型、基于表情和姿态数据的抑郁识别模型和基于问卷数据的抑郁识别模型；基于所述抑郁识别模型和多模态数据的融合方法，建立用于抑郁识别的多模态数据融合模型；基于所述多模态数据融合模型，对所述受试者进行抑郁识别。2.根据权利要求1所述的方法，其特征在于，基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型，包括：对所述眼动数据进行降噪和归一化处理，得到预处理之后的眼动数据；对所述预处理之后的眼动数据进行特征值提取，得到眼动特征数据；基于所述眼动特征数据对预设机器学习模型进行训练，得到基于眼动数据的抑郁识别模型。3.根据权利要求1所述的方法，其特征在于，基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型，包括：对与所述眼动数据同步的心电数据进行降噪处理，得到处理之后的心电数据；对所述处理之后的心电数据进行特征值提取，得到心电特征数据；基于所述心电特征数据对预设机器学习模型进行训练，得到基于心电数据的抑郁识别模型。4.根据权利要求1所述的方法，其特征在于，基于所述多组生理数据中的每一组数据，分别建立对应的抑郁识别模型，包括：对与所述眼动数据和心电数据同步的脑电数据进行去除伪迹操作，得到处理之后的心电数据；所述伪迹包括所述眼动数据和所述心电数据干扰导致的伪迹；对所述处理之后的脑电数据进行特征值提取，得到脑电特征数据；基于所述脑电特征数据对预设机器...

【专利技术属性】
技术研发人员：王振国，陈旭义，苏彬，朱达仁，李正超，王晓瑜，李晓寅，陈淑莲，
申请(专利权)人：中国人民武装警察部队特色医学中心，
类型：发明
国别省市：