【技术实现步骤摘要】
本专利技术涉及信息处理，更具体地，涉及一种基于柔性传感器的抑郁症多模态生理数据采集方法和系统。
技术介绍
1、目前已经证明抑郁症患者的自主神经系统存在紊乱，许多用于评估自主神经系统的指标被用来分析抑郁症的症状，例如，心率变异性和心率等。
2、心率(heart rate，hr)的调节通过自主神经系统(automatic nervous system，ans)的交感神经和副交感神经组成实现。心率变异性(heart rate variability，hrv)是一种生理学现象，描述连续心跳间隔的振荡以及连续瞬时心率之间的振荡。心率的加快反映了交感神经激活，而常用的心率变异性的指标包括时域特征和频域特征。时域特征包括rr(rate-rate)间期的均值(mean)、标准差(standard deviation of normal r-rintervals，sdnn)、序列元素的差值均方根(rmssd)以及相邻序列间期长度之差大于50ms的间期个数与整段序列间期个数的百分比(percentage of normal r-rintervals thatdiffer by 50milliseconds，pnn50)等。其中sdnn代表了整体的心率变异性，并可以同时反映自主神经系统中交感神经和副交感神经的平衡。pnn50和sdnn则对副交感神经调节更加敏感。mean作为rr间期序列的均值可反映心率变异性的强度。而频域特征主要有高频分量(high-frequency band，hf，范围在0.15和1.5hz之间)、低频分量(low-f
3、除了心率，其它用于评价自主神经系统的生理信息还包括皮肤电、呼吸、肌电等，这些指标可以用来反应胆碱神经传递影响的交感神经激活。由于迷走神经是对言语产生最重要的神经之一，且三个分支分别调控言语产生过程而备受关注。此外，抑郁症诊断也可以通过外周生理信号和行为表现进行建模，例如采用心率变异性、多模态视听行为数据等。特别是语音结合视频数据是一种非侵入式、临床极易获取的信息，且受到国际语音协会重视，举办过多次基于avid-corpus和daic-woz的抑郁症筛查竞赛，推动了应用音视频数据结合深度学习模型实现抑郁症诊断方法的研究前沿。
4、在现有技术中，存在基于语音、视频、脑电、心电、脉搏等多通道数据采集的方案。例如，专利申请cn201410334899.0提供了一种基于心率变异性分析方法的抑郁症的评估系统，其通过心率变异分析方法，实现一种针对孕产妇的抑郁症的评估系统，数据保存模块用于记录测试过程孕产妇的心电信号和脉搏信号，并将心电信号和脉搏信号以二进制数据形式保存成心电信号文件和脉搏波信号文件。在经过峰值检测，数据校正后，获取心率变异性曲线，然后通过hrv分析，计算心率变异性曲线的参数(时域、频域和非线性参数)，最终通过选取特征参数，建立抑郁程度量化评估模型和相应的数据库。又如，专利申请cn202010692613.1提供一种基于眼动与面部表情的抑郁评估系统，主要包括：情绪刺激模块、表情采集模块、眼动采集模块、眼动特征提取模块、表情特征提取模块、机器学习分类模块和自动评估模块。眼动数据采集模块包括前景摄像头和眼动摄像头，前景摄像头和设置在被试者前额中间区域，用于拍摄被试者视野区域；眼动摄像头设置在被试者脸颊左右区域，用于拍摄被试者左右两眼的瞳孔图像。通过眼动数据采集模块采集被试者观看刺激模块输出的不同情绪刺激图片时的眼动信息；结合眼动特征提取模块对获得的眼动图像信息提取眼动特征，表情特征提取模块获得的表情图像信息提取表情特征；经过机器学习模块进行特征融合和机器学习分类后，评估模块根据机器学习的分类结果对被试者的抑郁程度进行评估。
5、经分析，现有技术主要存在以下缺陷：
6、1)目前主要使用音频、视频数据的特征提取进行抑郁症诊断识别，还不存在融合语音、视频、呼吸带、心电、肌电和皮肤电的多模态信息的同步采集方法，并且也未发现基于可穿戴设备和柔性传感器相结合的多通道生理信号采集技术。
7、2)抑郁症是由多种神经递质紊乱导致的进行性疾病，表现出各种例如心悸、胸闷等生理症状，反映其自主神经系统的紊乱。现有的可穿戴设备多限于语音、文本及视频，无法充分捕捉抑郁症在生理上的紊乱与异常。
8、3)在现有的针对抑郁症的相关研究中，所使用数据采集设备通常是传统生理电信号采集设备，采集多模态数据时，这种传统设备不便于操作与同步处理，并且所采集生理电信号质量有限。
9、4)在数据采集任务及流程方面，缺乏数据多模态/通道数据同步模块，导致了无法保证多通道生理数据的同步采集问题。
10、5)现有研究中，缺少对语音、呼吸、心电、皮肤电和肌电等数据进行精准配准的相关方法，缺少多模态生理数据配准及深入分析与挖掘。
11、6)当前的抑郁症筛查手段主要是以主观量表评估为主，缺乏快捷、准确的客观评估指标，而由于讳疾忌医的思想存在，可能在主观评估中存在伪装现象，导致漏诊、误诊。
12、综上，鉴于抑郁症发病机制复杂，涉及多系统、多环节的功能失调，异质性强，亟需一种客观、便捷的方法用于抑郁障碍早期筛查，并采集能够反应以上复杂机制在抑郁症上表现的数据集来支持早期筛查系统的建立。
技术实现思路
1、本专利技术的目的是克服上述现有技术的缺陷，提供一种基于柔性传感器的抑郁症多模态生理数据采集方法和系统。
2、根据本专利技术的第一方面，提供一种基于柔性传感器的抑郁症多模态生理数据采集系统。该系统包括可穿戴设备、同步采集控制单元和数据配准单元，其中：所述可穿戴设备的织物上集成多模态传感器，用于采集多种模态的生理数据，该多种模态的生理数据包含语音信号；所述同步采集控制单元用于控制所述多模态传感器同时启动采集相应模态的生理数据；所述数据配准单元用于检测语音信号中的有效语音段以及声音事件类型，并利用该有效语音段和声音事件类型引导其他模态生理数据的配准，得到同步的多模态信号流。
3、根据本专利技术的第二方面，提供一种基于柔性传感器的抑郁症多模态生理数据采集方法。该方法包括以下步骤：
4、利用可穿戴设备的织物上集成的多模态传感器采集多种模态的生理数据，其中所述多模态传感器被控制同时启动采集相应模态的生理数据，并且所述多种模态的生理数据包含语音信号；
5、检测所述语音信号中的有效语音段以及声音事件类型，并利用该有效语音段和声音事件类型引导其他模态生理数据的配准，得到同步的多模态信号流。
6、与现有技术相比，本专利技术的优点在于，采用集成抗噪声功能的语音采集麦克风和高精度数据采集芯片，实现高保真语音信号采集，并且对硬件进行集成化设计，设计相关的数据同步和传输本文档来自技高网...
【技术保护点】
1.一种基于柔性传感器的抑郁症多模态生理数据采集系统，包括可穿戴设备、同步采集控制单元和数据配准单元，其中：
2.根据权利要求1所述的系统，其特征在于，所述多模态传感器包括肌电传感器、心电传感器、呼吸压力传感器、皮肤电传感器和语音传感器，其中在应用状态下，心电传感器采用三织物电极位于受试者左胸口处；呼吸压力传感器置于受试者的腹部，用于测量呼吸时胸腔和腹腔周长的改变；肌电传感器放置在受试者左侧斜方肌和胸锁乳突肌底端；皮肤电传感器放置在受试者右侧斜方肌处；语音传感器位于受试者背心的领口外侧。
3.根据权利要求2所述的系统，其特征在于，所述肌电传感器包含微针电极阵列，所述语音传感器是无线麦克风，所述呼吸压力传感器是柔性薄膜压力传感器。
4.根据权利要求3所述的系统，其特征在于，所述微针电极阵列根据以下步骤制备：
5.根据权利要求1所述的系统，其特征在于，所述同步采集控制单元是集成化设计的硬件控制模块，被设置为多线程同步启动所述多种模态的生理数据采集，以实现各采集信号时域上的同步。
6.根据权利要求1所述的系统，其特征在于，所述
7.根据权利要求6所述的系统，其特征在于，所述对语音数据流进行去噪和切分处理包括：采用基于经验模态分解结合teager能量算子峭度的语音端点监测方法对语音数据流进行自动切分，以去除无效静音段以及噪声段，并保留有效语音段以及声音时间段。
8.根据权利要求6所述的系统，其特征在于，所述情绪识别模型是基于深度自注意力网络的双向编码语言模型。
9.一种基于柔性传感器的抑郁症多模态生理数据采集方法，包括以下步骤：
10.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求9所述的方法的步骤。
...【技术特征摘要】
1.一种基于柔性传感器的抑郁症多模态生理数据采集系统，包括可穿戴设备、同步采集控制单元和数据配准单元，其中：
2.根据权利要求1所述的系统，其特征在于，所述多模态传感器包括肌电传感器、心电传感器、呼吸压力传感器、皮肤电传感器和语音传感器，其中在应用状态下，心电传感器采用三织物电极位于受试者左胸口处；呼吸压力传感器置于受试者的腹部，用于测量呼吸时胸腔和腹腔周长的改变；肌电传感器放置在受试者左侧斜方肌和胸锁乳突肌底端；皮肤电传感器放置在受试者右侧斜方肌处；语音传感器位于受试者背心的领口外侧。
3.根据权利要求2所述的系统，其特征在于，所述肌电传感器包含微针电极阵列，所述语音传感器是无线麦克风，所述呼吸压力传感器是柔性薄膜压力传感器。
4.根据权利要求3所述的系统，其特征在于，所述微针电极阵列根据以下步骤制备：
5.根据权利要求1所述的系统，其特征...
【专利技术属性】
技术研发人员：茹克艳木•肉孜，张浩诗，苏荣锋，王岚，燕楠，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。