脑力负荷检测及模型训练方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开的脑力负荷检测及模型训练方法、装置、设备及存储介质，属于生物电信号处理技术领域，主要包括：分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；待检测脑电特征包括脑电信号的能量谱特征，模糊熵特征以及信息熵特征；将待检测脑电特征、待检测心率特征以及待检测眼动特征进行特征融合得到用户的待检测融合生理特征；以及，将待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用脑力负荷检测模型检测并输出得到用户的脑力负荷。本发明专利技术实施例能够有效提高对用户脑力负荷的检测准确率和效率。荷的检测准确率和效率。荷的检测准确率和效率。

【技术实现步骤摘要】
脑力负荷检测及模型训练方法、装置、设备及存储介质


[0001]本专利技术涉及生物电信号处理
，尤其涉及一种脑力负荷检测及模型训练方法、装置、设备及存储介质。

技术介绍

[0002]脑力负荷的大小对人们的日常活动影响颇大。例如，驾驶员在驾驶车辆的过程中，脑力负荷过大会加速驾驶疲劳，增加安全驾驶风险。由于脑电等信号对脑力负荷检测的出色表现，近年来针对脑电等其他人体生理信号进行客观脑力负荷检测的研究越来越多。但是现有技术在不能很好地利用多模态生理信号，使得对脑力负荷检测的准确率较低。

技术实现思路

[0003]本专利技术实施例提供一种脑力负荷检测及模型训练方法、装置、设备及存储介质，能够充分有效地利用用户的多模态生理信号，提高对用户力脑力负荷的检测准确率。
[0004]第一方面，本专利技术实施例提供一种脑力负荷检测方法，包括：分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征；以及，将所述待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用所述脑力负荷检测模型检测并输出得到所述用户的脑力负荷。
[0005]第二方面，本专利技术实施例提供一种脑力负荷检测模型训练方法，包括：分别对受试者面对多个刺激场景的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到分别与每个刺激场景一一对应的多个样本脑电特征，多个样本心率特征和多个样本眼动特征；所述样本脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；将所述每个刺激场景对应的所述样本脑电特征、所述样本心率特征以及所述样本眼动特征进行融合得到多个样本融合生理特征；采集获取所述受试者面对所述每个刺激场景时的脑力负荷得到多个样本脑力负荷；以及，利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型。
[0006]第三方面，本专利技术实施例提供一种脑力负荷检测装置，包括：特征获取模块，用于分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；特征融合模块，用于将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征；以及检测模块，用于将所述待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用所述脑力负荷检测模型检测并输出得到所述用户的脑力负荷。
[0007]第四方面，本专利技术实施例提供一种脑力负荷检测模型训练装置，包括：样本特征提
取模块，用于分别对受试者面对多个刺激场景的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到分别与每个刺激场景一一对应的多个样本脑电特征，多个样本心率特征和多个样本眼动特征；所述样本脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；样本特征融合模块，用于将所述每个刺激场景对应的所述样本脑电特征、所述样本心率特征以及所述样本眼动特征进行融合得到多个样本融合生理特征；样本脑力负荷获取模块，用于采集获取所述受试者面对所述每个刺激场景时的脑力负荷得到多个样本脑力负荷；以及，训练模块，用于利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型。
[0008]第五方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的脑力负荷检测方法或者脑力负荷检测模型训练方法。
[0009]第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的脑力负荷检测方法或者脑力负荷检测模型训练方法。
[0010]本专利技术实施例中，通过基于包括能量谱特征、模糊熵特征以及信息熵特征的脑电特征与心率特征和眼动特征的融合特征，利用脑力负荷检测模型对用户的脑力负荷进行检测，能够充分有效地利用用户的多模态生理信号，有效提高对用户脑力负荷的检测准确率和效率。
附图说明
[0011]图1是本专利技术实施例提供的脑力负荷检测方法的一个流程示意图；
[0012]图2是本专利技术实施例提供的脑力负荷检测方法的另一个流程示意图；
[0013]图3是本专利技术实施例提供的脑力负荷检测模型训练方法的一个流程示意图；
[0014]图4是本专利技术实施例提供的脑力负荷检测装置的一个结构示意图；
[0015]图5是本专利技术实施例提供的脑力负荷检测模型训练装置的一个结构示意图；
[0016]图6是本专利技术实施例提供的电子设备的一个结构示意图。
具体实施方式
[0017]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0018]图1为本专利技术实施例提供的脑力负荷检测方法的一个流程示意图，该方法可以由本专利技术实施例提供的脑力负荷检测装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机、车辆客户端等。以下实施例将以该装置集成在电子设备中为例进行说明。参考图1，该方法具体可以包括如下步骤：
[0019]步骤101，分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征。能够利于对待检
测脑电特征、待检测心率特征以及待检测眼动特征进行融合，并根据融合特征利用脑力负荷检测模型对用户的脑力负荷进行检测。
[0020]具体的，上述用户可以是运行中车辆的驾驶员。
[0021]具体的，上述对用户的脑电信号、心率信息以及眼动信息进行采集的过程，可以是在车辆驾驶员驾驶车辆运行的过程中实时进行的。
[0022]具体的，可以对最近第一预定时长，例如最近5分钟内，采集的脑电信号、心率信息以及眼动信息进行特征提取，对应得到上述待检测脑电特征、待检测心率特征以及待检测眼动特征。
[0023]可选的，上述对用户的脑电信号进行采集的过程可以利用62通道的脑电采集仪进行。上述脑电信号可以是情感脑电数据集（SEED数据集），五种不同的频段：δ频段、θ频段、α频段、β频段和γ频段。其中，δ频段（1
‑
4Hz）：与我们深层次的放松和恢复性睡眠相关。不规则的δ波运动与认知困难及保持意识的问题都息息相关；θ频段（4<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脑力负荷检测方法，其特征在于，包括：分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征；以及将所述待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用所述脑力负荷检测模型检测并输出得到所述用户的脑力负荷。2.根据权利要求1所述的脑力负荷检测方法，其特征在于，所述对用户的脑电信号进行特征提取得到所述待检测脑电特征的过程包括：根据所述脑电信号对脑力负荷的敏感程度，对所述脑电信号进行滤波得到负荷敏感脑电信号；根据预设的时间窗对所述负荷敏感脑电信号进行切分得到多个脑电信号切片；以及计算得到每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征，并对所述每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征进行拼接得到所述待检测脑电特征。3.根据权利要求2所述的脑力负荷检测方法，其特征在于，所述计算得到每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征的过程包括：对所述每个脑电信号切片进行频段划分得到所述每个脑电信号切片的多个脑电信号频带；对所述每个脑电信号切片的每个脑电信号频带进行时频转换得到所述每个脑电信号切片的多个脑电频域信号；对所述每个脑电信号切片的每个脑电频域信号的能量谱占所述每个脑电信号切片的所述多个脑电频域信号的总能量谱的比例进行计算，得到所述每个脑电信号切片对应的能量谱特征；对所述每个脑电信号切片的每个脑电频域信号的模糊熵进行计算得到所述每个脑电信号切片对应的模糊熵特征；以及对所述每个脑电信号切片的每个脑电频域信号的信息熵进行计算得到所述每个脑电信号切片对应的信息熵特征。4.根据权利要求2所述的脑力负荷检测方法，其特征在于，所述心率信息包括：心率以及心率异变性；所述眼动信息包括：眨眼时间，眨眼频率以及瞳孔直径。5.根据权利要求4所述的脑力负荷检测方法，其特征在于，所述对用户的心率信息进行特征提取得到所述待检测心率特征的过程包括：分别计算得到与每个所述时间窗对应的时段内的所述心率以及所述心率异变性的数值的平均值，以及对所述心率以及所述心率异变性的数值的平均值进行归一化处理，并拼接得到所述待检测心率特征；所述对用户的眼动信息进行特征提取得到所述待检测眼动特征的过程包括：分别计算得到与每个所述时间窗对应的时段内的所述眨眼时间，所述眨眼频率以及所述瞳孔直径的
数值的平均值，以及对所述眨眼时间，所述眨眼频率以及所述瞳孔直径的数值的平均值进行归一化处理，并拼接得到所述待检测眼动特征。6.根据权利要求1所述的脑力负荷检测方法，其特征在于，所述将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征的过程包括：对所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行拼接得到所述待检测融合生理特征。7.一种脑力负荷检测模型训练方法，其特征在于，包括：分别对受试者面对多个刺激场景的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到分别与每个刺激场景一一对应的多个样本脑电特征，多个样本心率特征和多个样本眼动特征；所述样本脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以...

【专利技术属性】
技术研发人员：王祎男，刘汉旭，魏源伯，王迪，杨纯宇，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：