一种基于并行训练的多任务混合模型的脑电情感分析方法技术

本发明专利技术提供了一种基于并行训练的多任务混合模型的脑电情感分析方法，包括：脑电数据处理：子集切割和脑图生成；空间频域特征学习：利用双向多尺度采样的层级调节凹形网络进行信号的频率和空间特征学习；时间特征学习：在添加位置嵌入后提供时间序列信息，然后利用前后向序列关系网络进行时序特征学习；多任务学习：基于多任务学习的情绪分类模块，然后得到最终的情感分析结果；本发明专利技术能够有效的提取频域、空域和时域多个领域的信息，所以构建的神经网络本身也需要存在擅长在空间、频域、时间方面深度挖掘信息的模块。本发明专利技术提出组合多个不同类型网络架构最终采用并行混合模型多任务学习的方式进行关联信息共享以实现精确识别。别。别。

【技术实现步骤摘要】
一种基于并行训练的多任务混合模型的脑电情感分析方法


[0001]本专利技术涉及生物信号处理
，尤其涉及一种基于并行训练的多任务混合模型的脑电情感分析方法。

技术介绍

[0002]情绪是人主观上有意识或无意识地对外界刺激产生的生理或心理反应。它可以分为积极和消极两大类。积极的情绪能促进人的身心健康，而消极的情绪往往会导致压力、烦躁、抑郁甚至精神崩溃等健康问题。情绪产生于中枢神经系统和外周围神经系统，主要是神经元的同步执行而导致的时间性活动。情绪可以通过脑电、体温、心电、肌电、皮肤反应等多方面生理信号捕获。也可以通过面部表情、肢体动作、语音语调等非生理信号来表达情绪。然而，非生理信号容易受到人的主观控制。因此非生理信号情绪识别的可靠性面临着巨大的挑战。而生理信号不受人的主观意志影响，更能表现出真实的情绪。
[0003]脑电信号是由人体神经系统直接产生的生理信号，能以更客观的形式反应出人的真实情绪。现阶段主要采用时域频域的统计特征来制作人工特征或者直接从处理后的原始脑电信号中提取特征，基于特征使用机器学习或者深度学习方法训练情绪识别模型。但是，这些方法大多没有兼顾多领域特征融合。而融合了频域、空间、时间特征构建的脑图则很好的解决了这个问题。但是，脑图仍然面临着检测电极数量有限以及被试者的个体差导致的检测电极在空间上存在误差这两个问题。与此同时，现有的模型网络往往仅侧重于单个领域特征的分析并以个体为单位训练模型，这就导致了忽略了多方面信息的同时跨对象识别的泛化能力也较差。
[0004]脑电信号的特征自动提取和分析将直接影响情感经历识别的准确性。但是目前融合频域、空间特征构建的脑图主要存在着以下三个问题。首先，脑图并不能一比一完全复刻现实中电极在大脑上的位置信息，而是按照相对位置拼凑在矩阵中，因此电极位置本身就存在着一定的偏差。其次，脑图上的电极个数是有限的，仅仅依靠32或62个电极记录特征信息存在着大量的数据缺失。然后，每个被试者的大脑存在着大小的差异以及细微的区别，因此仅依靠等比例缩放构建的脑图忽略了个体上的差异。
[0005]因此，如何减小个体差异带来的脑图差异的同时尽可能的进行数据填充以及构建一种能同时关注空间、频域、时间多个领域特征并兼容跨对象差异的网络来优化情绪识别的准确度成为需要解决的技术问题。

技术实现思路

[0006]本专利技术的目的在于针对上述现有技术的不足，提供了一种基于并行训练的多任务混合模型的脑电情感分析方法。
[0007]本专利技术提供的技术方案是：一种基于并行训练的多任务混合模型的脑电情感分析方法的测量方法，包括以下步骤：
[0008]1)脑电数据处理：子集切割和脑图生成；
[0009]针对多输入并行训练，在数据处理部分，将训练集分成n个子集，采用数据划分的方式将单次试验数据划分为多个子集并在网络中采用并行架构进行并行训练以提升效率，数据子集除了数据内容不同以外，控制其他的变量均保持一致，子集数据仅有时间先后之分，数据来源于同一被试者观看同一刺激材料，然后针对脑电信号的空频域特征提取，将原始脑电信号转换成脑图；
[0010]2)空间频域特征学习：利用双向多尺度采样的层级调节凹形网络进行信号的频率和空间特征学习；
[0011]将各个子集数据输入并行的混合网络模型进行多任务学习，其中混合模型堆叠了多种网络模型，这种混合模型堆叠了善于提取频域和空域特征的网络架构(层级调节凹形网络)和能够有效的提取时域特征的网络架构(正弦位置嵌入和前后向序列关系网络)；
[0012]3)时间特征学习：在添加位置嵌入后提供时间序列信息，然后利用堆叠的前后向序列关系网络进行时序特征学习；
[0013]4)多任务学习：基于多任务学习的情绪分类模块，然后得到最终的情感分析结果；
[0014]各个数据子集脑图分别经过各自的空间频域特征学习模块和时间特征学习模块分支处理得到的中间结果向量在多任务学习模块中的平均层进行平均整合，整合结果向量将作为输入进行多任务学习实现多维度信息共享，得到最终的多维度任务的分类结果。
[0015]优选，所述步骤1)包括：
[0016]为了更好的提取脑电的频域和空域特征，本专利技术采用面向网络架构的多级数据处理的插值算法构建脑图；
[0017]第一级数据处理是：面向正弦位置嵌入和前后向序列关系网络，使用时间窗口无重叠滑动窗口对各频段数据进行切片，本专利技术中针对SEED数据使用11S窗口切片，针对DEAP数据集使用2S窗口切片；
[0018]第二级数据处理是：面向时序特征分析网络架构，计算每一个切片得到的片段的微分熵和密度熵特征；
[0019]第三级数据处理是：面向空频域特征分析网络架构，按照10
‑
20国际系统的电极位置将来自各个通道的相同频段且相同时段计算得到的微分熵和密度熵值映射到脑图对应位置；
[0020]第四级数据处理是：面向层级调节凹形网络架构，基于最优像素的插值算法，具体方案是用16个近邻点在映射点的邻域内通过加权来得到缩放脑图中的值：
[0021]首先要确定的是原始图像(图像大小为a
×
b)与目标图像(图像大小为A
×
B)点坐标的对应关系，目标图像坐标(R,C)与原始图像坐标(r,c)的对应关系为：由此目标图像中的每个点都可以在原始图像中找到对应目标位置；
[0022]其次，构造一个基函数W(d)，基函数W(d)根据原始图像中目标点与临近点的相对位置来确定该临近点对于目标点的权重，W(d)具体如下：
[0023][0024]其中，(1)(2)中的|d|分别表示在横纵轴(x轴、y轴)上临近点与目标点的相对距离，常数C一般选取
‑
0.5，随后根据基函数将16个近邻点的横纵轴权重分别计算出来，最后只需将这16个点的值加权起来即可，计算公式如下：
[0025][0026]R、C分别表示目标图像中点的横纵坐标，r、c表示原图像中点的横纵坐标，i和j分别是16个临近点的横纵编号；
[0027]其中，利用处理后的磁信号通过毕奥
‑
萨伐尔定律获得测量段的电流信号的方法如下：
[0028]利用处理后的磁信号，根据奥
‑
萨伐尔定律可按公式：
[0029][0030]求解电流值，式中，B表示处理后磁信号，μ0为接地网到地面间土壤的电阻率，r为测量距离；
[0031]利用电阻公式计算接地网测量段电阻阻值通过如下公式：
[0032][0033]式中，U表示发射的电压激励源信号，I为S31中获得的经处理转换后的电流信号。
[0034]进一步优选，所述步骤2)包括：
[0035]由于脑电信号数据的个体差异，不同受试者的训练数据会导致模型退化，但是为了提高模型的泛化能力，需要使用所有个体的数据对模型进行训练，因此层级调节凹网络是在双向多尺度采样网络的每个卷积层和最大池化层之间增加了批归一化和剪枝操作。
[0036]进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于并行训练的多任务混合模型的脑电情感分析方法，其特征在于，包括以下步骤：1)脑电数据处理：子集切割和脑图生成；针对多输入并行训练，在数据处理部分，将训练集分成n个子集，采用数据划分的方式将单次试验数据划分为多个子集并在网络中采用并行架构进行并行训练以提升效率，数据子集除了数据内容不同以外，控制其他的变量均保持一致，子集数据仅有时间先后之分，数据来源于同一被试者观看同一刺激材料，然后针对脑电信号的空频域特征提取，将原始脑电信号转换成脑图；2)空间频域特征学习：利用双向多尺度采样的层级调节凹形网络进行信号的频率和空间特征学习；将各个子集数据输入并行的混合网络模型进行多任务学习，其中混合模型堆叠了多种网络模型，这种混合模型堆叠了善于提取频域和空域特征的网络架构(层级调节凹形网络)和能够有效的提取时域特征的网络架构(正弦位置嵌入和前后向序列关系网络)；3)时间特征学习：在添加位置嵌入后提供时间序列信息，然后利用堆叠的前后向序列关系网络进行时序特征学习；4)多任务学习：基于多任务学习的情绪分类模块，然后得到最终的情感分析结果；各个数据子集脑图分别经过各自的空间频域特征学习模块和时间特征学习模块分支处理得到的中间结果向量在多任务学习模块中的平均层进行平均整合，整合结果向量将作为输入进行多任务学习实现多维度信息共享，得到最终的多维度任务的分类结果。2.根据权利要求1所述的一种基于并行训练的多任务混合模型的脑电情感分析方法的测量方法，其特征在在于，所述步骤1)包括：为了更好的提取脑电的频域和空域特征，本发明采用面向网络架构的多级数据处理的插值算法构建脑图；第一级数据处理是：面向正弦位置嵌入和前后向序列关系网络，使用时间窗口无重叠滑动窗口对各频段数据进行切片，本发明中针对SEED数据使用11S窗口切片，针对DEAP数据集使用2S窗口切片；第二级数据处理是：面向时序特征分析网络架构，计算每一个切片得到的片段的微分熵和密度熵特征；第三级数据处理是：面向空频域特征分析网络架构，按照10
‑
20国际系统的电极位置将来自各个通道的相同频段且相同时段计算得到的微分熵和密度熵值映射到脑图对应位置；第四级数据处理是：面向层级调节凹形网络架构，基于最优像素的插值算法，具体方案是用16个近邻点在映射点的邻域内通过加权来得到缩放脑图中的值：首先要确定的是原始图像(图像大小为a
×
b)与目标图像(图像大小为A
×
B)点坐标的对应关系，目标图像坐标(R,C)与原始图像坐标(r,c)的对应关系为：由此目标图像中的每个点都可以在原始图像中找到对应目标位置；其次，构造一个基函数W(d)，基函数W(d)根据原始图像中目标点与临近点的相对位置来确定该临近点对于目标点的权重，W(d)具体如下：
其中，(1)(2)中的|d|分别表示在横纵轴(x轴、y轴)上临近点与目标点的相对距离，常数C一般选取
‑
0.5，随后根据基函数将16个近邻点的横纵轴权重分别计算出来，最后只需将这16个点的值加权起来即可，计算公式如下：R、C分别表示目标图像中点的横纵坐标，r、c表示原图像中点的横纵坐标，i和j分别是16个临近点的横纵编号；其中，利用处理后的磁信号通过毕奥
‑
萨伐尔定律获得测量段的电流信号的方法如下：利用处理后的磁信号，根据奥
‑
萨伐尔定律可按公式：求解电流值，式中，B表示处理后磁信号，μ0为接地网到地面间土壤的电阻率，r为测量距离；利用电阻公式计算接地网测量段电阻阻值通过如下公式：式中，U表示发射的电压激励源信号，I为S31中获得的经处理转换后的电流信号。3.根据权利要求1所述的一种基于并行训练的多任务混合模型的脑电情感分析方法的测量方法，其特征在在于，所述步骤2)包括：由于脑电信号数据的个体差异，不同受试者的训练数据会导致模型退化，但是为了提高模型的泛化能力，需要使...

【专利技术属性】
技术研发人员：周俏丽，施驰，毕晓烨，甄冲，范纯龙，毛艳娥，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：