【技术实现步骤摘要】
一种基于双路双维卷积神经网络的情绪判别方法
[0001]本专利技术提供了一种基于双路双维卷积神经网络的情绪判别方法，属于基于生理信号的情感计算
技术介绍
[0002]情绪是人产生的心理和生理状态的一系列反应，情绪与人的健康状况息息相关。随着人工智能技术的发展，对于情绪的识别技术也得到了很大的提升。最初，研究者大多使用面部表情、语音语调以及肢体特征等非生理信号提取识别特征，但由于这些特征能够认为可以伪装，因此识别的效果并不理想。随着研究的不断深入，人们发现情绪与人的生理和心理活动有着紧密的联系。并且，得益于可穿戴设备的快速发展，目前研究者们更倾向于使用生理信号进行情绪识别研究。
[0003]情绪识别有广泛的应用空间，在元宇宙和虚拟现实技术中检测并实时显示用户情绪，检测用户日常情绪，在医疗中检测并改善情绪提升治疗效果，在军事领域察觉突发情况并改善士兵情绪，在警用领域辅助判断案情分析等。
[0004]中国专利申请202110133224.X提出了一种基于双层神经网络模型的驾驶员情绪识别系统，融合了心电信号、面部肌电信号及脑电信号，获取的驾驶员信息更加全面，但是上述技术方案虽然融合了一部分生理信号特征进行情绪识别，但是其应用领域比较受限，且对于判断的情绪没有进行置信度计算，判别结果误差较大。中国专利申请202110371851.7提出了一种基于卷积神经网络的情绪识别方法、系统，通过对EEG信号进行分析处理判别人的情绪状态，但是其仅采用脑电波信号识别的情绪准确率有待商榷。
技术实现思路
>[0005]本专利技术为了解决现有情绪识别方法中缺乏对生理信号的处理导致情绪识别准确率低的问题，提出了一种基于双路双维卷积神经网络的情绪判别方法。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于双路双维卷积神经网络的情绪判别方法，包括如下步骤：
[0007]步骤1：利用外周生理信号检测设备采集受试者的心率信号、血氧信号、血压信号、体温信号，并通过小波变换过滤得到待判断的四个通道的信号，通过受试者填写调查问卷获得情绪表现作为标签；
[0008]步骤2：将收集到的生理信号划分为训练集和测试集，分别进行多尺度一维卷积神经网络和多尺度二维卷积神经网络的训练；
[0009]步骤3：将经过小波变换过滤得到的生理信号经过多尺度一维卷积神经网络和多尺度二维卷积神经网络得到的特征进行隐式交叉，得到新的特征向量；
[0010]步骤4：对交叉后的特征经过注意力机制处理，为每一维交叉后的特征赋以不同的权重，再连接分类层进行分类，构建完整的双路双维卷积神经网络模型；
[0011]步骤5：将步骤2中的多尺度一维卷积神经网络和多尺度二维卷积神经网络的情绪
预测结果和步骤4中的双路双维的卷积神经网络的情绪预测结果进行置信度融合，通过不同的权重得到新的情绪置信度结果；
[0012]步骤6：利用采集到的心率、血压、血氧和体温信号训练双路双维卷积神经网络模型及置信度分值计算方法，再利用训练好的模型对未知情绪状态进行预测，实现情绪判别及置信度分值计算。
[0013]所述步骤1具体过程如下：
[0014]步骤1.1：为受试者佩戴外周生理信号检测设备，监测受试者的心率、血氧、血压、体温，并为受试者播放情绪激发素材，使受试者的情绪有明显波动，情绪激发素材播放完毕后让受试者填写调查问卷，调查问卷中包括效价分数(Valence)和唤醒度分数(Arousal)；
[0015]步骤1.2：通过小波变换过滤原始四个生理信号的噪声得到待使用的外周生理信号，心率为[x
11
,x
12
,
…
x
1n
]，血氧为[x
21
,x
22
,
…
x
2n
]，血压为[x
31
,x
32
,
…
x
3n
]，体温为[x
41
,x
42
,
…
x
4n
]；
[0016]然后根据效价分数和唤醒度分数将受试者的打分分为4种情绪，分别为高效价高唤醒(HVHA)、高效价低唤醒(HVLA)、低效价高唤醒(LVHA)、低效价低唤醒(LVLA)；
[0017]步骤1.3：将受试者的每个情绪激发素材激发的情绪的生理信号和受试者对应情绪标签组成一个样本，其形式为：
[0018][0019][0020]上式中：x表示受试者的每个情绪激发素材激发的情绪的生理信号，y表示受试者对应情绪标签。
[0021]所述步骤1.2中小波变换的步骤如下：
[0022]设f(n)为原始信号f(t)的离散采样数据，对于一维离散信号f(n)，n＝0,1
…
N
‑
1，其小波变换为：
[0023][0024]上式中：Wf(j，k)为小波系数，j为尺度和小波函数在频域上的伸缩，k为函数在时域的平移；
[0025]然后通过双尺度方程使用递归的实现方法：
[0026]Sf(j+1，k)＝Sf(j，k)*h(j，k)；
[0027]Wf(j+1，k)＝Sf(j，k)*g(j，k)；
[0028]上式中：g和h分别对应于小波函数和尺度函数φ(t)的低通和高通滤波器，sf
(0，k)为原始的信号f(n)，Sf(j，k)为尺度函数，Wf(j，k)为小波函数，则小波变换的重构公式为：
[0029]Sf(j
‑
1，k)＝Sf(j，k)*h(j，k)+Wf(j，k)*g(j，k)。
[0030]所述多尺度一维卷积神经网络包括1个普通卷积层、3个多尺度卷积层、2个多尺度下采样层，所述多尺度卷积层包含4个分支，其中分支1包含1个卷积层，卷积核的尺度为1
×
1；
[0031]分支2包含2个卷积层，分别是1
×
1和3
×
1；
[0032]分支3包含3个卷积层，分别为1
×
1、3
×
1和5
×
1；
[0033]分支4包含下采样操作，最后的直接把每个分支的特征连接在一起。
[0034]所述二维卷积神经网络采用RSNet神经网络，其中二维卷积神经网络的卷积层包含3层卷积层，第1层卷积层的卷积核大小为16
×
16、步长为8，第2层卷积层的卷积核大小为5
×
5、步长为2，第3层卷积层的卷积核大小为3
×
3，步长为1，每个卷积层后都跟有一个激活函数层和池化层，同时加入批量归一化层，池化核大小为2
×
2，步长为2。
[0035]所述步骤4中经过注意力机制对特征交叉后的特征向量的权重分配，权重计算公式如下：
[0036][0037]上式中：c
...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.一种基于双路双维卷积神经网络的情绪判别方法，其特征在于：包括如下步骤：步骤1：利用外周生理信号检测设备采集受试者的心率信号、血氧信号、血压信号、体温信号，并通过小波变换过滤得到待判断的四个通道的信号，通过受试者填写调查问卷获得情绪表现作为标签；步骤2：将收集到的生理信号划分为训练集和测试集，分别进行多尺度一维卷积神经网络和多尺度二维卷积神经网络的训练；步骤3：将经过小波变换过滤得到的生理信号经过多尺度一维卷积神经网络和多尺度二维卷积神经网络得到的特征进行隐式交叉，得到新的特征向量；步骤4：对交叉后的特征经过注意力机制处理，为每一维交叉后的特征赋以不同的权重，再连接分类层进行分类，构建完整的双路双维卷积神经网络模型；步骤5：将步骤2中的多尺度一维卷积神经网络和多尺度二维卷积神经网络的情绪预测结果和步骤4中的双路双维的卷积神经网络的情绪预测结果进行置信度融合，通过不同的权重得到新的情绪置信度结果；步骤6：利用采集到的心率、血压、血氧和体温信号训练双路双维卷积神经网络模型及置信度分值计算方法，再利用训练好的模型对未知情绪状态进行预测，实现情绪判别及置信度分值计算。2.根据权利要求1所述的一种基于双路双维卷积神经网络的情绪判别方法，其特征在于：所述步骤1具体过程如下：步骤1.1：为受试者佩戴外周生理信号检测设备，监测受试者的心率、血氧、血压、体温，并为受试者播放情绪激发素材，使受试者的情绪有明显波动，情绪激发素材播放完毕后让受试者填写调查问卷，调查问卷中包括效价分数(Valence)和唤醒度分数(Arousal)；步骤1.2：通过小波变换过滤原始四个生理信号的噪声得到待使用的外周生理信号，心率为[x
11
,x
12
,
…
x
1n
]，血氧为[x
21
,x
22
,
…
x
2n
]，血压为[x
31
,x
32
,
…
x
3n
]，体温为[x
41
,x
42
,
…
x
4n
]；然后根据效价分数和唤醒度分数将受试者的打分分为4种情绪，分别为高效价高唤醒(HVHA)、高效价低唤醒(HVLA)、低效价高唤醒(LVHA)、低效价低唤醒(LVLA)；步骤1.3：将受试者的每个情绪激发素材激发的情绪的生理信号和受试者对应情绪标签组成一个样本，其形式为：签组成一个样本，其形式为：上式中：x表示受试者的每个情绪激发素材激发的情绪的生理信号，y表示受试者对应情绪标签。
3.根据权利要求2所述的一种基于双路双维卷积神经网络的情绪判别方法，其特征在于：所述步骤1.2中小波变换的步骤如下：设f(n)为原始信号f(t)的离散采样数据，对于一维离散信号f(n)，n＝0,1
…
N
‑
技术研发人员：杨琨，王文旭，郝润芳，桑胜波，张强，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。