一种3D矩阵与多维卷积网络的情感分类方法、介质和设备技术

本发明专利技术公开了一种3D矩阵与多维卷积网络的情感分类方法、介质及设备，包括以下步骤：提取脑电信号的原始特征；从多个通道的脑电信号中提取时域特征；从多个通道的脑电信号中提取频域特征；将时域特征和频域特征的一维脑电序列分别转换为时域特征二维网状序列和频域特征二维网状序列，将时域特征二维网状序列和频域特征二维网状序列分别在第三维进行拼接，分别得到3D时域特征矩阵序列和3D频域特征矩阵序列；构建多维卷积神经网络模型，将3D时域特征矩阵序列和3D频域特征矩阵序列分别作为多维卷积神经网络模型输入，提取深层的时域特征和频域特征，并将提取的深层的时域特征和频域特征输入SoftMax层进行情感分类。本发明专利技术情感识别的分类准确率更高。识别的分类准确率更高。识别的分类准确率更高。

【技术实现步骤摘要】
一种3D矩阵与多维卷积网络的情感分类方法、介质和设备


[0001]本专利技术属于深度学习应用
，具体属于一种3D矩阵与多维卷积网络的情感分类方法、介质及设备。

技术介绍

[0002]情感是人们的内心想法和心理倾向的外在表现，与人们的理性行为和日常生活密切相关，积极的情绪有助于提高我们日常工作的效率，而消极的情绪可能会影响我们的决策、注意力等等。随着人工智能技术的发展，情感识别已受到广泛关注。
[0003]首先，EEG信号具有很低的信噪比，容易受到多种噪声的干扰，其次，人们往往只对特定大脑活动相关的EEG信号感兴趣，但是却很难从背景中将这个信号分离出来。因此，为了确定和提取EEG信号中与特定大脑活动或情感相关的部分信息，需要复杂的EEG信号分析与处理技术，既要考虑EEG信号空间的相关性，也要考虑时间上的相关性。
[0004]在处理EEG情感识别问题时，通常会遇到两大技术挑战，一个是如何从脑电信号中提取高层语义特征，另一个是如何构建情感分类模型让分类效果更好。不同的脑电情感识别方法在近几年不断提出，分类效果也在逐步改善，但为了进一步提高脑电情感识别的性能，仍有一些重要问题需要深入研究：一是如何从原始脑电信号中选择并提取更有效的脑电特征，并对特征进行表示，使其在时域和频域具有更明显的相关性和判别性；二是如何构建有效的深度模型，从输入的脑电特征中挖掘更深层情感相关性特征，提高情感识别的能力。

技术实现思路

[0005]为了解决现有技术中存在的问题，本专利技术提供一种3D矩阵与多维卷积网络的情感分类方法、介质及设备，解决目前脑电信号情感识别的分类准确率较低的问题，
[0006]为实现上述目的，本专利技术提供如下技术方案：一种3D矩阵与多维卷积网络的情感分类方法，包括以下步骤：采集多个通道的脑电信号，并提取脑电信号的原始特征；
[0007]基于提取的原始特征，从多个通道的脑电信号中提取时域特征；
[0008]基于提取的原始特征，从多个通道的脑电信号中提取频域特征；
[0009]将时域特征和频域特征的一维脑电序列分别转换为时域特征二维网状序列和频域特征二维网状序列，将时域特征二维网状序列和频域特征二维网状序列分别在第三维进行拼接，分别得到3D时域特征矩阵序列和3D频域特征矩阵序列；
[0010]构建多维卷积神经网络模型，将3D时域特征矩阵序列和3D频域特征矩阵序列分别作为多维卷积神经网络模型输入，提取深层的时域特征和频域特征，并将提取的深层的时域特征和频域特征输入SoftMax层进行情感分类。
[0011]进一步的，基于提取的原始特征，从多个通道的脑电信号中提取的时域特征包括：均值、方差、标准差、一阶差绝对值的平均值、二阶差绝对值的平均值和近似熵；
[0012]基于提取的原始特征，从多个通道的脑电信号中提取的频域特征包括：1Hz～4Hz、
4Hz～8Hz、8Hz～13Hz、13Hz～30Hz和30Hz以上的五个频带以及全频带上的PSD特征。
[0013]进一步的，基于提取的原始特征，从多个通道的脑电信号中提取频域特征的具体步骤如下：基于多个通道提取的脑电信号的原始特征，对原始时序脑电信号在Delta，Theta，Alpha，Beta和Gamma五个频带上分别利用快速傅里叶变换提取频域特征，再利用窗长为0.5s的汉明窗对原始特征数据进行扫描，窗口挪动的步长设置为0.25s，每滑动一次提取32个功率谱密度PSD特征，再将全频带上的PSD特征与五个分频带上的PSD特征进行连接，可得到6种不同的频域特征。
[0014]进一步的，采集多个通道的脑电信号，还包括对采集的脑电信号进行预处理，所述预处理的具体步骤如下：
[0015]采用4
‑
45Hz的带通滤波器进行数据过滤消除直流噪声、电源噪声和其他伪迹，再采用盲源分离技术去除眼电干扰。
[0016]进一步的，提取脑电信号的原始特征的具体步骤如下：
[0017]基于提取的多个通道的脑电信号，对每次试验的脑电信号进行不重叠分段，每次试验得到多个样本，则得到每个被试的样本总数，每个样本包含有多个采样点，每个采样点包含提取的多个通道的脑电信号，即得到原始特征。
[0018]进一步的，时域特征和频域特征的一维脑电序列转换为二维网状序列，接着将二维网状序列在第三维进行拼接的具体步骤如下：
[0019]根据大脑皮层不同电极对应位置，将脑电图映射成一个9
×
9的二维网状矩阵，使用0来填充映射9
×
9二维网状矩阵的其他位置，9
×
9二维网状矩阵中非0值表示对应通道的脑电信号特征值，然后将在时域特征和频域特征分别提取的6种不同的一维链式特征转换成一个9
×9×
1的特征矩阵，再分别将每个样本的时域特征或频域特征在第三维进行拼接，分别获得9
×9×
6的3D时域特征矩阵和3D频域特征矩阵。
[0020]进一步的，多维卷积神经网络模型包括特征输入层、单元卷积层、多元卷积层和输出层，所述特征输入层用于将3D时域特征矩阵序列和3D频域特征矩阵序列分别作为单元卷积层的输入，
[0021]所述单元卷积层用于分别提取3D时域特征矩阵序列的初级时域特征和3D频域特征矩阵序列的初级频域特征并将提取的初级时域特征和初级频域特征输入多元卷积层，
[0022]所述多元卷积层用于从初级时域特征和初级频域特征中分别提取深层的时域特征和深层的频域特征；
[0023]所述输出层包括全连接层和SoftMax层，将多元卷积层的输出作为输入，并在全连接层后添加Dropout层，全连接层将提取的高级深层时域特征和频域特征输入到SoftMax层进行情感分类。
[0024]进一步的，所述单元卷积层采用1
×
1的卷积核进行扫描，每进行1
×
1卷积后，使用ReLU激活函数来获得非线性结果；
[0025]所述多元卷积层分别采用3
×
3、5
×
5和7
×
7大小的卷积核来提取不同区域的局部脑电特征，每个大小的卷积网络都包含两层，第一层将局部EEG通道分组在一起来学习通道间的局部相关性，第二层用来捕获组与组之间的上下文相关信息，在每次卷积运算之后，使用ReLU激活函数获取非线性输出，接着将多元卷积层的非线性结果进行连接，多层卷积结果级联之后，再进行一次特殊卷积，该卷积核大小与输入数据的大小保持一致，最后滤波器
以不同的方式将每个张量压缩成向量，在全连接层后加入Dropout层，然后接入SoftMax层进行情感分类。
[0026]本专利技术还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据上述的方法中的任一方法。
[0027]本专利技术还提供一种计算设备，包括：
[0028]一个或多个处理器、存储器及一个或多个程序，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D矩阵与多维卷积网络的情感分类方法，其特征在于，包括以下步骤：采集多个通道的脑电信号，并提取脑电信号的原始特征；基于提取的原始特征，从多个通道的脑电信号中提取时域特征；基于提取的原始特征，从多个通道的脑电信号中提取频域特征；将时域特征和频域特征的一维脑电序列分别转换为时域特征二维网状序列和频域特征二维网状序列，将时域特征二维网状序列和频域特征二维网状序列分别在第三维进行拼接，分别得到3D时域特征矩阵序列和3D频域特征矩阵序列；构建多维卷积神经网络模型，将3D时域特征矩阵序列和3D频域特征矩阵序列分别作为多维卷积神经网络模型输入，提取深层的时域特征和频域特征，并将提取的深层的时域特征和频域特征输入SoftMax层进行情感分类。2.根据权利要求1所述的一种3D矩阵与多维卷积网络的情感分类方法，其特征在于，基于提取的原始特征，从多个通道的脑电信号中提取的时域特征包括：均值、方差、标准差、一阶差绝对值的平均值、二阶差绝对值的平均值和近似熵；基于提取的原始特征，从多个通道的脑电信号中提取的频域特征包括：1Hz～4Hz、4Hz～8Hz、8Hz～13Hz、13Hz～30Hz和30Hz以上的五个频带以及全频带上的PSD特征。3.根据权利要求2所述的一种3D矩阵与多维卷积网络的情感分类方法，其特征在于，基于提取的原始特征，从多个通道的脑电信号中提取频域特征的具体步骤如下：基于多个通道提取的脑电信号的原始特征，对原始时序脑电信号在Delta，Theta，Alpha，Beta和Gamma五个频带上分别利用快速傅里叶变换提取频域特征，再利用窗长为0.5s的汉明窗对原始特征数据进行扫描，窗口挪动的步长设置为0.25s，每滑动一次提取32个功率谱密度PSD特征，再将全频带上的PSD特征与五个分频带上的PSD特征进行连接，可得到6种不同的频域特征。4.根据权利要求1所述的一种3D矩阵与多维卷积网络的情感分类方法，其特征在于，采集多个通道的脑电信号，还包括对采集的脑电信号进行预处理，所述预处理的具体步骤如下：采用4
‑
45Hz的带通滤波器进行数据过滤消除直流噪声、电源噪声和其他伪迹，再采用盲源分离技术去除眼电干扰。5.根据权利要求1所述的一种3D矩阵与多维卷积网络的情感分类方法，其特征在于，提取脑电信号的原始特征的具体步骤如下：基于提取的多个通道的脑电信号，对每次试验的脑电信号进行不重叠分段，每次试验得到多个样本，则得到每个被试的样本总数，每个样本包含有多个采样点，每个采样点包含提取的多个通道的脑电信号，即得到原始特征。6.根据权利要求1所述的一种3D矩阵与多维卷积网络的情感分类方法，其特征在于，时域特征和频域特征的一维脑电序列转换为二维网状序列，接着将二维网状序列在第三维进行拼接的具体步骤如下：根据大脑皮层不同电极对应位置，将脑电图映射...

【专利技术属性】
技术研发人员：陈景霞，刘洋，闵重丹，林文涛，
申请(专利权)人：陕西科技大学，
类型：发明
国别省市：