基于深度学习的脑电-肌电信号融合识别方法技术

本发明专利技术公开了一种基于深度学习的脑电‑肌电信号融合识别方法，通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码及序列解码，获得脑电分类特征矩阵；对预处理后的肌电信号进行强度特征提取，获得肌电特征向量；通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令。本发明专利技术将多头自注意力机制和编码‑解码模型结合应用到脑电特征提取领域，提高脑电分类识别精度；利用自适应方法，解决肌电信号存在个体差异和位置差异的问题，通过提取肌电信号的强度特征来实现动作强度的估计；利用无监督稀疏自编码器对不同生物电特征进行编码和解码，以高效、鲁棒性的方法实现对脑电和肌电特征的融合。

【技术实现步骤摘要】
基于深度学习的脑电-肌电信号融合识别方法
本专利技术属于脑电信号和肌电信号的特征提取和融合识别
，具体涉及一种基于深度学习的脑电-肌电信号融合识别方法。
技术介绍
脑电信号是用非侵入式柔性电极在头皮采集记录的电信号，这种电信号由大脑活动时大量神经元同步发生的突触后电位经总和后形成，是脑神经细胞生理活动在大脑皮层或头皮表面的总体反映。当人体想象肢体运动而没有实际的肢体动作时，神经元之间活动产生电信号，这些信号能量累积超过一定阈值时，就会产生脑电信号，运动想象产生的脑电信号具有事件相关同步和去同步的特征，通过分析运动想象脑电信号，可以判断想象者的运动意图，从而实现对外部设备的控制。肌电信号是用表面电极在人体皮肤采集的电信号，这种电信号是肌肉运动时各运动单元所产生的动作电位序列在皮肤表面叠加而成。当人体进行实际的肢体动作时，该运动意图产生于大脑，编码于神经信号中传达到脊髓，二次编码后经神经通路传递到对应的肢体(如上肢)，神经信号造成肌肉纤维收缩产生电位差，肌肉牵引骨骼完成该运动，通过对该信号的强度特征进行解码，即可以估计肌电信号对动作的期望强度，以控制外部设备的运动强度。运动想象EEG信号是一种随机非平稳信号，信号幅度较微弱，受自身和外界环境的干扰较强，但是不受限于肢体的残疾程度，脑功能完整就能够利用EEG实现对外物的控制，因而在脑-机接口和人机交互系统中得到广泛应用。但是与sEMG信号相比，基于EEG信号的运动想象意图识别准确率较低。sEMG信号因为无创性，信噪比高，易于采集等优点被越来越多的应用于假肢控制和人机交互等领域。传统人机交互系统多为单通道交互方式，如采用语音或手势等，交互方式简单、应用领域单一。在新型人机交互领域，将脑电、肌电进行有效融合，可以实现较好的交互体验。对脑电与肌电的准确识别是多通道人机交互系统实现的基础，因此对脑电-肌电信号融合分类识别探索与研究，具有非常重要的现实意义。
技术实现思路
鉴于此，本专利技术的主要目的在于提供一种基于深度学习的脑电-肌电信号融合识别方法。为达到上述目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供一种基于深度学习的脑电-肌电信号融合识别方法，该方法为：通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码及序列解码，获得脑电分类特征矩阵；对预处理后的肌电信号进行强度特征提取，获得肌电特征向量；通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令。上述方案中，所述通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码，具体为：通过基于空洞卷积的时间卷积网络对脑电信号输入序列以规则间隔进行处理，且将步幅设置为大于一个采样，对生成的输出序列进行下采样，产生一组有效地降采样后的滤波序列，以学习数据序列中不同点可能重复出现类似特征的规律提取滤波序列中的特征序列；根据所述特征序列获得加权之后的特征向量MultiHead(α,β,P)。上述方案中，所述根据所述特征序列获得加权之后的特征向量MultiHead(α,β,P)，具体为：将所述特征序列输入到编码器循环神经网络，编码器由N个相同层的堆栈组成，每个堆栈层有两个子层，第一个子层是多头自注意力子层，采用集成的方式从不同头获取特征信息，通过全连接进行线性变换映射成多个α、β、P，输入的n*d的矩阵将得到一个加权之后的特征向量MultiHead(α,β,P)：MultiHead(α,β,P)＝Concat(head1,...,headh)WOwhereheadi＝Attention(αWiα,βWiβ,pWip)其中，α、β、P分别代表脑电信号采集时获取到的α、β、脑诱发电位特征向量；第二个子层是前馈神经网络，由分段线性激活函数Maxout、第二层的线性激活函数和dropout神经网络组成，将所述加权之后的特征向量作为输入，每一行进行铺平操作，再连接一个全连接层，同一层的不同行全连接层用一样的参数，不同层用不同的参数，每个层经dropout网络添加一道概率随机舍弃部分神经元，脑电信号特征序列经整个编码器的处理后得到编码后的n*d的矩阵输入解码器。上述方案中，所述对预处理后的脑电信号进行序列解码，具体为：编码后的矩阵输入解码器由N个层堆叠而成，每个层都拥有三个子层，第一个子层为多头自注意力子层，第二个子层是前馈神经网络，第三个子层是深度自注意力机制，矩阵输入解码器输的向量维度为d，经第一个子层时对未来信息进行掩码，输出k*d的矩阵，第二个子层对输入的矩阵进行自注意力机制加权，输出k*d的矩阵，第三个子层采用全连接层，解码器的6个层都需要输入前序编码器的输出矩阵，最后得到输出的k*d的脑电分类特征矩阵。上述方案中，所述对预处理后的肌电信号进行强度特征提取，获得肌电特征向量，具体为：将传感器采集得到肌电信号经过绝对值均值处理后送入肌电记录器，肌电记录器实时记录并更新肌电绝对值均值的最大值和最小值，并将其用于调整比例因子KE；选用肌电信号的绝对值均值(Meanabsolutevalue，MAV)进行动作强度的估计。上述方案中，所述选用肌电信号的绝对值均值(Meanabsolutevalue，MAV)进行动作强度的估计，具体为:其中，EMG(i)为第i个采样时刻采集的肌电信号，N为滑动窗口的长度；设计调节因子KE为其中，K为预设的常数，MaxE和MinE分别为肌电绝对值均值的最大值和最小值，MaxE和MinE的更新过程如下:1).计算MAV的均值其中，MAV(t)为当前采样时刻的MAV值，MAV(t-n)为前n采样时刻的MAV值；2).数据更新E＝(EMG-MinE)×KE在动作强度估计中增加去抖动环节f(E)：其中，E0为手臂放松状态下测量得到的肌电信号的绝对值均值；动作强度的估计值为Fd＝E×f(E)将Fd对应于对外部设备的控制时长、强度，i个时刻的动作强度Fd构成动作强度特征矩阵，且保持维数与脑电特征矩阵相同。上述方案中，通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令，具体为：稀疏自编码器包括输入层m，隐层h和输出层n，训练目标是使m与n近似相等，训练过程包括编码和解码，设u和g分别表示编码和解码函数，则编码和解码过程可用函数表示为：h＝u(m)＝su(w1m+a)n＝g(h)＝sg(w2h+b)式中，w1和w2分别表示输入层到隐层和隐层到输出层的权重，a和b分别表示隐层和输出层的偏置，su和sg分别为编码及解码过程的激活函数，取为softmax函数，函数定义如下：其中Zi为特征矩阵第i个节点的输入值，C为输出节点个数，即分类类别个数，通过softmax函数将多分类输出值转换为范围在[0，1]的概率分布，最终选取概率值最高的类别作本文档来自技高网...

【技术保护点】
1.一种基于深度学习的脑电-肌电信号融合识别方法，其特征在于，该方法为：/n通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码及序列解码，获得脑电分类特征矩阵；/n对预处理后的肌电信号进行强度特征提取，获得肌电特征向量；/n通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令。/n

【技术特征摘要】
1.一种基于深度学习的脑电-肌电信号融合识别方法，其特征在于，该方法为：
通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码及序列解码，获得脑电分类特征矩阵；
对预处理后的肌电信号进行强度特征提取，获得肌电特征向量；
通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令。


2.根据权利要求1所述的基于深度学习的脑电-肌电信号融合识别方法，其特征在于，所述通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码，具体为：通过基于空洞卷积的时间卷积网络对脑电信号输入序列以规则间隔进行处理，且将步幅设置为大于一个采样，对生成的输出序列进行下采样，产生一组有效地降采样后的滤波序列，以学习数据序列中不同点可能重复出现类似特征的规律提取滤波序列中的特征序列；根据所述特征序列获得加权之后的特征向量MultiHead(α,β,P)。


3.根据权利要求2所述的基于深度学习的脑电-肌电信号融合识别方法，其特征在于，所述根据所述特征序列获得加权之后的特征向量MultiHead(α,β,P)，具体为：将所述特征序列输入到编码器循环神经网络，编码器由N个相同层的堆栈组成，每个堆栈层有两个子层，第一个子层是多头自注意力子层，采用集成的方式从不同头获取特征信息，通过全连接进行线性变换映射成多个α、β、P，输入的n*d的矩阵将得到一个加权之后的特征向量MultiHead(α,β,P)：
MultiHead(α,β,P)＝Concat(head1,...,headh)WO
whereheadi＝Attention(αWiα,βWiβ,pWip)
其中，α、β、P分别代表脑电信号采集时获取到的α、β、脑诱发电位特征向量；第二个子层是前馈神经网络，由分段线性激活函数Maxout、第二层的线性激活函数和dropout神经网络组成，将所述加权之后的特征向量作为输入，每一行进行铺平操作，再连接一个全连接层，同一层的不同行全连接层用一样的参数，不同层用不同的参数，每个层经dropout网络添加一道概率随机舍弃部分神经元，脑电信号特征序列经整个编码器的处理后得到编码后的n*d的矩阵输入解码器。


4.根据权利要求1-3任意一项所述的基于深度学习的脑电-肌电信号融合识别方法，其特征在于，所述对预处理后的脑电信号进行序列解码，具体为：编码后的矩阵输入解码器由N个层堆叠而成，每个层都拥有三个子层，第一个子层为多头自注意力子层，第二个子层是前馈神经网络，第三个子层是深度自注意力机制，矩阵输入解码器输的向量维度为d，经第一个子层时对未来信息进行掩码，输出k*d的矩阵，第二个子层对输入的矩阵进行自注意力机制加权，输出k*d的矩阵，第三个子层采用全...

【专利技术属性】
技术研发人员：秦翰林，欧洪璇，马琳，蔡彬彬，延翔，王诚，岳恒，梁进，张昱赓，周慧鑫，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61