一种双模态运动想象的分类识别方法、系统和存储介质技术方案

本发明专利技术涉及一种双模态运动想象的分类识别方法、系统和存储介质，所述方法包括：获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。本发明专利技术通过采用双模态脑机接口技术获取用户运动想象中产生的特征数据并进行解码，提高运动想象的分别识别的准确率的同时，也提高了解码过程与分类识别过程的反馈速度以及数据传输率。别过程的反馈速度以及数据传输率。别过程的反馈速度以及数据传输率。

【技术实现步骤摘要】
一种双模态运动想象的分类识别方法、系统和存储介质


[0001]本专利技术涉及运动想象识别
，尤其涉及一种双模态运动想象的分类识别方法、系统和存储介质。

技术介绍

[0002]目前，非侵入式的脑机接口(Brain
‑
Computer Interface,BCI)技术包括了四类：脑电图(EEG)、脑磁图(MEG)、功能核磁共振成像(fMRI)、以及功能近红外光谱技术(fNIRS)。其中，基于脑电图和基于功能性近红外光谱的脑机接口技术都因具有较为低廉的成本和更高的便携性而得到研究者们关注。但是，这两种单模态的脑机接口都存在一些明显的缺点：一方面，基于脑电图的脑机接口技术具有复杂性、动态性、低空间分辨率和低信噪比的特点；另一方面，基于近红外光谱的脑机接口信息传输速度慢，错误率高，并且大多数基于近红外光谱的脑机接口实验都在受控的实验室环境中进行，而在真实情况下，执行依赖注意力的心理任务(如运动想象)会变得更加困难。因此，如何克服单一模态脑机接口在神经康复中的诸多不足，从而提升运动想象任务的目标分类识别的准确率，是当前亟需解决的问题。

技术实现思路

[0003]为解决上述技术问题，本专利技术提供了一种双模态运动想象的分类识别方法、系统和存储介质。
[0004]本专利技术的一种双模态运动想象的分类识别方法的技术方案如下：
[0005]获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；
[0006]对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；
[0007]基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。
[0008]本专利技术的一种双模态运动想象的分类识别方法的有益效果如下：
[0009]本专利技术的方法通过采用双模态脑机接口技术获取用户运动想象中产生的特征数据并进行解码，提高运动想象的分别识别的准确率的同时，也提高了解码过程与分类识别过程的反馈速度以及数据传输率。
[0010]在上述方案的基础上，本专利技术的一种双模态运动想象的分类识别方法还可以做如下改进。
[0011]较优地，所述原始双模态数据包括：原始脑电图数据和原始近红外光谱数据；所述原始双模态数据的采集过程为：采用电极从所述用户的头部采集所述原始脑电图数据，并采用光源探测器从所述用户的头部采集所述原始近红外光谱数据。
[0012]进一步，所述双模态特征数据包括：脑电图特征数据和近红外光谱特征数据；
[0013]所述对所述预处理后的双模态数据进行特征提取，得到双模态特征数据，包括：
[0014]采用时频域分析法对预处理后的原始脑电图数据进行特征提取，得到所述脑电图特征数据，采用所述时频域分析法对预处理后的原始近红外光谱数据进行特征提取，得到所述近红外光谱特征数据。
[0015]进一步，所述预设解码网络模型包括：二维卷积层、最大池化层、四个串联的残差模块、平均池化层、全连接层和Softmax分类器；所述基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述目标用户的目标运动想象类别，包括：
[0016]将所述脑电图特征数据和所述近红外光谱特征数据输入至所述预设解码网络模型的所述二维卷积层，依次经所述二维卷积层处理、批正则化处理和ReLu激活后，得到第一特征数据；
[0017]通过所述最大池化层对所述第一特征数据进行下采样，得到第二特征数据；
[0018]将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，并将经过ReLu激活后的第三特征数据输入至所述平均池化层进行正则化处理，得到第四特征数据；
[0019]将所述第四特征数据输入至所述全连接层，并采用所述Softmax分类器输出每个每种运动想象类别的概率；
[0020]将概率最高的运动想象类别确定为目标运动想象类别。
[0021]进一步，所述每个残差模块中均包含一个混合注意力模块；
[0022]所述将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，包括：
[0023]将所述第二特征数据输入首个残差模块，并经过所述首个残差模块的卷积层处理后，得到第一残差特征数据；
[0024]将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据，并将所述第二特征数据与所述第一残差特征加权数据进行叠加，得到所述首个残差模块的第一输出特征数据；
[0025]将所述第一输出特征数据输入至下一个残差模块，直至得到所述第三特征数据。
[0026]进一步，任一残差模块中的混合注意力模块包括：通道注意力模块和空间注意力模块，所述通道注意力模块和所述空间注意力模块采用串联方式或并联方式连接；
[0027]所述将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据，包括：
[0028]当所述通道注意力模块和所述空间注意力模块采用串联方式连接时，基于目标串联公式，将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据；其中，所述目标串联公式为：f
″
＝(f
·
M
c
(f))
·
M
s
(f
·
M
c
(f))或f
″
＝(f
·
M
s
(f))
·
M
c
(f
·
M
s
(f))；
[0029]当所述通道注意力模块和所述空间注意力模块采用并联方式连接时，基于目标并联公式，将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据；其中，所述目标并联公式为：f
″
＝σ(f
·
M
c
(f)+f
·
M
s
(f))。
[0030]进一步，还包括：
[0031]基于预设映射关系函数，生成所述目标运动想象类别对应的目标运动控制指令，并将所述目标运动控制指令发送至所述用户的智能设备中，以使所述用户通过所述智能设
备进行运动训练。
[0032]本专利技术的一种双模态运动想象的分类识别系统的技术方案如下：
[0033]包括：数据处理模块、特征提取模块和解码识别模块；
[0034]所述数据处理模块用于：获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；
[0035]所述特征提取模块用于：对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；
[0036]所述解码识别模块用于：基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。
[0037]本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双模态运动想象的分类识别方法，其特征在于，包括：获取从用户的头部所采集的原始双模态数据，并对所述原始双模态数据进行预处理，得到预处理后的双模态数据；对所述预处理后的双模态数据进行特征提取，得到双模态特征数据；基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述用户的目标运动想象类别。2.根据权利要求1所述的一种双模态运动想象的分类识别方法，其特征在于，所述原始双模态数据包括：原始脑电图数据和原始近红外光谱数据；所述原始双模态数据的采集过程为：采用电极从所述用户的头部采集所述原始脑电图数据，并采用光源探测器从所述用户的头部采集所述原始近红外光谱数据。3.根据权利要求1所述的一种双模态运动想象的分类识别方法，其特征在于，所述双模态特征数据包括：脑电图特征数据和近红外光谱特征数据；所述对所述预处理后的双模态数据进行特征提取，得到双模态特征数据，包括：采用时频域分析法对预处理后的原始脑电图数据进行特征提取，得到所述脑电图特征数据，采用所述时频域分析法对预处理后的原始近红外光谱数据进行特征提取，得到所述近红外光谱特征数据。4.根据权利要求3所述的一种双模态运动想象的分类识别方法，其特征在于，所述预设解码网络模型包括：二维卷积层、最大池化层、四个串联的残差模块、平均池化层、全连接层和Softmax分类器；所述基于预设解码网络模型，对所述双模态特征数据进行解码，得到所述目标用户的目标运动想象类别，包括：将所述脑电图特征数据和所述近红外光谱特征数据输入至所述预设解码网络模型的所述二维卷积层，依次经所述二维卷积层处理、批正则化处理和ReLu激活后，得到第一特征数据；通过所述最大池化层对所述第一特征数据进行下采样，得到第二特征数据；将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，并将经过ReLu激活后的第三特征数据输入至所述平均池化层进行正则化处理，得到第四特征数据；将所述第四特征数据输入至所述全连接层，并采用所述Softmax分类器输出每个每种运动想象类别的概率；将概率最高的运动想象类别确定为目标运动想象类别。5.根据权利要求4所述的一种双模态运动想象的分类识别方法，其特征在于，所述每个残差模块中均包含一个混合注意力模块；所述将所述第二特征数据依次通过所述四个串联的残差模块，得到所述第三特征数据，包括：将所述第二特征数据输入首个残差模块，并经过所述首个残差模块的卷积层处理后，得到第一残差特征数据；将所述第一残差特征数据输入至所述首个残差模块的混合注意力模块，得到第一残差特征加权数据，并将所述第二特征数据与所述第一残差特征加权数据进行叠加，得到所述首个残差模块的第一输出特征数据；
将所述第一输出特征数据输入至下一个残差模块，直至得到所述第三特征数据。6.根据权利要求5所述的一种双模态运动想象的分类识别方法，其特征在于，任一残差模块中的...

【专利技术属性】
技术研发人员：薛耀，肖雪珍，张明，林奕，
申请(专利权)人：深圳未来脑律科技有限公司，
类型：发明
国别省市：