基于多头再注意力机制的运动意图识别方法及系统技术方案

本发明专利技术公开了一种基于多头再注意力机制的运动意图识别方法，包括：获取脑卒中患者佩戴的可穿戴设备采集的多组样本信息，每组样本信息包括样本肌电信号、惯性测量信号和/或样本脑电信号；基于每组样本信息建立基于多头再注意力机制的运动意图识别模型；基于所述运动意图识别模型确定所述脑卒中患者的运动意图。还公开了基于双流Transformer编码器和多头再注意力机制的运动意图识别系统、该运动意图识别方法在脑卒中患者的镜像治疗和/或助动治疗中的应用、电子设备以及计算机可读存储介质。电子设备以及计算机可读存储介质。电子设备以及计算机可读存储介质。

【技术实现步骤摘要】
基于多头再注意力机制的运动意图识别方法及系统


[0001]本专利技术涉及计算机虚拟现实和智能康复
，尤其涉及一种基于多头再注意力机制的运动意图识别方法及系统。

技术介绍

[0002]“脑卒中”又称“中风”、“脑血管意外”，是一种急性脑血管疾病，是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一组疾病，包括缺血性和出血性卒中，缺血性卒中的发病率高于出血性卒中，占脑卒中总数的60％～70％。颈内动脉和椎动脉闭塞和狭窄可引起缺血性脑卒中，年龄多在40岁以上，男性较女性多，严重者可引起死亡，出血性卒中的死亡率较高，脑卒中具有发病率高、死亡率高和致残率高的特点，其中腕内翻是脑卒中常见的临床表现，患者手臂肌肉萎缩，失去手部的抓拿作用，十分不便。
[0003]运动意图是实现精确跟踪人体上肢运动，最终实现上肢的镜像治疗的关键部分。尽管近年来外骨骼领域针对运动意图的研究取得了一定成果，但是技术依旧不够成熟。运动意图识别的关键是针对脑卒中患者获取当前时刻执行不完全的动作的时间序列，从中分析出患者的预期动作，以指导患侧手根据患者的运动意图进行康复运动。目前针对人体运动意图的识别方法主要有基于力学信息的意图识别和基于生物电信息的意图识别。然而，采用力学信息的运动意图识别方法由于只有在使用者开始运动后才能得到，具有较为严重的滞后性，并不能直接反映人的运动意图，难以实现柔性控制。由于人体连续运动会造成肌肉收缩性下降、上表皮出汗等问题，从而使得运动意图的预测结果准确性下降，基于生物电信息的意图识别需要全面考虑长时间使用后使用者肌肉状态对肌电信息的影响，因此人们开始研究机器学习方法在运动意图识别领域的应用。对于人体全身方面运动意图识别的研究，通常在人体和外骨骼上穿戴加速度、角速度、压力等多种传感器来采集生理信号，进而对人体运动形式进行预判，从而控制外骨骼机器人运动。对于人体下肢康复运动领域的研究，例如：Marion等学者研究了利用前馈神经网络和长短时记忆神经网络这两种网络预测下肢运动过程中的地面反作用力和关节力矩，平均预测精度为 0.95，参见文献《MundtMarion,Koeppe Arnd,David Sina,BamerFranz,Potthast Wolfgang,MarkertBernd.Predict ion ofground reactionforce andjoint moments based on opticalmotion capture data duringgait.[J].Medical engineering&physics，2020，86.》。但由于上述方法的网络结构较简单，对于生物电信号在变化明显处的特征提取效果较差，因此预测精度普遍偏低。
[0004]因此，现有技术在针对重度脑卒中患者的镜像康复治疗和中、轻度助动治疗中应用识别模型进行运动意图识别还没有成熟可应用的技术方案。

技术实现思路

[0005]为了解决现有技术中存在的问题，本专利技术提供了如下一种基于多头再注意力机制的运动意图识别方法及系统，基于所采集的患者不同动作下的样本信号，进行数据样本扩
展后建立肌电运动意图识别模型，基于识别模型可以较高准确率的识别运动意图，从而为进行有效的主动康复治疗提供依据。
[0006]本专利技术一方面提供了一种基于多头再注意力机制的运动意图识别方法，包括：
[0007]S1，获取脑卒中患者佩戴的可穿戴设备采集的多组样本信息，每组样本信息包括样本肌电信号、惯性测量信号和/或样本脑电信号；
[0008]S2，基于每组样本信息建立基于多头再注意力机制的运动意图识别模型；
[0009]S3，基于所述运动意图识别模型确定所述脑卒中患者的运动意图。
[0010]优选的，所述S2，基于每组样本信息建立基于多头再注意力机制的运动意图识别模型包括：
[0011]S21，对所述样本信息进行预处理并获得建立运动意图识别模型所需的第一部分数据集数据；
[0012]S22，将所述第一部分数据集数据进行数据集扩充获得第二部分数据集数据，将所述第一部分数据集数据与所述第二部分数据集数据合并形成样本数据集数据；
[0013]S23，建立基于多头再注意力机制的运动意图识别网络；所述运动意图识别网络包括双流Transformer编码器、长短序列特征交叉注意力模块、多尺度特征融合模块以及运动意图分类模块；所述双流 Transformer编码器包括多头再注意力机制；
[0014]S24，将所述样本数据集数据输入所述运动意图识别网络中进行训练学习，获得所述运动意图识别模型。
[0015]优选的，所述可穿戴设备为肌电采集传感器、惯性测量传感器和 /或脑电采集传感器。
[0016]优选的，所述S21的所述预处理包括降噪、归一化、取绝对值以及数据分割，其中：
[0017]S211，所述降噪包括滤除原始的所述肌电信号中的工频干扰、运动伪迹和/或多通道串扰原因造成的噪声，从而获得滤除噪声后的样本信息；
[0018]S212，所述归一化包括将所述滤除噪声后的样本信息限定到有利于模型训练的大小，获得归一化肌电信号；
[0019]S213，所述取绝对值包括：将每个所述归一化肌电信号的全部序列取绝对值；
[0020]S214，数据分割：将取绝对值后的归一化肌电信号的全部序列切割为多个样本时序窗，将所述多个样本时序窗作为数据集数据。
[0021]优选的，所述S22所述将所述第一部分数据集数据进行数据集扩充获得第二部分数据集数据包括：
[0022]S221，随机取窗：将所述第一部分数据集数据进行随机取窗获得所述第二部分数据集数据中的随机取窗样本数据，包括：在每一类动作序列内随机选取窗的起始点，并根据窗长确定终止点从而获得肌电时序窗；基于所述肌电时序窗将取绝对值后的归一化样本信息全部序列进行随机取窗获得所述第二部分数据集数据中的随机取窗样本数据；
[0023]S222，时延信号增强：将所述第一部分数据集数据进行时延信号增强获得所述第二部分数据集数据中的时延信号增强样本数据，包括：随机选取S214的所述多个样本时序窗中其中一个样本时序窗的一段采样点并删除；选取所述其中一个样本时序窗的下一时刻与所删除的采样点点数相同的采样点放入窗尾，形成时延信号增强时序窗；基于所述时延信号增强时序窗将取绝对值后的归一化样本信息全部序列进行时延信号增强获得所述第
二部分数据集数据中的时延信号增强样本数据；
[0024]S223，将所述第二部分数据集数据中的随机取窗样本数据和所述第二部分数据集数据中的时延信号增强样本数据合并获得第二部分数据集数据；将所述第一部分数据集数据与所述第二部分数据集数据合并形成样本数据集数据基于数据增强合并实现，从而有效扩充样本数据集数据量。
[0025]优选的，所述S22仅包括执行所述S221随机取窗或所述S222所述时延信号增强，并据此选择不实施S223。
[0026本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多头再注意力机制的运动意图识别方法，其特征在于，包括：S1，获取脑卒中患者佩戴的可穿戴设备采集的多组样本信息，每组样本信息包括样本肌电信号、惯性测量信号和/或样本脑电信号；S2，基于每组样本信息建立基于多头再注意力机制的运动意图识别模型；S3，基于所述运动意图识别模型确定所述脑卒中患者的运动意图。2.根据权利要求1所述的一种基于多头再注意力机制的运动意图识别方法，其特征在于，所述S2，基于每组样本信息建立基于多头再注意力机制的运动意图识别模型包括：S21，对所述样本信息进行预处理并获得建立运动意图识别模型所需的第一部分数据集数据；S22，将所述第一部分数据集数据进行数据集扩充获得第二部分数据集数据，将所述第一部分数据集数据与所述第二部分数据集数据合并形成样本数据集数据；S23，建立基于多头再注意力机制的运动意图识别网络；所述运动意图识别网络包括双流Transformer编码器、长短序列特征交叉注意力模块、多尺度特征融合模块以及运动意图分类模块；所述双流Transformer编码器包括多头再注意力机制；S24，将所述样本数据集数据输入所述运动意图识别网络中进行训练学习，获得所述运动意图识别模型。3.根据权利要求2所述的一种基于多头再注意力机制的运动意图识别方法，其特征在于，所述可穿戴设备为肌电采集传感器、惯性测量传感器和/或脑电采集传感器。4.根据权利要求2所述的一种基于多头再注意力机制的运动意图识别方法，其特征在于，所述S21的所述预处理包括降噪、归一化、取绝对值以及数据分割，其中：S211，所述降噪包括滤除原始的所述肌电信号中的工频干扰、运动伪迹和/或多通道串扰原因造成的噪声，从而获得滤除噪声后的样本信息；S212，所述归一化包括将所述滤除噪声后的样本信息限定到有利于模型训练的大小，获得归一化肌电信号；S213，所述取绝对值包括：将所述归一化肌电信号的全部序列取绝对值；S214，数据分割：将取绝对值后的归一化肌电信号的全部序列切割为多个样本时序窗，将所述多个样本时序窗作为数据集数据。5.根据权利要求4所述的一种基于多头再注意力机制的运动意图识别方法，其特征在于，所述S22所述将所述第一部分数据集数据进行数据集扩充获得第二部分数据集数据包括：S221，随机取窗：将所述第一部分数据集数据进行随机取窗获得所述第二部分数据集数据中的随机取窗样本数据，包括：在每一类动作序列内随机选取窗的起始点，并根据窗长确定终止点从而获得肌电时序窗；基于所述肌电时序窗将取绝对值后的归一化样本信息全部序列进行随机取窗获得所述第二部分数据集数据中的随机取窗样本数据；S222，时延信号增强：将所述第一部分数据集数据进行时延信号增强获得所述第二部分数据集数据中的时延信号增强样本数据，包括：随机选取S214的所述多个样本时序窗中其中一个样本时序窗的一段采样点并删除；选取所述其中一个样本时序窗的下一时刻与所删除的采样点点数相同的采样点放入窗尾，形成时延信号增强时序窗；基于所述时延信号增强时序窗将取绝对值后的归一化样本信息全部序列进行时延信号增强获得所述第二部
分数据集数据中的时延信号增强样本数据；S223，将所述第二部分数据集数据中的随机取窗样本数据和所述第二部分数据集数据中的时延信号增强样本数据合并获得第二部分数据集数据；将所述第一部分数据集数据与所述第二部分数据集数据合并形成样本数据集数据基于数据增强合并实现，从而有效扩充样本数据集数据量。6.根据权利要求5所述的一种基于多头再注意力机制的运动意图识别方法，其特征在于，所述S22仅包括执行所述S221随机取窗或所述S222所述时延信号增强，并据此选择不实施S223。7.根据权利要求4所述的一种基于多头再注意力机制的运动意图识别方法，其特征在于，所述双流Transformer编码器包括通道注意力模块、长序列切片变换模块、短序列切片变换模块、多头再注意力机制模块以及前馈神经网络模块；所述长短序列特征交叉注意力模块用于同时学习由长序列切片变换模块和短序列切片变换模块获得的长序列分支识别信息和短序列分支识别信息；所述多尺度特征融合模块用于将通过所述长短序列特征交叉注意力模块的所学习到的所述长序列分支识别信息和所述短序列分支识别信息进行融合后输出多尺度融合特征；所述运动意图分类模块：使用全连接对所述多尺度融合特征进行运动意图分类得到运动意图输出结果。8.根据权利要求7所述的一种基于多头再注意力机制的运动意图识别方法，其特征在于，建立所述双流Transformer编码器包括：S231，建立通道注意力模块，包括：根据样本信息的时序性特征以及多通道肌电信号的空间特征，计算各个通道之间的联系，学习空间分布中每个通道的信号特征对康复动作识别的重要性，并自适应调整各通道的识别权重，使经过所述通道注意力模块的样本时序窗形成通道注意力；S232，建立长序列切片变换模块和短序列切片变换模块，包括：将形成所述通道注意力的样本时序窗按照一定时间内的采样点数进行切片处理，分别形成较多采样点的长序列和较少采样点的短序列；将每个切片的所述长序列和所述短序列通过长序列切片模块和短序列切片模块分别变换为长序列切片一维向量和短序列切片一维向量；S233，建立多头再注意力机制模块，所述多头再注意力机制为在双流Transformer编码器中通过在多头注意力之间用一个带有可学习参数的变换矩阵以增加多头再注意力机制；S234，建立前馈神经网络，所述前馈神经网络由多个全连接层构成，所述前馈神经网络与所述多头再注意力机制模块之间设置第一残差连接和归一化模块；所述前馈神经网络与所述长短序列特征交叉注意力模块之间设置第二残差连接和归一化模块。9.根据权利要求8所述的一种基于多头再注意力机制的运动意图识别方法，其特征在于，所述多头再注意力机制用于对所述多头注意力矩阵MultiHead(Q'，K'，V')增设带有学习参数的变换矩阵，从而将多头注意力矩阵中的信息变换整合，收集互补信息，以构建深层网络；所述多头再注意力机制的数学表达如式(2)所示：
Re
‑
Attention(Q'，K'，V')＝Norm(θ
T
MultiHead(Q'，K'，V'))(2)；其中，MultiHead(Q'，K'，V')＝concat(head1，...，headh)；其中Re
‑
Attention为多头再注意力机制，Attention为单头注意力变换，Q
’
，K
’
，V
’
...

【专利技术属性】
技术研发人员：张文利，赵庭松，王宇飞，张健一，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：