一种基于多任务学习Transformer的肌电控制方法技术

本发明专利技术涉及一种基于多任务学习Transformer的肌电控制方法，其特征在于，包括以下步骤：步骤一：采集表面肌电信号并提取包络，将肌电信号和包络信号拼接形成融合样本，对每位用户划分训练集和测试集；步骤二：构建一个基于Transformer的多任务学习模型；步骤三：利用训练集数据训练深度网络模型；步骤四：将测试集数据输入到训练好的网络模型中，同时得到手势识别和肌力估计结果。其能利用手势识别和肌力估计相关任务的关联性，实现高精度的手势识别和肌力估计。手势识别和肌力估计。手势识别和肌力估计。

【技术实现步骤摘要】
一种基于多任务学习Transformer的肌电控制方法


[0001]本专利技术涉及肌电信号处理
，尤其是涉及一种基于多任务学习Transformer的肌电控制方法。

技术介绍

[0002]肌电控制是一种利用肌电(electromyography,EMG)信号将人的运动意图转换为机器指令的技术，以实现对周边电子设备的控制，已被广泛应用于肌电手环、外骨骼机器人和康复假肢等领域。由于非侵入性和易于使用的优点，表面肌电(surface EMG,sEMG)通常被用作肌电控制系统的指令源。
[0003]近年来，肌电控制方面的大量工作致力于从sEMG信号中准确解释运动模式，即提高可识别模式的数量和识别精度，并取得了显著成效。然而，由于肌肉力量非平稳时sEMG信号的特征空间的变化，会导致模式识别性能的下降，这些研究都是在平稳的中等力水平下进行的，模式识别算法的性能在不同肌力水平上的适用性没有得到验证。这在肌电控制系统的实际应用中对用户的操作规范性提出了更高的要求，使得用户体验不佳。针对这个问题，一些研究试图克服在不同力级情况下识别性能的下降，即通过在训练集中加入包含各种力级的数据，或通过提取对力不敏感的sEMG特征，来克服可能由可变收缩力引起的特征空间的变化，从而提高分类算法的通用性。
[0004]然而，这些方法仍然忽略了力度信息在实际应用中的必要性。例如，当用假肢抓取物体时，根据环境的需要，既要采取合适的模式，又要采用合适的力度，从而达到自然流畅的控制，这促使了人们研究同时实现手势识别和肌肉力量估计的同步任务。
[0005]手势识别通常是同步控制中更重要的问题，只有当手势类别被正确识别时，对肌肉力量的预测才有意义。同时，同步控制任务的主要困难还在于克服变力影响下特征空间的变化可能造成的分类精度下降问题。对于同时进行手势识别和肌肉力量估计的任务，很自然地考虑到多任务学习(multi
‑
task learning,MTL)框架。MTL方法旨在同步学习多个相关任务，与独立学习单个任务相比，它可以通过共享不同任务的特征表示来提高模型的泛化能力。
[0006]有的研究学者使用基于卷积神经网络(convolutional neural network,CNN)的MTL框架，同时输出八个运动模式和相应的三个力水平的预测值。这种方法只估计了三个固定的肌力等级，在实际使用中存在一定的局限性。有的研究学者等人提出了一个基于长短期记忆(long
‑
short term memory,LSTM)网络和多层感知器(the multilayer perceptron,MLP)的MTL框架，其中包含了一个后处理算法方法用于模式识别。该方法支持11个手势的同步识别和瞬时力的估计，然而，后处理算法会导致很大的时间延迟，这不利于肌电控制系统的实时使用。此外，这些方法的识别精度仍然不太令人满意，需要进一步提升。

技术实现思路

[0007]针对现有技术存在的不足，本专利技术的目的是提供一种基于多任务学习Transformer的肌电控制方法，其能利用手势识别和肌力估计相关任务的关联性，实现高精度的手势识别和肌力估计。
[0008]本专利技术的上述专利技术目的是通过以下技术方案得以实现的：
[0009]一种基于多任务学习Transformer的肌电控制方法，包括以下步骤：
[0010]步骤一：采集表面肌电信号并提取包络，将肌电信号和包络信号拼接形成融合样本，对每位用户划分训练集和测试集；
[0011]步骤二：构建一个基于Transformer的多任务学习模型；
[0012]步骤三：利用训练集数据训练深度网络模型；
[0013]步骤四：将测试集数据输入到训练好的网络模型中，同时得到手势识别和肌力估计结果。
[0014]本专利技术在一较佳示例中可以进一步配置为：在所述步骤一中，利用肌电测量设备和电极在前臂肌肉处采集d个用户执行K种手势动作的表面肌电信号数据，并利用力传感器采集执行手势动作时的力信号和最大自主收缩力；利用肌电信号的最大绝对值对其进行归一化，利用MVC值对实测力信号进行归一化；
[0015]提取肌电信号包络并和原始肌电肌电信号进行拼接得到融合样本，并进行分窗处理从而得到O个肌电信号融合样本，窗长为L个采样点，步进为s；构建有标签的数据，记为：
[0016][0017]其中，表示第i个肌电信号融合样本，表示第i个肌电信号融合样本的模式标签，且属于{1,2,
…
c,
…
,C}，c表示模式标签的任意一个类别；C表示模式标签的类别数；表示第i个肌电信号融合样本的力度标签，每个受试者的每个手势类别按照3：7的比例划分训练数据D
train
和测试数据D
test
。
[0018]本专利技术在一较佳示例中可以进一步配置为：在所述步骤二中，所述多任务学习模型包括：一层全连接层，一层ReLU非线性激活层，一个多头注意力模块，一层归一化层，一个前馈模块，一层归一化层，一个分类模块和一个回归模块；
[0019]所述多头注意力模块由N个头组成，每个头包含Q，K，V三个矩阵；
[0020]所述前馈模块包含两层全连接层，一层ReLU非线性激活层和一层归一化层；
[0021]所述分类模块包含一层时域平均池化层，一层全连接层和一层softmax激活层；
[0022]所述回归模块包含一层全连接层和一层sigmoid激活层。
[0023]本专利技术在一较佳示例中可以进一步配置为：在所述步骤三中，利用带标签的训练数据D
train
训练模型：
[0024]将训练数据D
train
按批尺寸B分批，其中任意一批处理数据记为X
B
×
L
×
M
；其中，L是信号窗长，M是融合样本的通道数目；
[0025]将一批处理数据X
B
×
L
×
M
送入模型中，首先通过第一层全连接层和ReLU激活层得到P个通道的映射特征F
B
×
L
×
P
：
[0026]F
B
×
L
×
P
＝Max(X
B
×
L
×
M
W
M
×
P
+b
P
,0)，
ꢀꢀ
(2)
[0027][0028][0029][0030]H
B
×
L
×
(N
×
64)
＝Concat(H1,
…
,H
N
).
ꢀꢀ
(6)
[0031]将F
B
×
L
×
P
送入多头注意力模块，具体的，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习Transformer的肌电控制方法，其特征在于，包括以下步骤：步骤一：采集表面肌电信号并提取包络，将肌电信号和包络信号拼接形成融合样本，对每位用户划分训练集和测试集；步骤二：构建一个基于Transformer的多任务学习模型；步骤三：利用训练集数据训练深度网络模型；步骤四：将测试集数据输入到训练好的网络模型中，同时得到手势识别和肌力估计结果。2.根据权利要求1所述的一种基于多任务学习Transformer的肌电控制方法，其特征在于，在所述步骤一中，利用肌电测量设备和电极在前臂肌肉处采集d个用户执行K种手势动作的表面肌电信号数据，并利用力传感器采集执行手势动作时的力信号和最大自主收缩力；利用肌电信号的最大绝对值对其进行归一化，利用MVC值对实测力信号进行归一化；提取肌电信号包络并和原始肌电肌电信号进行拼接得到融合样本，并进行分窗处理从而得到O个肌电信号融合样本，窗长为L个采样点，步进为s；构建有标签的数据，记为：其中，表示第i个肌电信号融合样本，表示第i个肌电信号融合样本的模式标签，且属于{1,2,
…
c,
…
,C}，c表示模式标签的任意一个类别；C表示模式标签的类别数；表示第i个肌电信号融合样本的力度标签，每个受试者的每个手势类别按照3：7的比例划分训练数据D
trai
n和测试数据D
test
。3.根据权利要求1所述的一种基于多任务学习Transformer的肌电控制方法，其特征在于，在所述步骤二中，所述多任务学习模型包括：一层全连接层，一层ReLU非线性激活层，一个多头注意力模块，一层归一化层，一个前馈模块，一层归一化层，一个分类模块和一个回归模块；所述多头注意力模块由N个头组成，每个头包含Q，K，V三个矩阵；所述前馈模块包含两层全连接层，一层ReLU非线性激活层和一层归一化层；所述分类模块包含一层时域平均池化层，一层全连接层和一层softmax激活层；所述回归模块包含一层全连接层和一层sigmoid激活层。4.根据权利要求1所述的一种基于多任务学习Transformer的肌电控制方法，其特征在于，在所述步骤三中，利用带标签的训练数据D
train
训练模型：将训练数据D
train
按批尺寸B分批，其中任意一批处理数据记为X
B
×
L
×
M
；其中，L是信号窗长，M是融合样本的通道数目；将一批处理数据X
B
×
L
×
M
送入模型中，首先通过第一层全连接层和ReLU激活层得到P个通道的映射特征F
B
×
L
×
P
：
H
B
×
L
×<...

【专利技术属性】
技术研发人员：陈璋，
申请(专利权)人：飞矩科技上海有限公司，
类型：发明
国别省市：