一种基于瞬时肌电图像的手势识别方法技术

本发明专利技术公开了一种基于瞬时肌电信号的手势识别方法。在训练阶段，首先对阵列电极采集的瞬时肌电信号进行预处理，并将其按照电极位置排布成瞬时肌电图像；然后使用瞬时肌电图像及其对应的手势标签训练图像分类器，例如深度卷积神经网络，得到网络模型参数；在测试阶段，首先对阵列电极采集的待识别的瞬时肌电信号进行预处理，并将其按照电极位置排布成瞬时肌电图像；然后将训练好的模型参数带入到分类器中识别瞬时肌电信号对应的手势标签。本发明专利技术基于瞬时肌电图像和图像分类方法，可以快速准确地识别手势。国内外尚无文献使用瞬时肌电信号进行手势识别。

【技术实现步骤摘要】

本专利技术属于计算机与生物信号相结合领域，具体为使用以深度卷积神经网络为代表的图像分类器，对从瞬时肌电信号提取出的瞬时肌电图像所对应的手势进行识别。
技术介绍
随着计算机视觉、触摸交互、感知计算等新技术的迅猛发展，感知用户界面(perceptualuserinterface，PUI)成为了人机交互领域的研究重点之一。感知用户界面是一种人与人及人与现实世界之间的交互活动为原型的高度互动、多通道的用户界面，它的目标是使人机交互和人与现实世界的互动变得一致来达到直观、自然的交互境界。为了使计算机能够更好地判断和理解人类的交互意图，“生、机、电一体化”是未来人机交互发展的重要趋势之一，即通过特定的传感设备将生物体的认知或感知信号(如肌电信号)数字化，并与其他感知或认知通道的信号进行集成融合，自然、协同地完成各种人机交互任务。以往研究通常使用机器学习方法进行基于肌电信号的手势识别，即给定一段肌电信号，使用训练好的分类器进行分类，得到手势标签；该分类器是使用预先采集的肌电信号训练得到的。长期以来的相关研究一般认为瞬时的肌电信号充满随机噪声，因而不适合直接用于识别手势。传统方法一般以一段长度大于等于150毫秒的肌电信号为单位，提取多种特征形成特征向量，再使用支持向量机等分类器对特征向量进行分类，从而识别出一段肌电信号对应的手势。随着阵列肌电电极的出现，肌肉活动在皮肤表面形成的电势场在每个时刻的空间分布可以被记录下来。本专利技术使用阵列电极采集瞬时肌电信号，根据电极的空间排布将瞬时肌电信号转化为肌电图像，并使用图像分类器对肌电图像进行分类，从而识别瞬时肌电信号所表示的手势。肌电图像是上述电势场的一种空间采样，蕴含了肌肉活动在某一时刻的全局特征，可以快速(零观测时延)准确地识别手势。国内外尚无文献使用瞬时肌电信号进行手势识别。深度卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元。该模型通常用于图像分类。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于瞬时肌电信号的手势识别方法。本专利技术的目的是通过以下技术方案来实现的：一种基于瞬时肌电信号的手势识别方法，该方法包括以下步骤：(1)通过阵列电极采集瞬时肌电信号；(2)对阵列电极采集的瞬时肌电信号进行预处理，生成瞬时肌电图像，具体包含如下步骤：(2.1)将±2.5mV区间的瞬时肌电信号线性变换到0到255区间内；(2.2)将瞬时肌电信号按照电极的空间位置排布成瞬时肌电图像；(3)训练瞬时肌电图像分类器，得到分类器的模型参数；(4)使用步骤(3)中训练的瞬时肌电图像分类器识别手势，具体包含如下子步骤：(4.1)对阵列电极采集的待识别的瞬时肌电信号进行步骤(2)中的预处理，得到待处理的瞬时肌电图像；(4.2)将步骤(3)中训练得到的模型参数带入到瞬时肌电图像分类器中识别待处理的瞬时肌电图像对应的手势。进一步地，步骤(2.2)中，将每个时刻的瞬时肌电信号值按照阵列电极的空间位置排布成矩阵，形成瞬时肌电图像；瞬时肌电图像是单通道的灰度图像，其高度和宽度分别与阵列电极的行数和列数相等。进一步地，步骤(3)中采用卷积深度神经网络(DeepConvolutionalNetwork,ConvNets)作为瞬时肌电图像分类器，具体包含如下子步骤：(3.1)使用彩色图像上预训练的VGGNet初始化用于从瞬时肌电图像中分类手势的网络模型；(3.2)使用预先采集的多人的瞬时肌电信号经步骤(2)中的预处理，使用预处理得到的瞬时肌电图像及其对应的手势标签训练网络模型，得到网络模型参数。进一步地，步骤(3.1)中，使用彩色的自然图像预训练用于分类动物、车辆等自然物体的16层的VGGNet，然后使用该网络的前4个卷积层初始化以瞬时肌电图像为输入的，用于分类手势的网络模型；其中第一个卷积层的初始化方法是：将预训练的VGGNet的第一层的RGB3个通道的权重矩阵求和，并将结果作为新的网络模型的第一层的权重矩阵。本专利技术的有益效果是：在训练阶段，第一步，对阵列电极采集的瞬时肌电信号进行预处理，得到瞬时肌电图像；第二步，使用瞬时肌电图像及其对应的手势标签训练图像分类器，例如深度卷积神经网络，得到网络模型参数。在测试阶段，第一步，对阵列电极采集的待识别的瞬时肌电信号进行预处理，得到瞬时肌电图像；第二步，将训练好的网络模型参数带入到网络模型中识别每张瞬时肌电图像对应的手势。本专利技术基于瞬时肌电图像和图像分类方法，可以快速准确地识别手势。相较于传统方法，本专利技术在用户作出手势之后，能够以零观测时延快速地识别手势。附图说明图1为本专利技术所述方法流程图；图2为本专利技术实验使用的包含8种手部姿态的手势集；图3为本专利技术所使用的电极贴片示意图；图4为本专利技术所使用的深度卷积神经网络结构。具体实施方式下面结合附图和具体实施例对本专利技术作进一步详细说明。如图1所示，本专利技术提供的一种基于瞬时肌电信号的手势识别方法，包括以下步骤：(1)使用阵列电极采集瞬时肌电信号，以下给出一种采集瞬时肌电信号的优选实施例：(1.1)被试坐姿，右臂水平向前伸直，掌心朝正左方。(1.2)使用酒精清洁右前臂待贴电极的皮肤，待其晾干。(1.3)按照图3贴电极(小圆点表示阵列电极)，圆电极(参考电极)贴在手腕外侧正中间。(1.4)连接采集设备，采集瞬时肌电信号。(2)对阵列电极采集的瞬时肌电信号进行预处理，生成瞬时肌电图像，具体包含如下步骤：(2.1)将±2.5mV区间肌电信号线性变换到0到255区间内；(2.2)将每个时刻的瞬时肌电信号值按照阵列电极的空间位置排布成矩阵，形成瞬时肌电图像。瞬时肌电图像是单通道的灰度图像，其高度和宽度分别与阵列电极的行数和列数相等。(3)训练瞬时肌电图像分类器，下面以卷积深度神经网络为例：深度学习结构是一种含多隐层的多层感知器。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。本专利技术深度学习结构是从VGGNet网络结构上修改而来，这种修改使得VGGNet可以识别出瞬时肌电图像对应的手势，这种网络结构包含如下网络层：a)卷积层(Conv)：卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些本文档来自技高网...

【技术保护点】
一种基于瞬时肌电信号的手势识别方法，其特征在于，包括以下步骤：(1)通过阵列电极采集瞬时肌电信号；(2)对阵列电极采集的瞬时肌电信号进行预处理，生成瞬时肌电图像，具体包含如下步骤：(2.1)将±2.5mV区间的瞬时肌电信号线性变换到0到255区间内；(2.2)将瞬时肌电信号按照电极的空间位置排布成瞬时肌电图像；(3)训练瞬时肌电图像分类器，得到分类器的模型参数；(4)使用步骤(3)中训练的瞬时肌电图像分类器识别手势，具体包含如下子步骤：(4.1)对阵列电极采集的待识别的瞬时肌电信号进行步骤(2)中的预处理，得到待处理的瞬时肌电图像；(4.2)将步骤(3)中训练得到的模型参数带入到瞬时肌电图像分类器中识别待处理的瞬时肌电图像对应的手势。

【技术特征摘要】
1.一种基于瞬时肌电信号的手势识别方法，其特征在于，包括以下步骤：
(1)通过阵列电极采集瞬时肌电信号；
(2)对阵列电极采集的瞬时肌电信号进行预处理，生成瞬时肌电图像，具
体包含如下步骤：
(2.1)将±2.5mV区间的瞬时肌电信号线性变换到0到255区间内；
(2.2)将瞬时肌电信号按照电极的空间位置排布成瞬时肌电图像；
(3)训练瞬时肌电图像分类器，得到分类器的模型参数；
(4)使用步骤(3)中训练的瞬时肌电图像分类器识别手势，具体包含如
下子步骤：
(4.1)对阵列电极采集的待识别的瞬时肌电信号进行步骤(2)中的预处
理，得到待处理的瞬时肌电图像；
(4.2)将步骤(3)中训练得到的模型参数带入到瞬时肌电图像分类器中
识别待处理的瞬时肌电图像对应的手势。
2.根据权利要求1所述的一种基于瞬时肌电信号的手势识别方法，其特征在于，
步骤(2.2)中，将每个时刻的瞬时肌电信号值按照阵列电极的空间位置排布成
矩阵，形成瞬时肌电图像；瞬时肌电图像是单通道的灰度图像，其高度和宽度
分...

【专利技术属性】
技术研发人员：耿卫东，杜宇，李嘉俊，卫文韬，胡钰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33