一种手势多模态信息融合的理解与交互方法及其系统技术方案

本发明专利技术公开了一种手势多模态信息融合理解与交互方法及其系统，该方法是通过表面肌电与运动惯性传感器捕获自然手势交互中的手型、轨迹、力度等多元运动要素信息；利用有限状态机模型融合并识别上述的多元手势运动要素，结构化地理解手势所表达的含义，并且能够将上述识别的运动要素灵活地映射为多种时空交叠同步的控制指令，以实现多模态复杂的控制功能。本发明专利技术能智能理解自然手势运动表达的信息，从而实现在人机交互过程中对用户手势运动意图的准确理解与表达，为自然手势交互在实际应用中面临的难题和挑战提供了新的解决方法和思路。路。路。

【技术实现步骤摘要】
一种手势多模态信息融合的理解与交互方法及其系统


[0001]本专利技术涉及运动信息采集与处理和人机交互领域，尤其涉及一种基于多模态信息融合的手势运动意图理解与交互方法。

技术介绍

[0002]手势识别是通过对手势运动信息进行检测，辨识手势类别，理解手势动作意图的技术。手势识别结果可以转换成控制命令，实现对外围设备的操控，形成一种重要的人机交互接口。按照感知手势运动的方式，现有的手势识别与交互技术包括了基于计算机视觉的方法、基于电生理信息构建的人机接口、基于惯性及运动量传感器件解析运动等方法。近年来，通过可穿戴的设备感知和识别自然手势动作进行计算机的操作和内容输入得到了人机交互领域的广泛关注。其中，表面肌电传感器和运动惯性传感器因其小体积、低成本、高便携等优势，被越来越多的消费电子设备集成，或内嵌在手环、臂环等设备中，穿戴于手臂有效感知并用于识别手势动作。
[0003]基于肌电信号的手势识别，亦归属于肌电控制技术，涉及了微弱生理信号检测、处理和应用技术，是人机交互、康复训练和智能机器人控制等领域的前沿热点。惯性传感器是通过测量其自身运动的惯性物理量，如加速度、角度旋转，可进一步解析出姿态、朝向、位移等运动量，广泛应用于工业电子和消费电子的导航、定位等领域。
[0004]由于上述两类传感器感知手势动作的便利性和原理的互补性，近年来，学术界和工业界开展了许多基于惯性传感器和表面肌电信息融合的手势识别研究。这些研究大多以扩展可识别手势种类和提升识别准确率为导向，也取得了一定的成果。然而，在这些方法中，所涉及的手势动作多挑选手指、手腕、手臂相关关节的刻板运动，将其映射为对特定自由度、方向的控制，或被赋予独立的类别标签对其含义进行解释，导致实际的手势交互过程不够自然且控制功能单一，离智能理解自然手势运动表达的信息和意图的目标还远远不够，用户接受度低。实际上，自然手势依托不同的运动要素，能够表达的信息流畅且多样，甚至其内涵还依赖不同的情境。手势运动要素包括了相对静态的手型、手部姿态，以及动态的手型变化(包括力度)、姿态变化以及挥划的轨迹(包括速度)。自然手势交互需要对识别上述手势运动各要素，融合表达的含义，并理解运动意图，仍然是经典难题和重大挑战。

技术实现思路

[0005]本专利技术为解决当下自然手势交互技术的不足，提供一种手势多模态信息融合理解与交互方法及其系统，以期能智能理解自然手势运动表达的信息，从而实现在人机交互过程中对用户手势运动意图的准确理解与表达，为自然手势交互在实际应用中面临的难题和挑战提供新的解决方法和思路。
[0006]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0007]本专利技术一种手势多模态信息融合的理解与交互方法的特点在于，包括以下步骤：
[0008]步骤一、手势多模态信号的采集与预处理；
[0009]利用可穿戴臂环采集不同手势动作的表面肌电信号和运动传感器信号，并对所述表面肌电信号进行活动段的检测，得到手势的活动段信号；再根据所述活动段信号对所述表面肌电信号和运动传感器信号分别进行时间窗的划分，得到由表面肌电信号和运动传感器信号划分后共同组成的原始手势数据；其中，所述手势动作包括：N种静态手型、所述静态手型中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩、所述静态手型中的握拳手型在不同速度下的手臂持续挥划移动、以及所述静态手型中的食指伸展手型下的数字0
‑
9手写动作；
[0010]步骤二、多元手势运动要素的捕获；
[0011]步骤2.1、静态手型运动要素的捕获；
[0012]提取所述原始手势数据中的N种静态手型的表面肌电信号的时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个静态手型识别模型；
[0013]步骤2.2、肌肉持续收缩与力度变化运动要素的捕获；
[0014]计算所述原始手势数据中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩的表面肌电信号的肌电平均幅值以及平均功率；
[0015]根据所述肌电平均幅值，将肌肉状态划分为肌肉持续收缩状态和静息状态，并设置相应状态的阈值；
[0016]根据所述平均功率，将肌肉收缩力度划分为静息、轻度力、重度力三种状态，并设置每种力度状态的阈值；
[0017]步骤2.3、挥划轨迹与速度变化运动要素的捕获；
[0018]检测所述原始手势数据中的握拳手型在不同速度下的手臂持续挥划移动的运动传感器信号在时间窗内x轴和z轴的欧拉角变化，从而得到手臂的挥划方向；并根据欧拉角变化大小设置相应的挥划速度；
[0019]步骤2.4、手写数字运动要素的捕获；
[0020]提取所述原始手势数据中的食指伸展手型下的数字0
‑
9手写动作的表面肌电信号时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个手写数字识别模型；
[0021]步骤三、融合手势运动要素和交互指令的映射；
[0022]将N种静态手型映射为单次触发控制指令；
[0023]将伸腕、屈腕、伸掌、五指捏合手型及其力度变化和肌肉持续收缩运动要素进行融合后映射为比例控制指令和连续控制指令；
[0024]将握拳手型及其挥划轨迹和移动速度运动要素进行融合后映射为挥划跟踪控制指令；
[0025]将食指伸展手型及其手写数字运动要素进行融合后映射为手写数字输入指令；
[0026]步骤四、基于状态机对手势交互过程进行时序建模，所述状态机包含：待机状态、静息状态、持续收缩状态、挥划跟踪状态和手写数字输入状态；
[0027]步骤4.1、初始时，所述状态机处于待机状态，并拒绝识别手势；
[0028]步骤4.2、仅当检测到当前表面肌电信号的肌电平均幅值达到所设置肌肉持续收缩状态的阈值且达到重度力的时间持续一定时间时，所述状态机跳转至所述静息状态；
[0029]步骤4.3、在所述静息状态下，当检测到当前表面肌电信号的活动段时，分别利用
两个静态手型识别模型对当前表面肌电信号及运动传感器信号进行静态手型的识别，相应得到两个识别结果，并设置相应的权重因子后，得到静态手型识别结果；若检测当前肌肉状态在静息状态下持续一定时间，则所述状态机重新跳转至所述待机状态；
[0030]在所述静息状态下，当识别出的静态手型为桡偏、尺偏、伸腕、屈腕、张手、五指捏合的任意一种，则输出对应的单次触发控制指令；其中，当识别出的静态手型为桡偏、尺偏时，执行完相应指令后，跳转回所述静息状态；当识别出的静态手型为伸腕、屈腕、张手、五指捏合时，则执行完相应指令后，进行步骤4.4；
[0031]在所述静息状态下，当识别出的静态手型为握拳时，则所述状态机跳转至挥划跟踪状态，并进行步骤4.5；
[0032]在所述静息状态下，当识别出的静态手型为食指伸展时，则所述状态机跳转至手写数字输入状态，并进行步骤4.6；
[0033]步骤4.4、若检测到当前肌肉状态为肌肉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势多模态信息融合的理解与交互方法，其特征在于，包括以下步骤：步骤一、手势多模态信号的采集与预处理；利用可穿戴臂环采集不同手势动作的表面肌电信号和运动传感器信号，并对所述表面肌电信号进行活动段的检测，得到手势的活动段信号；再根据所述活动段信号对所述表面肌电信号和运动传感器信号分别进行时间窗的划分，得到由表面肌电信号和运动传感器信号划分后共同组成的原始手势数据；其中，所述手势动作包括：N种静态手型、所述静态手型中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩、所述静态手型中的握拳手型在不同速度下的手臂持续挥划移动、以及所述静态手型中的食指伸展手型下的数字0
‑
9手写动作；步骤二、多元手势运动要素的捕获；步骤2.1、静态手型运动要素的捕获；提取所述原始手势数据中的N种静态手型的表面肌电信号的时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个静态手型识别模型；步骤2.2、肌肉持续收缩与力度变化运动要素的捕获；计算所述原始手势数据中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩的表面肌电信号的肌电平均幅值以及平均功率；根据所述肌电平均幅值，将肌肉状态划分为肌肉持续收缩状态和静息状态，并设置相应状态的阈值；根据所述平均功率，将肌肉收缩力度划分为静息、轻度力、重度力三种状态，并设置每种力度状态的阈值；步骤2.3、挥划轨迹与速度变化运动要素的捕获；检测所述原始手势数据中的握拳手型在不同速度下的手臂持续挥划移动的运动传感器信号在时间窗内x轴和z轴的欧拉角变化，从而得到手臂的挥划方向；并根据欧拉角变化大小设置相应的挥划速度；步骤2.4、手写数字运动要素的捕获；提取所述原始手势数据中的食指伸展手型下的数字0
‑
9手写动作的表面肌电信号时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个手写数字识别模型；步骤三、融合手势运动要素和交互指令的映射；将N种静态手型映射为单次触发控制指令；将伸腕、屈腕、伸掌、五指捏合手型及其力度变化和肌肉持续收缩运动要素进行融合后映射为比例控制指令和连续控制指令；将握拳手型及其挥划轨迹和移动速度运动要素进行融合后映射为挥划跟踪控制指令；将食指伸展手型及其手写数字运动要素进行融合后映射为手写数字输入指令；步骤四、基于状态机对手势交互过程进行时序建模，所述状态机包含：待机状态、静息状态、持续收缩状态、挥划跟踪状态和手写数字输入状态；步骤4.1、初始时，所述状态机处于待机状态，并拒绝识别手势；步骤4.2、仅当检测到当前表面肌电信号的肌电平均幅值达到所设置肌肉持续收缩状态的阈值且达到重度力的时间持续一定时间时，所述状态机跳转至所述静息状态；
步骤4.3、在所述静息状态下，当检测到当前表面肌电信号的活动段时，分别利用两个静态手型识别模型对当前表面肌电信号及运动传感器信号进行静态手型的识别，相应得到两个识别结果，并设置相应的权重因子后，得到静态手型识别结果；若...

【专利技术属性】
技术研发人员：张旭，高歌，吴乐，陈香，陈勋，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：