一种基于数据手套的动态手势识别方法及系统技术方案

本发明专利技术提供了一种基于数据手套的动态手势识别方法及系统，涉及信号处理与模式识别技术领域，本方法包括步骤S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1

【技术实现步骤摘要】
一种基于数据手套的动态手势识别方法及系统


[0001]本专利技术涉及信号处理与模式识别
，具体而言，涉及一种基于数据手套的动态手势识别方法及系统。

技术介绍

[0002]随着信息技术的发展，手势识别技术已经逐渐由人工识别变更为机器智能识别，并且在AR/VR，智能家居等专利技术有着重要意义。目前的手势识别技术主要分为基于视觉的识别技术、基于肌电传感器的识别技术和基于惯性传感系统的识别技术。三种技术由于其不同的应用场景各有特点，视觉识别技术主要依靠光学传感器手势图像，经过特征提取、融合后利用分类算法进行手势识别，它的缺点是十分依赖光学图像清晰度以及环境复杂度，在很多情况复杂场景下性能不够优良；肌电传感信号识别技术主要通过肌电传感器检测肌肉活动，提取特征后进行识别，它的缺陷是会对佩戴者的动作产生一定制约；而惯性传感器识别技术是可穿戴计算的重要研究方向，它不依赖于限定环境，主要依靠IMU捕捉人体和手势动作，通过姿态解算等方法提取特征，利用机器学习方法SVM等进行模式分类，它比较受限于传感器精度，而且惯性传感器难以安置在手部，且多个IMU(惯性测量单元)的安置给手部灵活性带来挑战。

技术实现思路

[0003]本专利技术解决的问题是如何对受试者佩戴数据手套时的手势动作进行准确的实时识别。
[0004]为解决上述问题，本专利技术提供一种基于数据手套的动态手势识别方法，包括步骤：
[0005]S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1
‑
2s，并进行记录和保存；
[0006]S2：对采集到的传感数据信息进行手势识别模型的训练，采用MS
‑
1D
‑
CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；
[0007]S3：利用多段阈值检测流程分析手势起始结束位置点；
[0008]S4：将训练完成的手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。
[0009]在上述方法中，获取数据手套的传感数据，受试者穿戴数据手套，做出相应手势动作，程序采样数据点和标注动作类型；每个手势动作中选取30
‑
60个数据点。对原始数据进行预处理，包括滤波去噪、数据切片与归一化等；对大量手势传感数据进行数据分析，设计动态手势识别算法，采用多流MS
‑
1D
‑
CNN神经网络训练动态手势；选择在验证集上具有最高识别率的训练模型应用于实时识别阶段。本专利技术识别方法能够对受试者佩戴数据手套时的手势动作进行准确的实时识别，且该方法具有识别率高，分析速度快的优点，能够将其推广应用到各种场景中。
[0010]进一步地，所述步骤S1中的数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；
[0011]上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；
[0012]在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。
[0013]进一步地，所述步骤S2包括：
[0014]S21：将步骤S1中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；
[0015]S22：使用动态手势数据集，设计Multi
‑
Stream 1D
‑
CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；
[0016]S23：将处理后的动态手势数据样本的测试集输入到Multi
‑
Stream1D
‑
CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。
[0017]进一步地，所述步骤S3中阈值检测流程包括：
[0018]S31：通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；
[0019]S32：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；
[0020]S33：读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。
[0021]一种基于数据手套的动态手势识别系统，包括：
[0022]数据采集模块：用于获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1
‑
2s，并进行记录和保存；
[0023]训练模块：用于对采集到的传感数据信息进行手势识别模型的训练，采用MS
‑
1D
‑
CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；
[0024]分析模块：用于利用多段阈值检测流程分析手势起始结束位置点；
[0025]动作识别模块：用于将训练完成的两种手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。
[0026]进一步地，数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；
[0027]上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；
[0028]在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。
[0029]进一步地，训练模块包括：
[0030]划分单元：用于将数据采集模块中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；
[0031]特征提取单元：使用动态手势数据集，设计Multi
‑
Stream 1D
‑
CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；
[0032]测试单元：用于将处理后的动态手势数据样本的测试集输入到Multi
‑
Stream 1D
‑
CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。
[0033]进一步地，分析模块包括：
[0034]分割单元：用于通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；
[0035]第一判断单元：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；
[0036]第二判断单元：用于读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据手套的动态手势识别方法，其特征在于，包括步骤：S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1
‑
2s，并进行记录和保存；S2：对采集到的传感数据信息进行手势识别模型的训练，采用MS
‑
1D
‑
CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；S3：利用多段阈值检测流程分析手势起始结束位置点；S4：将训练完成的手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。2.根据权利要求1所述的基于数据手套的动态手势识别方法，其特征在于，所述步骤S1中的数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。3.根据权利要求2所述的基于数据手套的动态手势识别方法，其特征在于，所述步骤S2包括：S21：将步骤S1中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；S22：使用动态手势数据集，设计Multi
‑
Stream1D
‑
CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；S23：将处理后的动态手势数据样本的测试集输入到Multi
‑
Stream1D
‑
CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。4.根据权利要求1所述的基于数据手套的动态手势识别方法，其特征在于，所述步骤S3中阈值检测流程包括：S31：通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；S32：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；S33：读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。5.一种基于数据手套的动态...

【专利技术属性】
技术研发人员：尚杰，胡振宇，王璕，陶烨豪，方建波，李润伟，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：