【技术实现步骤摘要】
本专利技术涉及手势识别，特别是涉及一种基于多模态手势动作识别信号控制的工业agv及方法。
技术介绍
1、表面肌电信号(surface electromyography，semg)已经广泛应用于医学领域及残疾人康复领域研究。市面上衍生出直接佩戴在前臂、能够较为精准地识别多通道表面肌电信号及原始惯性测量单元(inertial measurementunit，imu)信号的肌电臂环设备。然而此类设备的研究与应用多数局限在只针对残疾人的手势识别、信号采集、屏幕控制等领域，而忽视了肌电臂环在可穿戴便捷性、操作可学习性、简易度和单手操作方面相较于传统控制方式的优势。以表面肌电信号为主的多模态信号控制可移动设备的控制系统研究尚未完善。
技术实现思路
1、本专利技术的目的是提供一种基于多模态手势动作识别信号控制的工业agv及方法，可实现手势识别操控、单手简易操控。
2、为实现上述目的，本专利技术提供了如下方案：
3、第一方面，本专利技术提供了一种基于多模态手势动作识别信号控制的工业agv，所述基于多模态手势动作识别信号控制的工业agv包括：肌电臂环、控制模块、蓝牙远程控制组件和动作模块。
4、所述肌电臂环，用于采集多模态手势信号，并将所述多模态手势信号发送到所述蓝牙远程控制组件；所述多模态手势信号包括：表面肌电信号和imu信号。
5、所述控制模块，包括训练程序和控制程序；所述训练程序包括：肌电臂环信号采集程序和模型训练程序；所述肌电臂环信号采集程序用
6、可选地，所述控制模块包括：控制单片机和上位机；所述控制单片机包括：上位机控制程序和独立控制程序。
7、所述上位机控制程序用于通过所述蓝牙远程控制组件被动接收所述上位机传输的控制信号。
8、所述独立控制程序用于根据所述多模态手势信号识别手势动作，并根据所述手势动作控制所述动作模块完成动作。
9、可选地，所述模型训练程序用于对机器学习模型进行训练，得到手势识别模型，具体包括：
10、获取训练集；所述训练集包括：不同预设动作和不同预设动作对应的预设多模态手势信号。
11、以预设多模态手势信号为输入，以预设多模态手势信号对应的预设动作为输出，对机器学习模型进行训练，得到手势识别模型。
12、可选地，获取训练集，具体包括：
13、依照不同预设动作分别进行数据采集，得到若干个预设多模态手势信号。
14、对每一所述预设多模态手势信号进行归一化处理和格式处理，得到若干个处理后的预设多模态手势信号。
15、将不同预设动作和不同预设动作对应的处理后的预设多模态手势信号作为训练集。
16、可选地，所述手势识别程序用于根据所述肌电臂环信号识别手势动作，具体包括：
17、输出若干组手势识别标签并进行缓存；
18、将缓存中大于或等于预设阈值的标签作为最终识别出的手势动作。
19、第二方面，本专利技术提供了一种基于多模态手势动作识别信号控制方法，所述基于多模态手势动作识别信号控制方法包括：
20、获取待测多模态手势信号；所述待测多模态手势信号包括：表面肌电信号和imu信号。
21、将所述待测多模态手势信号输入所述手势识别模型，得到手势动作；所述手势识别模型为机器学习模型。
22、基于所述手势动作，控制动作模块完成动作。
23、可选地，所述手势识别模型的确定方法，具体包括：
24、获取训练集；所述训练集包括：不同预设动作和不同预设动作对应的预设多模态手势信号。
25、以预设多模态手势信号为输入，以预设多模态手势信号对应的预设动作为输出，对机器学习模型进行训练，得到手势识别模型。
26、可选地，获取训练集，具体包括：
27、依照不同预设动作分别进行数据采集，得到若干个预设多模态手势信号。
28、对每一所述预设多模态手势信号进行归一化处理和格式处理，得到若干个处理后的预设多模态手势信号。
29、将不同预设动作和不同预设动作对应的处理后的预设多模态手势信号作为训练集。
30、可选地，将所述待测多模态手势信号输入所述手势识别模型，得到手势动作，具体包括：
31、将所述待测多模态手势信号输入所述手势识别模型，输出若干组手势识别标签并进行缓存。
32、将缓存中大于或等于预设阈值的标签作为最终识别出的手势动作。
33、可选地，不同手势动作与所述动作模块的不同动作具有一一对应关系。
34、根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
35、本专利技术提供了一种基于多模态手势动作识别信号控制的工业agv及方法，所述基于多模态手势动作识别信号控制的工业agv包括：肌电臂环、控制模块、蓝牙远程控制组件和动作模块；所述肌电臂环，用于采集多模态手势信号，并将所述多模态手势信号发送到所述蓝牙远程控制组件；所述控制模块，包括训练程序和控制程序；所述训练程序包括：肌电臂环信号采集程序和模型训练程序；所述控制程序包括：肌电臂环信号接收程序、手势识别程序和电机控制程序；肌电臂环采集多模态手势信号发送到蓝牙远程控制组件，并由控制模块处理信号及识别手势动作；动作模块根据手势识别程序识别出的不同手势动作，进行动作。本专利技术利用多模态手势信号控制工业agv设备具有操作方式简易、培训成本低，控制设备轻便，以及具有单手操作、手部残疾可操作的优势。
本文档来自技高网...【技术保护点】
1.一种基于多模态手势动作识别信号控制的工业AGV，其特征在于，所述基于多模态手势动作识别信号控制的工业AGV包括：肌电臂环、控制模块、蓝牙远程控制组件和动作模块；
2.根据权利要求1所述的基于多模态手势动作识别信号控制的工业AGV，其特征在于，所述控制模块包括：控制单片机和上位机；所述控制单片机包括：上位机控制程序和独立控制程序；
3.根据权利要求1所述的基于多模态手势动作识别信号控制的工业AGV，其特征在于，所述模型训练程序用于对机器学习模型进行训练，得到手势识别模型，具体包括：
4.根据权利要求3所述的基于多模态手势动作识别信号控制的工业AGV，其特征在于，获取训练集，具体包括：
5.根据权利要求1所述的基于多模态手势动作识别信号控制的工业AGV，其特征在于，所述手势识别程序用于根据所述肌电臂环信号识别手势动作，具体包括：
6.一种基于多模态手势动作识别信号控制方法，其特征在于，所述基于多模态手势动作识别信号控制方法包括：
7.根据权利要求6所述的基于多模态手势动作识别信号控制方法，其特征在于，所述手势
8.根据权利要求7所述的基于多模态手势动作识别信号控制方法，其特征在于，获取训练集，具体包括：
9.根据权利要求6所述的基于多模态手势动作识别信号控制方法，其特征在于，将所述待测多模态手势信号输入所述手势识别模型，得到手势动作，具体包括：
10.根据权利要求6所述的基于多模态手势动作识别信号控制方法，其特征在于，不同手势动作与所述动作模块的不同动作具有一一对应关系。
...【技术特征摘要】
1.一种基于多模态手势动作识别信号控制的工业agv，其特征在于，所述基于多模态手势动作识别信号控制的工业agv包括：肌电臂环、控制模块、蓝牙远程控制组件和动作模块；
2.根据权利要求1所述的基于多模态手势动作识别信号控制的工业agv，其特征在于，所述控制模块包括：控制单片机和上位机；所述控制单片机包括：上位机控制程序和独立控制程序；
3.根据权利要求1所述的基于多模态手势动作识别信号控制的工业agv，其特征在于，所述模型训练程序用于对机器学习模型进行训练，得到手势识别模型，具体包括：
4.根据权利要求3所述的基于多模态手势动作识别信号控制的工业agv，其特征在于，获取训练集，具体包括：
5.根据权利要求1所述的基于多模态手势动作识别信号控制的工业agv，其特征...
【专利技术属性】
技术研发人员：卫文韬，孔一超，周明，马昭懿，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。