基于手势识别的机械臂控制方法及系统技术方案

本发明专利技术涉及一种基于手势识别控制机械臂运动的方法及控制系统。上述控制方法包括：S1：采集操作者手部运动数据，对采集到的数据进行特征提取。S2：将提取得特征与预先设定的开始条件进行对比，满足条件进行S4，不满足进行S3。S3：判断用户错误操作类型，并给出相应提示，进入步骤S2。S4：通过预先设定的映射关系将人手与机械手进行绑定，开始对机械手的操作。通过上述技术方案，可以构建通过手势识别控制机械臂运动的控制系统，并提高操纵的简便性与舒适性，保证操纵的连贯性和稳定性。

【技术实现步骤摘要】

本专利技术涉及一种非接触方法控制机械手装置，尤其涉及一种通过非接触手势识别设备采集人的手势意图并将该意图与机械手进行绑定从而对机械手进行控制的装置，它采用了一种手势识别设备对手的动作数据进行捕捉从而了解人的意图，属于机械臂控制

技术介绍
由于作业环境复杂，控制系统信息处理能力有限，目前对机械臂的操作主要依靠操纵者手动进行操作控制。传统机械臂控制是为了完成给定的动作，对机械臂运动轨迹进行规划，通过对各个关节轴角度的控制完成预期的运动。传统的机械臂控制方式主要有两种，一种是在控制面板上使用摇杆及按键结合对机械臂进行控制。另一种是在计算机软件界面上使用按钮、数值输入框、虚拟摇杆或外接摇杆对机械臂进行控制。因此，传统操作更多的使操作者关注中间参数的调整，而不是最终目标的实现上。即便有些采取先确定最终目标的方法，也因操作设备的二维属性，无法现实真正的三维交互操作。传统的控制方法都是先将最终要实现的三维操作目的先降为二维操作，然后再通过变换还原回三维操作。因此，传统操作多自由度机械臂的控制方法，操作复杂，不能直接映射三维操作，采用接触式操作不便于随时随意操作。一般手势识别设备主要用于采集手势信息，进而转换为指令，用于UI输入的接口等，并没有一套完整包含人手运动到机械臂运动的关系映射，以及适用于机械臂控制的手势控制方法。
技术实现思路
1、专利技术目的：本专利技术的目的在于提供一种通过非接触式手势识别设备捕捉操作者手势从而对多自由度机械臂进行控制的系统，主要通过非接触式手势识别设备捕捉用户手的运动轨迹，将用户自然手势数据化，将数据手的运动方式通过一种映射关系映射为多自由度机械臂个关节处运动状态，从而实现用户以非接触方式对多自由度机械臂进行操作，让操纵者更便捷、更自然的对机械臂进行操纵，改善用户的操作体验。2、技术方案：本专利技术的技术解决问题：针对现有机械臂终端控制器体积较大、操作复杂(多摇杆，多按钮，人们学习和记住按钮功能需要较长时间)。提供一种基于手势的机械臂控制系统。该系统可以简化操作终端设备，使之便于携带；利用手势映射来控制机械臂，简化操作，更符合人们的自然操作习惯，使操作更便捷。本控制系统具体技术方案包括：S1：采集操作者手部运动数据，对采集到的数据进行特征提取。S2：判断体感设备采集的数据是否满足预先设定的机械臂开始控制条件。若满足则转到S执行，若不满足转到S执行。S3：对用户的错误类型进行分析，并提示解决办法。S4：将人手的运动轨迹通过一种映射关系与机械臂进行绑定。开始对机械臂进行操控。优选地，所述步骤S1包括：通过手势识别设备对操作者手部数据进行实时提取。优选地，所述步骤S1包括：S11，以帧数据的形式输入采集得到数据。优选地，所述步骤S1之前还包括：S21，将表示开始确认开始的手势保存到数据库中以便和采集的到的数据进行对比。优选地，所述步骤S1中，手部运动数据帧进行提取，得到数据包括：px、py、pz、PNx、PNy、PNz、PV、Dir、Gs，其中px、py、pz分别表示手掌在采集区域空间中的位置；PNx、PNy、PNz分别表示手掌平面的法向量(反向指向手掌内侧)沿X轴、Y轴、Z轴的分向量；PV表示手掌移动速度；Dir表示手掌姿态欧拉角向量；Gs表示手掌握紧程度。优选地，所述步骤S2包括：判断采集区域内手的数量为1是否成立；若成立，则进一步判断该手是否已经做出准备开始操作的手势，若仍然成立，则判断满足开始条件，进入所述步骤S4。若不成了，则判断不满足开始条件，进入所述步骤S3。优选地，所述步骤S3包括：对不符合开始条件的情况分类，并分析可能的干扰情况，根据干扰情况给操纵者提示相应的解决办法。优选地，所述步骤S3还包括：S31：判断采集区域内手的数量为1是否成立；若不成了，且采集区域内手的数量大于1，代表屏幕内出现多于一只的手，此时提示用户“采集区内有非操作手干扰”。优选地，所述步骤S3还包括：S32：判断采集器是否有污迹，若判断成立，则提示用户采集器有污迹，请清洁采集器。优选地，所述步骤S4之前还包括：对所述特征参数进行帧间差值处理。优选地，所述步骤S4之前还包括：对所述特征参数进行有效性滤波处理。优选地，所述步骤S4包括：将采集得到的人手数据px、py、pz、PNx、PNy、PNz、PV、Dir、Gs通过一种运动学映射算法得到机械臂手部参数mx、my、mz、MNx、MNy、MNz、MV、MDir、MGs，其中mx、my、mz代表机械臂手部在机械臂坐标内的位置；MNx、MNy、MNz代表机械臂手部平面法向量；MV代表机械臂手部运动速度；MDir代表机械臂手部姿态欧拉角向量；MGs代表机械臂手部展开程度。优选地，所述步骤S4还包括：采用一种逆运动学算法根据人手位置反向推导机械臂各个关节角度，从而对机械臂进行控制。本专利技术还提出一套基于手势手势识别的机械臂控制系统，包括：可对人手数据进行采集的体感设备，用于采集现实手在运动过程中的数据；逻辑控制器，用于对体感设备采集到手的数据信息进行分析及处理，包括特征提取，手部运动跟踪，存储相应的手势设置及进行逻辑判断，同时负责将人手的运动映射为机械臂的运动；机械臂控制器，将逻辑控制器发送的控制命令转换为机械臂可执行的指令，利用转换后的指命令对机械臂进行控制。通过采用本专利技术提所公开的技术方案，能够构建适用于任何能够进行人手识别的体感设备的多自由度机械臂控制系统，并提高操控的简便性及准确率。3、本专利技术“”，其优点如下：(1).本专利技术将采集的人手运动数据通过映射关系与机械臂进行绑定，以一种更自然的方式对机械臂进行控制，避免了繁杂的机械臂操作说明学习过程。(2).改变了传统控制器多按钮、多操纵杆的操纵方法，简化控制器，降低控制器成本与体积。总之，相对于传统机械臂的操作装置包含操作摇杆、控制按键与显示设备等部件。本系统采用优选的体感设备体积小、重量轻便于操作人员携带和运输。且本专利技术技术方案中利用体感设备对移动机器人进行交互控制，可以省去控制盒上控制摇杆等部件，简化了操作器的组成，同时由于采用机械手与人手的映射式控制，操作者几乎自然的会使用机械手，除了开始和结束动作，整个操作过程几乎不需要学习。附图说明通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：图1表示了根据本专利技术一个实例的手势控制机械臂的流程图；图2表示了根据本专利技术一个实例的控制系统框图；图3表示了根据本专利技术一个实例的开始和结束手势的示意图。具体实施方式下面通过具体实施例结合所选用的具体硬件载体并结合附图对本专利技术作进一步详细说明：图1表示了根据本专利技术的一个实例的基于手势识别控制机械臂方法的流程图。如图1所示，根据本专利技术一个实施例的机械臂的控制系统方法包括：S1：采取操作者手部运动数据，对采集得到的数据进行特征提取S2：判断是否满足预先设定的机械臂开始控制条件。若满足，则转到步骤S4开始执行；若不满足，则转到S3开始执行。S3：提示用户错误类型，并提示解决办法。转到S2继续执行。S4：通过预先设定的映射关系将人手与机械手进行绑定。开始操控机械手。通过对操作者手部进行识别，判断用户是否准备开始操纵机械手，若是，提取人手特征将人手数据以某种映射方式与机械手进行绑本文档来自技高网...

【技术保护点】
一种基于手势识别的机械臂控制方法，其特征在于：S1：采取操作者手部运动数据，对采集得到的数据进行特征提取S2：判断是否满足预先设定的机械臂开始控制条件。若满足，则转到步骤S4开始执行；若不满足，则转到S3开始执行。S3：提示用户错误类型，并提示解决办法。转到S2继续执行。S4：通过预先设定的映射关系将人手与机械手进行绑定。开始操控机械手。

【技术特征摘要】
1.一种基于手势识别的机械臂控制方法，其特征在于：S1：采取操作者手部运动数据，对采集得到的数据进行特征提取S2：判断是否满足预先设定的机械臂开始控制条件。若满足，则转到步骤S4开始执行；若不满足，则转到S3开始执行。S3：提示用户错误类型，并提示解决办法。转到S2继续执行。S4：通过预先设定的映射关系将人手与机械手进行绑定。开始操控机械手。2.根据权利要求1所述的机械臂控制方法，其特征在于，所述步骤S1中手部运动数据，其特征参数为：px、py、pz、PNx、PNy、PNz、PV、Dir、Gs，其中，px、py、pz表示人手在手势识别设备坐标系下的坐标；PNx、PNy、PNz表示人手法向量沿x、y、z轴的分向量；PV表示人手移动速度；Dir表示人手部姿态欧拉角向量(描述手部坐标系相对于手势识别设备坐标系的姿态)；Gs表示手掌的展开程度。3.根据权利要求1所述的机械臂控制方法，其特征在于，所述步骤S2包括：是否满足采集区内只有一只手，并且，做出相应的开始手势。若满足，则进入步骤S4开始执行；若不满足，则进入步骤S3开始执行。4.根据权利要求1所述的机械臂控制方法，其特征在于，所述步骤S3还包括：对产生的错误类型进行判断，并给用户相应提示。判断采集区内是否有多余的手干扰，若判断成立，提示用...

【专利技术属性】
技术研发人员：肖立峰，彭金豹，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11