基于移动跟踪的三维手势识别方法技术

本发明专利技术提供了一种基于移动跟踪的三维手势识别方法，它允许操作者移动手势的同时保持机器人末端与移动手势的位姿相对不变性。包括步骤：(1)建立跟踪模型；(2)跟踪模型求解；(3)驱动机器人。本发明专利技术使用了非接触式的基于视觉人机接口，它可以获取操作者手部的位置和姿态，实时驱动机器人来跟踪识别操作者的移动手势。

【技术实现步骤摘要】

本专利技术属于机器人运动领域，特别涉及一种基于移动跟踪的三维手势识别方法。
技术介绍
随着各种机器人广泛应用于诸多领域，目前的操控方式也由以往的人机界面、示教器向着体感控制方向发展。现有的体感控制方式大多都是操作者在固定的传感器面前利用人手交互，这种交互方式不能直观地把移动手势映射到机器人运动轨迹之中，同时固定的传感器有着其固定的有效工作区域，对于操作者移动的手势存在着超出传感器有效工作区域的不足。这篇专利技术提出了一种将传感器固定在机器人末端从而跟踪识别操作者的移动三维手势的方法，它允许操作者移动手势的同时保持机器人末端与移动手势的位姿相对不变性。固定在末端的传感器在采集操作者的移动手势位置和姿态数据的同时，与末端一起运动，好处是扩大了传感器的实际有效工作区域，只要操作者的手移动范围不超出机器人末端的运动范围，传感器就能一直捕获操作者的移动手势的位置和姿态数据，解决了以往固定传感器识别目标有可能超出有效工作区域的问题。
技术实现思路
这个专利技术提出了一种允许机器人末端跟踪识别操作者的移动三维手势的方法。这个方法使用了非接触式的基于视觉人机接口，它可以获取操作者手部的位置和姿态，实时驱动机器人来跟踪识别操作者的移动手势。本专利技术基于移动跟踪的三维手势识别方法包括如下步骤：S1、建立跟踪模型；S2、跟踪模型求解；S3、驱动机器人。所述步骤S1包括以下步骤：完成跟踪识别操作员手势任务时，通过固定在机器人末端的Leap Motion捕获操作员手部的位置和姿态。Leap Motion有两个红外摄像头。1)位置和姿态模型机器人基座、机器人关节、Leap Motion、人手坐标系均采用3个互相正交的轴来表示(可参考图1)。机器人基座坐标系xOy平面为水平方向；z轴正方向为竖直向上。机器人关节i坐标系中Zi-1轴位于按右手规则旋转轴方向；Xi-1轴沿Zi-1与Zi公垂线方向。Leap Motion坐标系中ZL轴为沿着Leap Motion短边方向；XL轴为沿着Leap Motion长边方向；YL轴正方向为垂直Leap Motion平面向上。人手坐标系中ZH轴为四指方向，与ZL轴方向一致；XH轴为拇指方向，与XL轴方向一致；YH轴为垂直手背向上，与YL方向一致。机器人采用Denavit‐Hartenberg(D‐H)模型，Ai表示从坐标系i-1到坐标系i的齐次坐标变换矩阵，则有： A i = cosθ i - sinθ i cosα i sinθ i sinα i l i cosθ i sinθ i cosθ i cosα i - cosθ i sinα i l i sinθ i 0 sinα i cosα i r i 0 0 0 1 - - - ( 1 ) ]]>其中θi表示在坐标变换时绕Zi-1旋转的角本文档来自技高网...

【技术保护点】
基于移动跟踪的三维手势识别方法，其特征在于，包括如下步骤：S1、建立跟踪模型；S2、跟踪模型求解；S3、驱动机器人。

【技术特征摘要】
1.基于移动跟踪的三维手势识别方法，其特征在于，包括如下步骤：S1、建立跟踪模型；S2、跟踪模型求解；S3、驱动机器人。2.根据权利要求1所述的基于移动跟踪的三维手势识别方法，其特征在于，所述步骤S1具体包括：完成跟踪识别操作员手势任务时，通过固定在机器人末端的Leap Motion捕获操作员手部的位置和姿态；所述Leap Motion有两个红外摄像头；1)位置和姿态模型机器人基座、机器人关节、Leap Motion、人手坐标系均采用3个互相正交的轴来表示。机器人基座坐标系xOy平面为水平方向；z轴正方向为竖直向上。机器人关节i坐标系中Zi-1轴位于按右手规则旋转轴方向；Xi-1轴沿Zi-1与Zi公垂线方向。Leap Motion坐标系中ZL轴为沿着Leap Motion短边方向；XL轴为沿着Leap Motion长边方向；YL轴正方向为垂直Leap Motion平面向上。人手坐标系中ZH轴为四指方向，与ZL轴方向一致；XH轴为拇指方向，与XL轴方向一致；YH轴为垂直手背向上，与YL方向一致。机器人采用Denavit‐Hartenberg(D‐H)模型，Ai表示从坐标系i-1到坐标系i的齐次坐标变换矩阵，则有： A i = cosθ i - sinθ i cosα i sinθ i sinα i l i cosθ i sinθ i cosθ i cosα i - cosθ i sinα i l i sinθ i 0 sinα i cosα i r i 0 0 0 1 - - - ( 1 ) ]]>其中θi表示在坐标变换时绕Zi-1旋转的角度，使得Xi-1和Xi相互平行；ri表示在坐标变换时沿Zi-1平移的距离，使得Xi-1和Xi共线；li表示在坐标变换时Xi-1平移的距离，使得Xi-1和Xi的原点重合；αi表示在坐标变换时Zi-1绕Xi旋转的角度，使得Zi-1和Zi原点重合，方向一致。对于一个具有六关节的机器人，从基座坐标系到Leap Motion坐标系的齐次变换矩阵定义为： T 7 = A 1 A 2 ... A 6 A 7 = n 7 0 s 7 0 a 7 0 p 7 0 0 0 0 1 - - - ( 2 ) ]]>其中为Leap Motion的法向矢量，为滑动矢量，为接近矢量，为位置矢量；因为Leap Motion固定在机器人末端，有： A 7 = 1 0 0 0 0 1 0 0 0 0 1 h 0 0 0 1 - - - ( 3 ) ]]>其中h为Leap Motion高度；定义为t时刻Leap Motion的位置和姿态为：Xt＝[J1,t J2,t J3,t J4,t J5,t J6,t]T (4)其中Ji为机器人第i个关节角；利用式(1)，(2)，(3)，(4)有：T7＝X0 (5)通过求解(5)得到初始时刻机器人各个关节角度值；从Leap Motion坐标系到人手坐标系的齐次变换矩阵定义为： A 8 = cosθ i - sinθ i cosα i sinθ i sinα i 0 sinθ i cosθ i cosα i - cosθ i ...

【专利技术属性】
技术研发人员：张平，杜广龙，陈明轩，何子平，金培根，李方，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44