一种基于三维连续动态手势识别的无人机人机交互方法技术

本发明专利技术公开一种基于三维连续动态手势识别的无人机人机交互方法，通过Kinect传感器获取人体骨骼跟踪数据，所述人体骨骼跟踪数据至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼点跟踪数据；提取手势轨迹特征并对其进行预处理，所述预处理包括手势起止检测、平滑滤波处理、重采样和位置归一化；使用神经网络算法进行手势识别；将手势识别的结果转化对应成控制指令控制无人机的飞行。本发明专利技术能够准确识别手势，从而使得用户可以更自由、便捷地控制无人机飞行。

【技术实现步骤摘要】
一种基于三维连续动态手势识别的无人机人机交互方法
本专利技术涉及人机交互
，更具体地，涉及一种基于三维连续动态手势识别的无人机人机交互方法。
技术介绍
手势识别技术是新一代自然人机交互的一项关键技术，相对于传统的鼠标，键盘等接触式的操作方式，手势具有自然直观、容易理解、操作简单、体验性好等优点，更加符合人类日常交流习惯，手势识别已经成为人机交互方案的研究热点。手势作为一门自然、方便的语言，在情感上和实用性上都非常适合用于人机交互。手势识别技术的研究意义在于将手势这种自然且直观的交流方式应用到人机交互的接口技术上，使得人机接口更加接近于人类的使用习惯，进而使得人机交互变得更自然方便。随着机器人控制技术的发展，人与机器人之间的交互活动变得越来越普遍。利用手势来控制机器人可方便地操纵机器人，向机器人发布命令，与机器人进行交互。手势是指人手产生的各种姿势和动作，广义的手势可分为两种，一种为由连续手部动作组成的动态手势(gesture)，另一种为静态的手部姿势(posture)。静态手势识别考虑某个时间点上手势的外形特征，动态手势关注一段时间内手部及手臂的一系列动作，增加了时间信息和动作特征。研究静态手势对于理解分析动态手势具有重要的意义。由于动态手势的识别可以归结为几个静态姿势识别的综合，所以两种手势识别的过程和方法基本一致。但是，动态手势的识别需要考虑时间、空间等因素，即不同因素会造成手势轨迹在时间上的非线性波动，因此，动态手势识别必须考虑如何消除这些波动的影响，比静态手势识别更富有技术挑战性。旋翼无人机具有成本低廉、可垂直起降、易于操控等优点，在搜索、救援、测绘、农业、航拍等领域具有广阔的应用前景。研究人体与旋翼飞行器之间的人机交互具有良好的应用价值。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供一种基于三维连续动态手势识别的无人机人机交互方法，能够准确识别手势，从而使得用户可以更自由、便捷地控制无人机飞行。为解决上述技术问题，本专利技术的技术方案如下：一种基于三维连续动态手势识别的无人机人机交互方法，所述方法包括以下步骤：S1：通过Kinect传感器获取人体骨骼跟踪数据，所述人体骨骼跟踪数据至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼点跟踪数据；S2：提取手势轨迹特征并对其进行预处理，所述预处理包括手势起止检测、平滑滤波处理、重采样和位置归一化；S3：使用神经网络算法进行手势识别；S4：将手势识别的结果转化对应成控制指令控制无人机的飞行。在一种优选的方案中，步骤S1中，通过Kinect传感器获取实时的人体骨骼跟踪数据的具体方法包括以下步骤：S1.1：通过Kinect传感器获取深度图像；S1.2：微软提供KinectSDK从深度图像中获得20个关节骨骼点的三维位置信息和四元数旋转信息；S1.3：获取右手、左手、右肘、左肘、右肩和左肩的骨骼点跟踪数据，从而定位用户手部位置。在一种优选的方案中，步骤S2中，提取手势轨迹特征的具体方法为：S2.1.1：将左手LH、左肘LE、右手RH、右肘RE的骨骼点位置信息三维坐标值(x,y,z)的每一帧分别按顺序排列成一列向量，此时代表动态手势的原始三维轨迹特征为：其中，表示第n帧深度图的4个骨骼点的特征向量，表示第n帧深度图中左手的x轴坐标；S2.1.2：定义基准点A(xa,ya,za)为左肩和右肩连线的中心，则基准点A即为左肩节点LS(xLS,yLS,zLS)和右肩节点RS(xRS,yRS,zRS)的中间值；S2.1.3：计算出基准点A后，釆用左肩和右肩的距离作为标准长度对右手RH、左手LH、右肘RE及左肘LE这4个骨骼点进行归一化处理：其中，表示第n帧深度图基准点，表示第n帧深度图的左肩，表示第n帧深度图的右肩；S2.1.4：采用归一化后的骨骼点的空间坐标变化来表示一段手势的特征向量：其中，表示手势的特征向量，是由按顺序排列组成的列向量，N代表这个序列有N帧深度图。在一种优选的方案中，步骤S2中，所述手势起止检测包括以下步骤：S2.2.1：定义手势的运动能量函数E为前后两帧深度图中手部骨骼点的三维位置的变化之和，即左手、左肘、右手、右肘这4个骨骼点的移动距离之和，则手势的运动能量函数为：E＝dLH+dLE+dRH+dRE(8)S2.2.2：如果连续M帧E的值都大于预设的E的阈值，M≥1，则将第一次检测到E大于该阈值的那一帧作为手势开始的起点；S2.2.3：当检测到连续M帧E的值都小于预设的E的阈值，则将第一次检测到的E小于该阈值的那一帧作为手势结束的终点，即可从长序列中截取出手势序列。在一种优选的方案中，步骤S2中，平滑滤波处理、重采样和位置归一化的具体方法包括以下步骤：S2.3.1：平滑滤波处理：对左手、左肘、右手、右肘这4个骨骼点进行平滑滤波处理，使这4个骨骼点的坐标为对其前后帧的坐标值取均值；S2.3.2：重采样：对于获得的长短不一的手势序列段，重采样利用均匀线性重采样的方式将所有手势序列进行处理使得两两相邻轨迹点的间隔相等，以消除不同用户做手势的速度差异；S2.3.3：位置归一化：为了使最终的手势轨迹具有位置不变性，将骨骼点的轨迹序列的每一点均减去初始的轨迹点；S2.3.4：将左手、右手、左肘及右肘4个骨骼点的手势轨迹分别采用上述的方法进行平滑滤波、重采样与位置归一化的处理，并将经过上述预处理的手势轨迹特征向量作为神经网络算法的输入，其中VLH、VRH、VLE、VRE分别表示左手、右手、左肘和右肘预处理后的轨迹序列。在一种优选的方案中，步骤S3中，所述神经网络算法采用网络隐藏层神经元数目自适应算法，其具体方法包括以下步骤：(1)先给定神经网络目标精度为ε＝10-5，设定隐藏层神经元数目范围，最小值最大值其中n、m分为为输入节点数和输出节点数，l为搜索窗口的步长，取l＝20；(2)通过计算当隐藏层节点数目分别为min，max时的权值矩阵W和网络最小均方误差MSEmin,MSEmax，判断MSEmin,MSEmax跟ε的大小关系，然后调整min，max的范围直到计算出来的MSEmin,MSEmax的范围包含ε的值；(3)在确定的[min，max]的范围里面使用二分法找的最先使得MSE≤ε的值，即为所要找到的最小的隐藏层神经元节点数目。在一种优选的方案中，步骤S4中，右手向左挥动、右手向右挥动，右手向前平推、右手向后收回、画圆、画“S”形手势，分别对应无人机向左飞行、向右飞行、前进、后退、飞圆形、“S”轨迹。在一种优选的方案中，步骤S4中，设置一对开始交互和结束交互的动作指令，开始交互动作指令表示开始动作，结束交互动作指令表示动作结束。与现有技术相比，本专利技术技术方案的有益效果是：本专利技术公开一种基于三维连续动态手势识别的无人机人机交互方法，通过Kinect传感器获取人体骨骼跟踪数据，所述人体骨骼跟踪数据至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼点跟踪数据；提取手势轨迹特征并对其进行预处理，所述预处理包括手势起止检测、平滑滤波处理、重采样和位置归一化；使用神经网络算法进行手势识别；将手势识别的结果转化对应成控制指令控制无人机的飞行。本专利技术能够准确识别手势，从而使得用户可以更自由、便捷地控制无人机飞行。附图说明图1为MIMO-Chevby本文档来自技高网...

【技术保护点】
一种基于三维连续动态手势识别的无人机人机交互方法，其特征在于，所述方法包括以下步骤：S1：通过Kinect传感器获取人体骨骼跟踪数据，所述人体骨骼跟踪数据至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼点跟踪数据；S2：提取手势轨迹特征并对其进行预处理，所述预处理包括手势起止检测、平滑滤波处理、重采样和位置归一化；S3：使用神经网络算法进行手势识别；S4：将手势识别的结果转化对应成控制指令控制无人机的飞行。

【技术特征摘要】
1.一种基于三维连续动态手势识别的无人机人机交互方法，其特征在于，所述方法包括以下步骤：S1：通过Kinect传感器获取人体骨骼跟踪数据，所述人体骨骼跟踪数据至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼点跟踪数据；S2：提取手势轨迹特征并对其进行预处理，所述预处理包括手势起止检测、平滑滤波处理、重采样和位置归一化；提取手势轨迹特征的具体方法为：S2.1.1：将左手LH、左肘LE、右手RH、右肘RE的骨骼点位置信息三维坐标值(x，y，z)的每一帧分别按顺序排列成一列向量，此时代表动态手势的原始三维轨迹特征为：其中，表示第n帧深度图的4个骨骼点的特征向量，表示第n帧深度图中左手的x轴坐标；S2.1.2：定义基准点A(xa，ya，za)为左肩和右肩连线的中心，则基准点A即为左肩节点LS(xLS，yLS，zLS)和右肩节点RS（xRS，yRS，zRS)的中间值；S2.1.3：计算出基准点A后，釆用左肩和右肩的距离作为标准长度对右手RH、左手LH、右肘RE及左肘LE这4个骨骼点进行归一化处理：其中，表示第n帧深度图基准点，表示第n帧深度图的左肩，表示第n帧深度图的右肩；S2.1.4：采用归一化后的骨骼点的空间坐标变化来表示一段手势的特征向量：其中，表示手势的特征向量，是由按顺序排列组成的列向量，N代表这个序列有N帧深度图；所述手势起止检测包括以下步骤：S2.2.1：定义手势的运动能量函数E为前后两帧深度图中手部骨骼点的三维位置的变化之和，即左手、左肘、右手、右肘这4个骨骼点的移动距离之和，则手势的运动能量函数为：E＝dLH+dLE+dRH+dRES2.2.2：如果连续M帧E的值都大于预设的E的阈值，M≥1，则将第一次检测到E大于该阈值的那一帧作为手势开始的起点；S2.2.3：当检测到连续M帧E的值都小于预设的E的阈值，则将第一次检测到的E小于该阈值的那一帧作为手势结束的终点，即可从长序列中截取出手势序列；平滑滤波处理、重采样和位置归一化的具体方法包括以下步骤：S2.3.1：平滑滤波处理：对左手、左肘、右手、右肘这4个骨骼点进行平滑滤波处理，使这4个骨骼点的坐标为对其前后帧的坐标值取均值；S2.3.2：重采样：对于获得的长短不一的手势序列段，重采样利用均匀线性重采样的方式将所有手势序列进行处理使得两两相邻轨迹点的间隔相等，以消除不同用户做手势的速度差异；...

【专利技术属性】
技术研发人员：成慧，唐薇，江泽宇，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44