一种人体姿态估计与手势识别结合的无人机控制方法技术

本发明专利技术公开了一种人体姿态估计与手势识别结合的无人机控制方法，包括以下步骤：通过无人机拍摄地面指挥者指挥的视频；截取视频的关键帧图像；对图像中的地面指挥者使用OpenPose网络进行估计，得出其骨骼关键点的带有时序的二维坐标组；以地面指挥者左右手手腕关键点为中心，各截取一个区域，在两个区域内采用SSD目标检测算法来识别左右手的手势；同步地，将获得的特征数据输入到训练好的SVM动作分类器，得出动作识别结果；若识别出左右手的手势，则基于左右手的手势控制无人机；否则，则基于得出的人体动作的识别结果控制无人机。本发明专利技术解决了如何既能近距离控制无人机，又能远距离控制无人机的难题，同时也提高手势识别的正确率。

A UAV control method combining human posture estimation and gesture recognition

The invention discloses a UAV control method combining human body posture estimation and gesture recognition, which comprises the following steps: shooting the video directed by the ground commander through the UAV; intercepting the key frame image of the video; estimating the ground commander in the image using the openpose network to obtain the two-dimensional coordinate group with timing of the key points of the skeleton; left and right of the ground commander The key points of the hand and wrist are the center, one area is intercepted respectively, and SSD target detection algorithm is used to recognize the hand gestures of the left and right hands in the two areas; synchronously, the obtained feature data is input into the trained SVM motion classifier, and the motion recognition results are obtained; if the hand gestures of the left and right hands are recognized, the UAV is controlled based on the hand gestures of the left and right hands; otherwise, the UAV is controlled based on the obtained human motion The result of identification is used to control the UAV. The invention solves the problem of how to control the UAV not only in a short distance, but also in a long distance, and at the same time improves the accuracy of gesture recognition.

【技术实现步骤摘要】
一种人体姿态估计与手势识别结合的无人机控制方法
本专利技术涉及无人机的交互与控制的
，尤其涉及到一种人体姿态估计与手势识别结合的无人机控制方法。
技术介绍
目前，关于无人机的交互与控制主要有专业遥控器和手机控制，这两种方式都不能解放双手。为了能够更加智能化、便捷地控制无人机，出现了通过手势识别控制无人机，因为受摄像头分辨率与远距离手势识别正确率的影响，很多能手势控制的无人机都用红外线感应装置来辅助手势的识别。但如果使用其他感应器来辅助识别，这又提高了产品的制作成本。后来，也有人用深度学习人体姿态估计来控制无人机，但一旦近距离控制的话，就会有控制范围的局限。目前已有的解决方法包括：(1)穿戴装有惯性测量单元IMU头盔的控制无人机方法，对比传统无人机的遥控和摇杆控制方法，虽然简化了无人机的控制，但需要依赖特殊辅助设备，成本加大。(2)基于Kinect的动作识别的无人机控制方法，,操纵者通过Kinect传感器来识别动作来控制飞机。虽然基于Kinect识别的方法有较高的识别准确率，但因RGB-D传感器对距离的现实，该方法只能对操控者进行近距离的跟踪。(3)基于计算机视觉及深度学习的无人机手势控制方法，用不同颜色编码光流特征，叠加在一张图片上，将视频转换为同时包含时间特征以及空间特征的彩色纹理图。最后，利用卷积神经网络对彩色纹理图进行学习及分类，根据分类结果生成控制无人机的指令。该方法虽然不依赖辅助设备，但是泛化能力比较差，而且处理起来比较复杂，如果具体到手掌的远距离手势的识别的话，该方法还是行不通。(4)基于深度学习姿态估计的无人机控制，该方法用人体骨骼关键点的识别来识别动作进而控制无人机，该方法解决了远距离的动作识别控制，但是近距离没有利用到手掌手势来控制无人机。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种人体姿态估计与手势识别结合的无人机控制方法。解决如何既能近距离控制无人机，又能远距离控制无人机的难题，同时也提高手势识别的正确率。而且，该方法不止局限于手势控制无人机，还能结合身体的动作来控制无人机，可扩展性很高。为实现上述目的，本专利技术所提供的技术方案为：一种人体姿态估计与手势识别结合的无人机控制方法，包括以下步骤：S1：通过无人机拍摄地面指挥者指挥的即时视频；S2：截取步骤S1拍摄到的视频的关键帧图像；S3：对步骤S2截取到的图像中的地面指挥者使用充分训练好的自下而上的轻量级OpenPose网络进行估计，得出地面指挥者的骨骼关键点的带有时序的二维坐标组，将该带有时序的二维坐标组作为特征数据；S4：以地面指挥者左手和右手手腕关键点为中心，各截取一个区域，在该两个区域内采用SSD目标检测算法来识别左右手的手势；同步地，将步骤S3获得的特征数据输入到训练好的SVM动作分类器，得出动作识别结果；S5：若步骤S4识别出左右手的手势，则基于左右手的手势控制无人机；若步骤S4识别不出左右手的手势，则进入步骤S6；S6：基于步骤S4得出的人体动作的识别结果控制无人机。进一步地，步骤S4所述的SVM动作分类器通过以下步骤得出：(1：自建关于地面指挥者指挥动作视频的训练数据集；(2：对从训练数据集截取的关键帧图像使用已充分训练好的轻量级OpenPose网络进行估计，得出地面指挥者的骨骼关键点的带有时序的二维坐标组，将该带有时序的二维坐标组作为特征数据；(3：将生成的特征数据使用SVM分类器进行训练，生成SVM动作分类器。进一步地，所述步骤S4中，通过以下过程设定以地面指挥者左手手腕关键点为中心的截取区域：1)假设左手手腕坐标为(x1，y1)，左手手肘坐标为(x2，y2)；2)将左手手腕及手肘的坐标投影到X轴和Y轴上，得到投影到X轴后的长度为|x1-x2|，投影到Y轴后的长度|y1-y2|；3)比较长度，若|x1-x2|≥|y1-y2|，则L1＝2|x1-x2|；若|x1-x2|≤|y1-y2|则L1＝2|y1-y2|；4)以左手手腕坐标(x1，y1)为中心坐标，建立边长为L1的正方形区域作为用来手势识别的区域范围。进一步地，所述自下而上的轻量级OpenPose网络的特征提取主干网络用MobilenetV1来替换，然后经过一个初始阶段网络和两个精细化阶段网络来不断优化关键点热图和关键点聚类结果，提高网络人体关键点识别的精确度；每一个精细化阶段都以特征提取主干网络的输出和上一个阶段输出的关键点热图和关键点聚类结果作为输入，不断地迭代预测更好的结果。与现有技术相比，本方案原理和优点如下：1.获取视频的关键帧图片，估计出关键帧图片中地面指挥者的骨骼关键点的带有时序的二维坐标组(特征数据)，接着以地面指挥者左手和右手手腕关键点为中心，各截取一个区域，在该两个区域内采用SSD目标检测算法来识别左右手的手势；同步地，将获得的特征数据输入到训练好的SVM动作分类器，得出动作识别结果。若识别出左右手的手势，则基于左右手的手势控制无人机；若识别不出左右手的手势，则基于得出的人体动作的识别结果控制无人机。该方法解决了既能近距离控制无人机，也能远距离控制无人机的一个难题。2.人体骨骼关键点检测主要有两个方向，一种是自上而下，一种是自下而上，其中自上而下的人体骨骼关键点定位算法主要包含两个部分，人体检测和单人人体关键点检测，即首先通过目标检测算法将每一个人检测出来，然后在检测框的基础上针对单个人做人体骨骼关键点检测。自下而上的方法也包含两个部分，关键点检测和关键点聚类，即首先需要将图片中所有的关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体。本方案通过自下而上的轻量级OpenPose网络来估计关键帧图片中地面指挥者的骨骼关键点的带有时序的二维坐标组(特征数据)，该网络的特征提取主干网络用MobilenetV1来替换，然后经过一个初始阶段网络和两个精细化阶段网络来不断优化关键点热图和关键点聚类结果，在保证人体关键点识别正确度的同时也能保证实时性。3.左右手手势识别过程中，各截取一个特定的区域，在该两个特定的区域内采用SSD目标检测算法来识别左右手的手势，大大提高了手势识别的正确率。而且，该特定的区域通过手腕和手肘的坐标点来设定其大小，避免出现区域过大或过小的情况，在恰好适配的区域中识别手势，大大提高了手势识别的效率。4.本方案不止局限于手势控制无人机，还能结合身体的动作来控制无人机，可扩展性很强。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本实施例中一种人体姿态估计与手势识别结合的无人机控制方法的流程框图；图2为轻量级OpenPose网络的结构示意图；...

【技术保护点】
1.一种人体姿态估计与手势识别结合的无人机控制方法，其特征在于，包括以下步骤：/nS1：通过无人机拍摄地面指挥者指挥的即时视频；/nS2：截取步骤S1拍摄到的视频的关键帧图像；/nS3：对步骤S2截取到的图像中的地面指挥者使用充分训练好的自下而上的轻量级OpenPose网络进行估计，得出地面指挥者的骨骼关键点的带有时序的二维坐标组，将该带有时序的二维坐标组作为特征数据；/nS4：以地面指挥者左手和右手手腕关键点为中心，各截取一个区域，在该两个区域内采用SSD目标检测算法来识别左右手的手势；同步地，将步骤S3获得的特征数据输入到训练好的SVM动作分类器，得出动作识别结果；/nS5：若步骤S4识别出左右手的手势，则基于左右手的手势控制无人机；若步骤S4识别不出左右手的手势，则进入步骤S6；/nS6：基于步骤S4得出的人体动作的识别结果控制无人机。/n

【技术特征摘要】
1.一种人体姿态估计与手势识别结合的无人机控制方法，其特征在于，包括以下步骤：
S1：通过无人机拍摄地面指挥者指挥的即时视频；
S2：截取步骤S1拍摄到的视频的关键帧图像；
S3：对步骤S2截取到的图像中的地面指挥者使用充分训练好的自下而上的轻量级OpenPose网络进行估计，得出地面指挥者的骨骼关键点的带有时序的二维坐标组，将该带有时序的二维坐标组作为特征数据；
S4：以地面指挥者左手和右手手腕关键点为中心，各截取一个区域，在该两个区域内采用SSD目标检测算法来识别左右手的手势；同步地，将步骤S3获得的特征数据输入到训练好的SVM动作分类器，得出动作识别结果；
S5：若步骤S4识别出左右手的手势，则基于左右手的手势控制无人机；若步骤S4识别不出左右手的手势，则进入步骤S6；
S6：基于步骤S4得出的人体动作的识别结果控制无人机。


2.根据权利要求1所述的一种人体姿态估计与手势识别结合的无人机控制方法，其特征在于，步骤S4所述的SVM动作分类器通过以下步骤得出：
(1：自建关于地面指挥者指挥动作视频的训练数据集；
(2：对从训练数据集截取的关键帧图像使用已充分训练好的轻量级OpenPose网络进行估计，得出地面指挥者的骨骼关键点的带有时序的二维坐标组，将该带有时序的二维坐标...

【专利技术属性】
技术研发人员：何炜婷，曾碧，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44