【技术实现步骤摘要】
本专利技术属于基于手势识别的人机交互，尤其涉及一种用于rov的手势控制方法及系统。
技术介绍
1、手势控制作为一种交互方式，目前主要分为两种，一种是基于传感器的手势控制，一种是基于视觉的手势控制。其中基于传感器的手势控制是指通过穿戴在手部上的智能设备或传感器，通过手部活动来控制其他设备或应用程序的技术。早期的基于传感器的手势控制中传感器较为单一、功能也相对简单。而随后多功能传感器的出现，也使得手势控制更加精确。现如今，这些手部设备也开始引入触觉反馈技术来提高交互的可感知性与可理解性，提升了手势控制的效能。但是其缺点也十分突出，一是识别范围有限，用户只有在特定的范围内移动手部才可有效识别，这降低了用户手势控制的自然性和舒适性。二是需要携带专门的控制设备，例如手柄等，增加了控制系统的成本和负担。
2、而基于视觉的手势控制虽然目前存在可能由于环境影响造成无法准确识别手势以及计算资源需求量大和相关隐私保护的问题，但随着相关技术的不断突破，上述问题也将得到解决。而其本身的一系列优点，例如直观性、非接触性、应用场景广泛性中，都有无可替代的优势。首先，在直观性方面，基于视觉的手势控制更符合人类的控制习惯，使得人机交互可以更加的自然和直观；其次，在非接触性方面，仅用一枚电脑或其他设备配备的摄像头就可以完成这一系列工作，并且不需要接触任何设备，减少了卫生、设备沉重等问题；并且，在应用场景方面，可以随时随地地利用配备摄像头的相关设备进行手势控制，具有广泛的应用前景。
3、近年来，随着陆地资源探测技术的不断完善，人们开始将目光
技术实现思路
1、针对上述问题，本专利技术第一方面提出了一种用于rov的手势控制方法，包括以下过程：
2、步骤1，通过摄像头实时获取手部动作区域的视频帧，并发送给mediapipe-hands模型；
3、步骤2，当mediapipe-hands模型检测到手部时，提取手部21个关键点的信息，并分别发送给训练完成的gbdt静态手势识别模型和关键点多帧动态识别模型；
4、步骤3，训练完成的gbdt静态手势识别模型根据获取的手部21个关键点的信息，输出静态手势结果；关键点多帧动态识别模型以初始帧中的手掌根部关键点为基准点，提取其坐标信息，与多帧后的手掌根部关键点位置信息进行对比，从而输出手势动作方向；
5、步骤4，基于静态手势结果和手势动作方向进行信息解析，并根据控制逻辑将其转化为rov的控制指令，从而控制有缆水下机器人rov执行相应动作。
6、优选的，所述gbdt静态手势识别模型的构建过程为：
7、s1，获取手势的数据集，所述数据集针对不同的应用场景拍摄或下载获取；
8、s2，对s1中获取的数据集进行预处理；首先利用多视图引导法mb从手势图像中提取21个手部关键点，并且利用缺失值均值填充法、数据归一化与数据翻转法对关键点数据集进行预处理，获得双手关键点数据集，并将数据集划分为训练集和测试集；
9、s3，构建gbdt静态手势识别模型，并通过网格搜索以及5折交叉验证法筛选合适参数来训练模型；
10、s4，对模型进行测试，最终得到基于多视图引导和机器学习的gbdt静态手势识别模型。
11、优选的，所述gbdt静态手势识别模型为集成学习算法，通过结合多个决策树来构建，通过学习每一棵树来纠正前一棵树的错误，并采用梯度下降算法最小化损失函数，通过计算损失函数的负梯度来找到每棵树的最优解；所述gbdt静态手势识别模型包括加法模型、前向分步模型以及损失函数；其中，加法模型公式为：
12、
13、其中，m为树的个数，则为第m个树 ，则为第m个树的参数；紧接着，前向分步模型的计算公式为：
14、
15、其中，表示更新后的第 m个模型，表示更新前的模型；基于要解决的多分类问题，损失函数公式为：
16、
17、其中，为大小为 k的独特编码向量，表示真实的类别；并且，如果样本的输出类别为k，则 =1，则代表第k个类别的概率，对其可通过softmax函数计算得到，公式为：
18、
19、其中，是类别 k的模型得分，为该类别对应的所有树的预测之和。
20、优选的，所述21个关键点包括手掌根部、大拇指根节点、大拇指下节点、大拇指上节点、大拇指指尖、食指根节点、食指下节点、食指上节点、食指指尖、中指根节点、中指下节点、中指上节点、中指指尖、无名指根节点、无名指下节点、无名指上节点、无名指指尖、小拇指根节点、小拇指下节点、小拇指上节点和小拇指指尖。
21、优选的，手势的数据集包括9个分类的手势，分别是“上升”、“下降”、“左转”、“右转”、“前进”、“后退”、“停止”、“增光”、“减光”，以此实现对控制rov的运动方向和灯光强度的增减。
22、优选的，所述s2中对获取的数据集进行预处理，包括以下过程：
23、利用多视图引导法进行数据处理，首先使用openpose模型做身体检测，检测到手部后对手部进行检测，预测出每个关键点的置信度图，并通过分析这些置信度图找到每个关键点的最大峰值以确定最终位置，以实现从手势图像中提取21个手部关键点；紧接着利用缺失值均值填充法，其公式为：
24、
25、其中，表示数据集第 j列的平均值， n表示样本数，表示第 j列的第 i个数据，其中 i值取（1，n）；
26、其次，利用min-max标准化对原始数据进行线性变换，确保处理结果落在[0，1]区间内，min-max标准化公式为：
27、
28、其中，为原始数据 ，为数据最大值，为数据最小值，为标准化数据。
29、优选的，所述关键点多帧动态识别模型帧数的选取为4帧，允许抖动变换的阈值为15本文档来自技高网...
【技术保护点】
1.一种用于ROV的手势控制方法，其特征在于，包括以下过程：
2.如权利要求1所述的一种用于ROV的手势控制方法，其特征在于，所述GBDT静态手势识别模型的构建过程为：
3.如权利要求2所述的一种用于ROV的手势控制方法，其特征在于，所述GBDT静态手势识别模型为集成学习算法，通过结合多个决策树来构建，通过学习每一棵树来纠正前一棵树的错误，并采用梯度下降算法最小化损失函数，通过计算损失函数的负梯度来找到每棵树的最优解；所述GBDT静态手势识别模型包括加法模型、前向分步模型以及损失函数；其中，加法模型公式为：
4.如权利要求1所述的一种用于ROV的手势控制方法，其特征在于：所述21个关键点包括手掌根部、大拇指根节点、大拇指下节点、大拇指上节点、大拇指指尖、食指根节点、食指下节点、食指上节点、食指指尖、中指根节点、中指下节点、中指上节点、中指指尖、无名指根节点、无名指下节点、无名指上节点、无名指指尖、小拇指根节点、小拇指下节点、小拇指上节点和小拇指指尖。
5.如权利要求2所述的一种用于ROV的手势控制方法，其特征在于：手势的数据集包括9
6.如权利要求2所述的一种用于ROV的手势控制方法，其特征在于：所述S2中对获取的数据集进行预处理，包括以下过程：
7.如权利要求1所述的一种用于ROV的手势控制方法，其特征在于：所述关键点多帧动态识别模型帧数的选取为4帧，允许抖动变换的阈值为15个像素。
8.一种用于ROV的手势控制系统，其特征在于：应用于如权利要求1至7任意一项所述的手势控制方法中，包括手势识别子系统、信息解析子系统和ROV控制子系统；手势识别子系统用于实时获取手势，并对手势进行动静态识别；信息解析子系统则根据设计的控制逻辑，并通过生成的虚拟手柄，将手势识别信号转换为控制ROV的控制信号；ROV控制子系统根据ROV控制信号对ROV进行控制；所述手势识别子系统包括摄像头及集成于上位机的MediaPipe-Hands模型、训练完成的GBDT静态手势识别模型和关键点多帧动态识别模型。
9.如权利要求8所述的一种用于ROV的手势控制系统，其特征在于：所述ROV控制子系统包括QGroundControl操控软件、树莓派微型计算机和Pixhawk自动驾驶仪；所述手势识别子系统通过信息解析子系统生成的虚拟手柄将信号传输给QGroundControl操控软件，进而利用安装有Companion软件的树莓派与安装有ArduSub软件的Pixhawk自动驾驶仪控制ROV；所述虚拟手柄和QGroundControl操控软件均集成于上位机中。
...【技术特征摘要】
1.一种用于rov的手势控制方法，其特征在于，包括以下过程：
2.如权利要求1所述的一种用于rov的手势控制方法，其特征在于，所述gbdt静态手势识别模型的构建过程为：
3.如权利要求2所述的一种用于rov的手势控制方法，其特征在于，所述gbdt静态手势识别模型为集成学习算法，通过结合多个决策树来构建，通过学习每一棵树来纠正前一棵树的错误，并采用梯度下降算法最小化损失函数，通过计算损失函数的负梯度来找到每棵树的最优解；所述gbdt静态手势识别模型包括加法模型、前向分步模型以及损失函数；其中，加法模型公式为：
4.如权利要求1所述的一种用于rov的手势控制方法，其特征在于：所述21个关键点包括手掌根部、大拇指根节点、大拇指下节点、大拇指上节点、大拇指指尖、食指根节点、食指下节点、食指上节点、食指指尖、中指根节点、中指下节点、中指上节点、中指指尖、无名指根节点、无名指下节点、无名指上节点、无名指指尖、小拇指根节点、小拇指下节点、小拇指上节点和小拇指指尖。
5.如权利要求2所述的一种用于rov的手势控制方法，其特征在于：手势的数据集包括9个分类的手势，分别是“上升”、“下降”、“左转”、“右转”、“前进”、“后退”、“停止”、“增光”、“减光”，以此实现对控制rov的运动方向和灯光强度的增减。
6.如权利要求2所述的一种用于rov的...
【专利技术属性】
技术研发人员：付民，李卓越，孙梦楠，俞智斌，郑冰，
申请(专利权)人：中国海洋大学三亚海洋研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。