基于多传感器融合的手势识别仿人机械手系统及同步方法技术方案

本发明专利技术公开了一种基于多传感器融合的手势识别仿人机械手系统及同步方法，涉及手势识别领域。通过采集装置中的第一传感器采集到人体手指的运动状态，并将该运动状态传递给机械手，机械手接收到人体手指的运动状态信息后通过舵机控制机械手手指做出相应手势运动，从而实现了机械手手指运动与人体手指运动的同步性。本发明专利技术通过传感器直接采集人体手指的运动状态，替代了现有技术中通过摄像头采集图像进行手势识别，从而解决了因图像处理技术要求较高，不利于后期维护和修改，容易产生误判及漏判，以及价格昂贵等问题。

Hand gesture recognition humanoid robot hand system and synchronization method based on multi-sensor fusion

The invention discloses a gesture recognition humanoid robot hand system and a synchronization method based on multi-sensor fusion, and relates to the field of hand gesture recognition. The motion state acquisition device in the first sensor to the human finger, and the motion passed to the manipulator, the manipulator receives the motion state information of the human finger through the servo control of robot hand gestures to make corresponding movement, so as to realize the synchronization of the manipulator finger movement and human finger movement. The motion state of the invention through direct acquisition of human finger sensor, instead of gesture recognition through the camera image acquisition in the prior art, so as to solve the problem of image processing for higher technical requirements, is not conducive to the maintenance and modification, prone to false positives and negatives, and expensive problem.

【技术实现步骤摘要】
基于多传感器融合的手势识别仿人机械手系统及同步方法
本专利技术涉及手势识别领域，尤其涉及的是一种能够同步识别人体手势识别基于多传感器融合的手势识别仿人机械手系统，同时还提供了一种人体手势与机械手之间的同步方法。
技术介绍
随着现代工业的发展，机械手早已被广泛地应用于工业生产来代替一些重复性的劳动。仿人机械手由于具有多自由度、灵活性强等优点，已经被广泛应用到各种生活生产领域，可代替人类完成危险、复杂的工作。多传感器信息融合技术在解决检测、跟踪等问题方面，能够增强系统生存能力，提高整个系统的可靠性并能够增强数据的可信度，提高精度。正是基于多传感器融合的优势，将多传感器融合技术运用于手势识别中，能够提高现今对手势识别判断精度，从而实现更精确地识别手势。目前手势识别控制机械手一般采用的方法有：采用基于人工神经网络的数据手套来识别手势信息，还原手部动作；采用通过摄像头等视觉传感器采集手势图像，用计算机对手势图像进行分割处理得到手势信息，并以此控制机械手。这些方法来识别手势并控制机械手，主要存在一下问题：1)由摄像头采集图像进行手势识别，对图像处理技术要求也较高，不利于后期维护和修改；2)摄像头拍摄受环境影响较大，图像会产生噪声，容易产生误判及漏判，3)目前手势检测的传感器价格较为昂贵，在工业和民用领域难以得到推广。
技术实现思路
为了解决现有技术所存在的问题，本专利技术提供了一种能够同步识别人体手势的基于多传感器融合的手势识别仿人机械手系统，该系统通过传感器对人体手指运动状态进行采集，并将采集的信息发送给机械手，通过机械手本体内部所设置的控制电路控制机械手手指进行与所采集到的人体手指相同的运动，从而实现手势同步。该系统不采用摄像头采集图像进行手势识别，从而解决因图像处理技术要求也较高，不利于后期维护和修改，容易产生误判及漏判，以及价格昂贵等问题。本专利技术的目的是通过以下技术方案来实现：基于多传感器融合的手势识别仿人机械手系统，包括用于采集人体手指运动状态的采集装置和机械手，其中，采集装置包括：集成有第一三轴加速度计和第一陀螺仪的第一传感器、第一单片机及第一无线通信模板，所述第一三轴加速度计的输出和所述第一陀螺仪的输出分别连接至所述第一单片机的两个输入，所述第一单片机的一路输出端连接至所述第一通信模块的输入；机械手包括机械手本体和设置在机械手本体上的控制电路，所述的控制电路包括第二通信模块、第二单片机及舵机，所述第二通信模块的输出连接至所述第二单片机的一路输入，所述第二单片机的一路输出连接至所述舵机的控制端，所述舵机与机械手手指连接控制其运动状态；所述第一通信模块的输出连接至所述第二通信模块的输入。以上技术方案通过采集装置中的第一传感器采集到人体手指的运动状态，并将该运动状态传递给机械手，机械手接收到人体手指的运动状态信息后通过舵机控制机械手手指做出相应手势运动，从而实现了机械手手指运动与人体手指运动的同步性。本专利技术通过传感器直接采集人体手指的运动状态，替代了现有技术中通过摄像头采集图像进行手势识别，从而解决了因图像处理技术要求较高，不利于后期维护和修改，容易产生误判及漏判，以及价格昂贵等问题。为了本系统中的机械手能够准确的进行手势模仿，在此所作的改进是在以上技术方案控制电路的基础上增加一第二传感器，其集成有第二三轴加速度计及第二陀螺仪，所述第二传感器设置机械手手指上，所述第二三轴加速度计的输出和所述第二陀螺仪的输出分别连接至所述第二单片的两个输入。通过第二传感器能够对机械手手指的运动状态进行采集，通过采集到的机械手手指运动状态对机械手手指运动状态进行修复，从而提高了机械手手指手势模仿的精准度。为了能够准确的采集到机械手手指的运动状态，在此所作的改进是将所述第二传感器的数量设计为机械手手指的两倍，其中一个第二传感器与机械手拇指位置相对应，另一个第二传感器与机械手拇短展肌位置相对应，其余第二传感器分别均匀的与剩余的机械手手指位置相对应。为了能够使本系统能够准确的采集到人体手指的运动状态，在此所作的改进是将所述第一传感器的数量设计为人体手指的两倍，其中一个第一传感器与人体拇指位置相对应，另一个第一传感器与人体拇短展肌部位相对应，其余第一传感器分别均匀的与剩余的手指位置相对应。从而进一步地提高了本系统手势识别和同步模仿的准确性。为了能够使机械手手指活动更为灵活，在此所作的改进是所述舵机的数量与机械手手指的数量相同。通过独立的舵机控制相应的机械手手指运动，使得机械手手指运动更为灵活，手势同步性更强。进一步地，所述第一通信模块的输出与所述第二通信模块的输入之间为无线通信连接。消除了传输数据线的限制。进一步地，还包括电机驱动模块，所述第二单片机的输出通过所述电机驱动模块连接至所述舵机的控制端。从而增强了本专利技术的驱动能力，解决了因现有一些单片机驱动能力不足而无法驱动舵机工作的问题。在此，本专利技术还提供了一种基于多传感器融合的手势识别仿人机械手系统的同步方法，其具体步骤为：S1：通过与人体手指接触的第一传感器采集人体每根手指运动状态，得到每根手指的初始控制信号；S2：初始控制信号输入第一单片机，第一单片机对接收到的信号进行去噪处理，得每根手指的控制信号；S3：第一单片机将控制信号通过第一通信模块发送至第二通信模块；S4：第二通信模块将接收到的控制信号输入第二单片机，第二单片机对接收到的控制信号进行处理，第二单片机将处理后的控制信号进行存储，作为目标指，并输出相应舵机控制信号控制舵机动作；S5：舵机根据接收到的舵机控制信号控制机械手手指实现与人体手指相同的运动。具体的，所提供的同步方法还包括机械手手指运动修正步骤，具体为：S51：通过与机械手手指接触的第二传感器集机械手手指运动状态，得到反馈信号，并输入第二单片机；S52：第二单片机对接收到的反馈信号进行去噪处理，得到反馈值；S53：第二单片机将目标值与反馈值进行作差，得到当前误差信号；S54：对当前误差信号进行放大，用当前误差信号与前一次误差信号作差，得修正误差；S55：对修正误差进行微分；S56：将前一次舵机的输出值加上放大后的当前误差再加上微分后的修正误差，获得修正值；S57：第二单片机将修正值输出至舵机，舵机根据接收到的修正值对机械手手指的运动状态进行修正；S58：重复步骤S51-S57，直至目标值与反馈值之差为零，停止修正。使得机械手能够更为准确地同步人体手指运动。具体地，所述每根手指的初始控制信号和/或反馈信号是通过与手指接触的传感器采集手指中节指骨处、手指远节指骨处以及手指近节指骨处的运动状态完成一根手指运动状态的识别，其中，手指中节指骨处和手指远节指骨处的运动状态通过角θ表现，当手指为静止时，角度为θ1，θ1通过以下算法获得：式(1)中Az、Ax、Ay分别为加速度计所测得的加速度A在x轴、y轴及z轴上的分量；当手指动作时，角度为θ2，θ2通过以下算法获得：θ2＝θ1+W·dt(2)式(2)中W为陀螺仪所测得的当前角速度，dt为陀螺仪的采集时间；手指近节指骨处的运动状态通过俯仰角Pitch和航向角Yaw表现，其中俯仰角Pitch通过以下算法获得：Pitch＝arcsin(-2*q1n*q3n+2*q0n*q2n)(3)航向角Yaw通过以下算法获得：Yaw＝atan2(2本文档来自技高网...

【技术保护点】
基于多传感器融合的手势识别仿人机械手系统，其特征在于：包括用于采集人体手指运动状态的采集装置和机械手，其中，采集装置包括：集成有第一三轴加速度计和第一陀螺仪的第一传感器、第一单片机及第一通信模板，所述第一三轴加速度计的输出和所述第一陀螺仪的输出分别连接至所述第一单片机的两个输入，所述第一单片机的一路输出端连接至所述第一通信模块的输入；机械手包括机械手本体和设置在机械手本体上的控制电路，所述的控制电路包括第二通信模块、第二单片机及舵机，所述第二通信模块的输出连接至所述第二单片机的一路输入，所述第二单片机的一路输出连接至所述舵机的控制端，所述舵机的输出与机械手手指连接控制其运动状态；所述第一通信模块的输出连接至所述第二通信模块的输入。

【技术特征摘要】
2016.07.04 CN 20161053371861.基于多传感器融合的手势识别仿人机械手系统，其特征在于：包括用于采集人体手指运动状态的采集装置和机械手，其中，采集装置包括：集成有第一三轴加速度计和第一陀螺仪的第一传感器、第一单片机及第一通信模板，所述第一三轴加速度计的输出和所述第一陀螺仪的输出分别连接至所述第一单片机的两个输入，所述第一单片机的一路输出端连接至所述第一通信模块的输入；机械手包括机械手本体和设置在机械手本体上的控制电路，所述的控制电路包括第二通信模块、第二单片机及舵机，所述第二通信模块的输出连接至所述第二单片机的一路输入，所述第二单片机的一路输出连接至所述舵机的控制端，所述舵机的输出与机械手手指连接控制其运动状态；所述第一通信模块的输出连接至所述第二通信模块的输入。2.根据权利要求1所述的基于多传感器融合的手势识别仿人机械手系统，其特征在于：所述控制电路还包括集成有第二三轴加速度计及第二陀螺仪的第二传感器，所述第二传感器设置机械手手指上，所述第二三轴加速度计的输出和所述第二陀螺仪的输出分别连接至所述第二单片的两个输入。3.根据权利要求2所述的基于多传感器融合的手势识别仿人机械手系统，其特征在于：所述第二传感器的数量为机械手手指的两倍，其中一个第二传感器与机械手拇指位置相对应，另一个第二传感器与机械手拇短展肌位置相对应，其余第二传感器分别均匀的与剩余的机械手手指位置相对应。4.根据权利要求1或2或3所述的基于多传感器融合的手势识别仿人机械手系统，其特征在于：所述第一传感器的数量为人体手指的两倍，其中一个第一传感器与人体拇指位置相对应，另一个第一传感器与人体拇短展肌部位相对应，其余第一传感器分别均匀的与剩余的手指位置相对应。5.根据权利要求1或2或3或4所述的基于多传感器融合的手势识别仿人机械手系统，其特征在于：所述舵机的数量与机械手手指的数量相同。6.根据权利要求1或2或3或4或5所述的基于多传感器融合的手势识别仿人机械手系统，其特征在于：所述第一通信模块的输出与所述第二通信模块的输入之间为无线通信连接。7.根据权利要求1或2或3或4或5或6所述的基于多传感器融合的手势识别仿人机械手系统，其特征在于：还包括电机驱动模块，所述第二单片机的输出通过所述电机驱动模块连接至所述舵机的控制端。8.一种基于多传感器融合的手势识别仿人机械手系统的同步方法，其特征在于：其具体步骤为：S1：通过与人体手指接触的第一传感器采集人体每根手指运动状态，得到每根手指的初始控制信号；S2：初始控制信号输入第一单片机，第一单片机对接收到的信号进行去噪处理，得每根手指的控制信号；S3：第一单片机将控制信号通过第一通信模块发送至第二通信模块；S4：第二通信模块将接收到的控制信号输入第二单片机，第二单片机对接收到的控制信号进行处理，第二单片机将处理后的控制信号进行存储，作为目标指，并输出相应舵机控制信号控制舵机动作；S5：舵机根据接收到的舵机控制信号控制机械手手指实现与人体手指相同的运动。9.根据权利要求8所述的同步方法，其特征在于：还包括机械手手指运动修正步骤，具体为：S51：通过与机械手手指接触的第二传感器集机械手手指运动状态，得到反馈信号，并输入第二单片机；S52：...

【专利技术属性】
技术研发人员：高金凤，陈凯，王福能，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：浙江,33