一种基于手势的人机交互方法及设备技术

本申请的目的是提供一种基于手势的人机交互方法及设备，本申请通过获取摄像设备拍摄的一时间段内的至少两帧人体图像；分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；基于所述控制指令控制电子屏幕进行相应的屏幕操作，实现了只需通过简单的手势就可以完成一些简单且有效的屏幕操作，实现远距离控制屏幕的操作，提高用户体验度和操作性。

【技术实现步骤摘要】
一种基于手势的人机交互方法及设备
本申请涉及计算机视觉处理
，尤其涉及一种基于手势的人机交互方法及设备。
技术介绍
现有技术中，电子白板非常普及于课堂和会议室，但是现有电子白板的人机交互模块一般只有电子笔和触摸屏。一些简单的操作如果使用触摸屏，只能接触式操作，则需要近距离接触到触摸屏才能操作，同样使用电子笔则必须要交电子笔传递给操作者，电子笔虽然可以远程操作但必须要手持，这样在课堂或会议时都需要人体挪动才可以完成，造成不便。
技术实现思路
本申请的一个目的是提供一种基于手势的人机交互方法及设备，实现了只需通过简单的手势就可以完成一些简单且有效的屏幕操作，实现远距离控制屏幕的操作，提高用户体验度和操作性。根据本申请的一个方面，提供了一种基于手势的人机交互方法，其中，所述方法包括：获取摄像设备拍摄的一时间段内的至少两帧人体图像；分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；基于所述控制指令控制电子屏幕进行相应的屏幕操作。进一步地，上述方法中，所述分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置，包括：分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像；分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置。进一步地，上述方法中，所述分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像，包括：基于Haar特征与轮廓特征相结合的算法，分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像。进一步地，上述方法中，所述方法还包括：训练并确定用于手势识别的分类器；其中，所述分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置，包括：分别将每帧所述人体图像对应的手部区域图像输入至所述分类器进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置。进一步地，上述方法中，所述方法还包括：预置至少一种手势及其移动方向与预设控制指令之间的映射关系；其中，所述根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令，包括：根据所述手势移动方向和每帧所述人体图像对应的手势，在所述映射关系中进行指令匹配，得到对应的控制指令。根据本申请的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述基于手势的人机交互方法。根据本申请的另一方面，还提供了一种基于手势的人机交互设备，其中，该设备包括：一个或多个处理器；计算机可读介质，用于存储一个或多个计算机可读指令，当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述基于手势的人机交互方法。与现有技术相比，本申请通过获取摄像设备拍摄的一时间段内的至少两帧人体图像；分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；基于所述控制指令控制电子屏幕进行相应的屏幕操作，实现了只需通过简单的手势就可以完成一些简单且有效的屏幕操作，实现远距离控制屏幕的操作，提高用户体验度和操作性。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出根据本申请一个方面的一种基于手势的人机交互方法的流程示意图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。图1示出根据本申请一个方面的一种基于手势的人机交互方法的流程示意图，其中，所述方法包括步骤S11、步骤S12、步骤S13、步骤S14及步骤S15，具体包括如下步骤：步骤S11，获取摄像设备拍摄的一时间段内的至少两帧人体图像；在此，所述摄像设备包括但不限于相机、摄像头等可以拍照或者摄像的设备；所述至少两帧人体图像为所述时间段内获取的连续的人体图像，便于后续对连续的人体图像进行分析，以得到人体的手势移动反向等数据。步骤S12，分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；由于人体是可以移动的，在分析每帧人体图像后，每帧人体图像会对应一个手势，且手势可以相同，也可以不同，或者说可以存在用一个手势的不同移动形态，故而，为了更好地分析手势，在检测每帧人体图像对应的手势的同时，也需要确定分析出的手势在当前的人体图像中的位置。步骤S13，根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；由于用户的手势移动是连续的，为了确定手势移动趋势，需要根据检测出的每帧所述人体图像对应的手势及计算和记录的所述手势在当前对应的人体图像中的位置，并使用卡尔曼滤波，确定手势移动轨迹，从而判断并确定出手势移动趋势和手势移动方向。步骤S14，根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令。步骤S15，基于所述控制指令控制电子屏幕进行相应的屏幕操作，在此，所述屏幕操作包括但不限于对屏幕进行的PPT控制、本文档来自技高网...

【技术保护点】
1.一种基于手势的人机交互方法，其中，所述方法包括：/n获取摄像设备拍摄的一时间段内的至少两帧人体图像；/n分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；/n根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；/n根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；/n基于所述控制指令控制电子屏幕进行相应的屏幕操作。/n

【技术特征摘要】
1.一种基于手势的人机交互方法，其中，所述方法包括：
获取摄像设备拍摄的一时间段内的至少两帧人体图像；
分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；
根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；
根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；
基于所述控制指令控制电子屏幕进行相应的屏幕操作。


2.根据权利要求1所述的方法，其中，所述分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置，包括：
分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像；
分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置。


3.根据权利要求2所述的方法，其中，所述分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像，包括：
基于Haar特征与轮廓特征相结合的算法，分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像。


4.根据权利要求2所述的方法，其中，所述...

【专利技术属性】
技术研发人员：李海斌，胡勇兵，
申请(专利权)人：苏州惠显智能科技有限公司，
类型：发明
国别省市：江苏;32