一种隔空手势识别方法、电子设备及芯片系统技术方案

本申请提供一种隔空手势识别方法、电子设备及芯片系统，涉及手势识别技术领域，该方法可以在检测到隔空手势操作后，获取摄像头采集的两个图像，根据两个图像的手部姿态确定是否满足特定手势的起始姿态和结束姿态，根据两个图像的手部位置确定当前用户做出的手势的方向和特定手势的运动方向是否一致；通过这种从动态手势的起始姿态、结束姿态和运动方向三个角度确定动态手势的方式，可以通过两张图像准确的识别到隔空动态手势。确的识别到隔空动态手势。确的识别到隔空动态手势。

【技术实现步骤摘要】
一种隔空手势识别方法、电子设备及芯片系统


[0001]本申请实施例涉及手势识别
，尤其涉及一种隔空手势识别方法、电子设备及芯片系统。

技术介绍

[0002]电子设备可以提供隔空手势识别功能，用户在电子设备的摄像头的视角范围内做出特定手势，电子设备通过摄像头采集图像，电子设备在采集的图像中检测到特定手势后，做出与该特定手势相应的响应。
[0003]当特定手势为动态手势时，常采用根据连续多帧图像中每个图像上的手部的位置确定出手部的运动轨迹，然后将运动轨迹和各个手势的运动轨迹对比，从而确定出动态手势，然后，这种方式只能应用于较为简单的动态手势识别中，例如，手部动作不变进行上下左右平移的动态手势识别中，应用在较为复杂的动态手势识别中时识别准确度较差。

技术实现思路

[0004]本申请实施例提供一种隔空手势识别方法、电子设备及芯片系统，可以准确的识别动态的隔空手势。
[0005]为达到上述目的，本申请采用如下技术方案：
[0006]第一方面，本申请实施例提供一种隔空手势识别方法，包括：
[0007]对用户的隔空手势操作进行检测；
[0008]响应于检测到用户的隔空手势操作，获取第一图像和第二图像，所述第二图像的采集时间晚于所述第一图像的采集时间；
[0009]在所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第一预设条件时，确定用户的隔空手势操作为第一手势，所述第一特征信息包括第一手部姿态和第一手部位置，所述第二特征信息包括第二手部姿态和第二手部位置，所述第一预设条件包括：所述第一手部姿态和所述第一手势的起始姿态一致、所述第二手部姿态和所述第一手势的结束姿态一致、且从所述第一手部位置到所述第二手部位置的方向和所述第一手势的运动方向一致，所述第一手势的起始姿态和结束姿态不同，所述第一手势为上滑手势或下滑手势。
[0010]本申请中，通过比较采集时间较早的图像与采集时间较晚的图像之间的起始姿态，结束姿态以及手势的运动方向，可以用较少的手势图像就能够实现对上滑和下滑手势的识别。
[0011]具体来说，在检测到隔空手势操作可以为检测到用户的手势的姿态为任一手势的起始姿态。在检测到隔空手势操作后，可以获取摄像头采集的两个图像，将采集时间较早的图像中的手部姿态和手势库中的手势的起始姿态进行比较，将采集时间较晚的图像中的手部姿态和手势库中的手势的结束姿态进行比较，根据采集时间较早的图像中的手部位置和采集时间较晚的图像中的手部位置确定手部的运动方向，比较确定的运动方向和手势库中
的手势的运动方向，从而确定是否满足手势库中的手势对应的条件，通过这种方式可以从手势的起始姿态、结束姿态和运动方向三个角度判断当前采集的图像中是否识别到某个手势，可以实现准确的上滑手势和下滑手势的识别。
[0012]当然，实际应用中，在检测到起始姿态后，表示有隔空手势操作，该隔空手势操作有后续的动作的情况下，第一图像和第二图像才可能满足某个手势对应的条件，所以，可以理解在两个图像对应的特征信息满足某个手势对应的条件的情况下，确定该隔空手势操作(包括后续的手部动作)对应的手势为第一手势。
[0013]在第一方面的另一实现方式中，响应于所述第一手势，对电子设备当前显示的内容进行滑动。
[0014]本申请中，当第一手势为上滑手势时，电子设备当前显示的内容上滑或者翻到下一页，当第一手势为下滑手势，电子设备当前显示的内容下滑或者翻到上一页。
[0015]在第一方面的另一实现方式中，所述第一手势的起始姿态与手类别和手指朝向相关；所述第一手势的结束姿态与手类别和手指朝向相关；所述第一手部位置包括所述第一图像中手部检测框在所述第一图像上的位置；所述第二手部位置包括所述第二图像中手部检测框在所述第二图像上的位置。
[0016]本申请中，针对上滑和下滑手势，可以从手类别和手指朝向的角度对比起始手势，从手类别和手指朝向的角度对比结束手势，通过手类别和手指指向两个角度可以更精确的确定和手势库中的手势的起始姿态(或结束姿态)是否一致；目前的手类别检测模型在输出手类别的同时，通常会输出手部检测框，所以，利用同一模型输出的手部检测框避免单独检测手部位置可以减少流程，提高效率。
[0017]在第一方面的另一实现方式中，所述第一手势为下滑手势，所述第一手势的起始姿态为手掌且手指朝上，所述第一手势的结束姿态为手背且手指朝下；
[0018]从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向下。
[0019]本申请中，第一手势的起始姿态为手掌且手指朝上，结束姿态为手背且手指朝下，可以理解，第一手势中起始姿态和结束姿态均为手部张开的动作，在手部张开的情况下，手部检测框的中心点比较能够准确的表达手部的位置，所以，采用手部检测框的中心点作为手部位置的一个参数。
[0020]在第一方面的另一实现方式中，所述第一手势为上滑手势，所述第一手势的起始姿态为手掌且手指朝下，所述第一手势的结束姿态为手背且手指朝上；
[0021]从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向上。
[0022]在第一方面的另一实现方式中，所述第一手势为上滑手势，所述第一手势的起始姿态为手背且手指朝下，所述第一手势的结束姿态为手掌且手指朝上；
[0023]从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向上。
[0024]本申请中，上滑手势中的参数的选择原因可以参照下滑手势参数的选择原因。
[0025]在第一方面的另一实现方式中，所述第一预设条件还包括：
[0026]从所述第一手部位置到所述第二手部位置的距离满足所述第一手势的运动距离条件。
[0027]本申请中，在通过起始姿态、结束姿态和运动方向三个角度识别上滑手势和下滑手势的基础上，还可以增加运动距离以更准确的识别到上滑手势和下滑手势，在判断条件中增加运动距离可以避免将用户在使用电子设备时在屏幕前方做出的一些非手势的手部动作识别为上滑手势或下滑手势，从而提高手势识别的准确度。
[0028]在第一方面的另一实现方式中，所述第一手部位置包括：所述第一图像中指尖在所述第一图像上的位置，所述第二手部位置包括：所述第二图像中指尖在所述第二图像上的位置。
[0029]本申请中，因为上滑手势和下滑手势的起始姿态和结束姿态中指尖的运动距离是变化最大，所以，可以将指尖的位置作为手部位置的一个参数，从而能够准确的识别到手部的运动距离。
[0030]在第一方面的另一实现方式中，从所述第一手部位置到所述第二手部位置的距离满足所述第一手势的运动距离条件包括：
[0031]从所述第一图像中指尖的位置到所述第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种隔空手势识别方法，其特征在于，包括：对用户的隔空手势操作进行检测；响应于检测到用户的隔空手势操作，获取第一图像和第二图像，所述第二图像的采集时间晚于所述第一图像的采集时间；在所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第一预设条件时，确定所述用户的隔空手势操作为第一手势，所述第一特征信息包括第一手部姿态和第一手部位置，所述第二特征信息包括第二手部姿态和第二手部位置，所述第一预设条件包括：所述第一手部姿态和所述第一手势的起始姿态一致、所述第二手部姿态和所述第一手势的结束姿态一致、且从所述第一手部位置到所述第二手部位置的方向和所述第一手势的运动方向一致，所述第一手势的起始姿态和结束姿态不同，所述第一手势为上滑手势或下滑手势。2.如权利要求1所述的方法，其特征在于，所述第一手势的起始姿态与手类别和手指朝向相关；所述第一手势的结束姿态与手类别和手指朝向相关；所述第一手部位置包括所述第一图像中手部检测框在所述第一图像上的位置；所述第二手部位置包括所述第二图像中手部检测框在所述第二图像上的位置。3.如权利要求2所述的方法，其特征在于，所述第一手势为下滑手势，所述第一手势的起始姿态为手掌且手指朝上，所述第一手势的结束姿态为手背且手指朝下；从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向下。4.如权利要求2所述的方法，其特征在于，所述第一手势为上滑手势，所述第一手势的起始姿态为手掌且手指朝下，所述第一手势的结束姿态为手背且手指朝上；从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向上。5.如权利要求2所述的方法，其特征在于，所述第一手势为上滑手势，所述第一手势的起始姿态为手背且手指朝下，所述第一手势的结束姿态为手掌且手指朝上；从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向上。6.如权利要求1至5任一项所述的方法，其特征在于，所述第一预设条件还包括：从所述第一手部位置到所述第二手部位置的距离满足所述第一手势的运动距离条件。7.如权利要求6所述的方法，其特征在于，所述第一手部位置包括：所述第一图像中指尖在所述第一图像上的位置，所述第二手部位置包括：所述第二图像中指尖在所述第二图像上的位置。8.如权利要求7所述的方法，其特征在于，从所述第一手部位置到所述第二手部位置的距离满足所述第一手势的运动距离条件包括：从所述第一图像中指尖的位置到所述第二图像中指尖的位置的距离和所述第二图像中手部宽度的比值在第一区间内。9.如权利要求1至8任一项所述的方法，其特征在于，在获取第一图像和第二图像之后，所述方法还包括：在所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第二预设条件
时，确定所述用户的隔空手势操作为第二手势，所述第二手势为手势库中除所述第一手势之外的手势，所述第二预设条件包括：所述第一手部姿态和所述第二手势的起始姿态一致、所述第二手部姿态和所述第二手势的结束姿态一致、所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件，所述第二手势为抓握手势。10.如权利要求9所述的方法，其特征在于，所述第二手势的起始姿态为手掌且手指朝上，所述第一手势的结束姿态为握拳；所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件包括：所述第一图像中手部检测框和所述第二图像中手部检测框的交并比大于第一阈值。11.如权利要求9或10所述的方法，其特征在于，所述第二预设条件还包括：所述第二图像中指尖和指根的位置关系满足所述第二手势的结束姿态中指尖和指根的位置关系条件。12.如权利要求11所述的方法，其特征在于，所述第二图像中指尖和指根的位置关系满足所述第二手势的结束姿态中指尖和指根的位置关系条件包括：所述第二图像中指尖到手腕的距离与指根到手腕的距离的比值在第二区间内。13.如权利要求1...

【专利技术属性】
技术研发人员：张涛，杜远超，张飞洋，朱世宇，王文博，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：