手势识别方法及其电子设备和可读介质技术

本申请涉及计算机领域，公开了一种手势识别方法及其电子设备和可读介质。本申请的手势识别方法包括：获取电子设备的用户的第一图像，并从第一图像中识别出用户的人体关节点坐标，其中，第一图像包括用户的至少一个手部和对应的手臂，人体关节点坐标包括用户的至少一个手腕关节点坐标；基于至少一个手腕关节点坐标获取包括用户至少一个手部的第二图像，其中，第二图像中手部所占面积大于二分之一；从第二图像中识别出对应的手部关节点坐标；基于手部关节点坐标以及第一图像中识别出的人体关节点坐标中的多个人体关节点坐标，确定手势识别结果。本申请的手势识别方法丰富人体轮廓和手势定义，提高手势识别率和用户体验。提高手势识别率和用户体验。提高手势识别率和用户体验。

【技术实现步骤摘要】
手势识别方法及其电子设备和可读介质


[0001]本申请涉及计算机领域，尤其涉及一种手势识别方法及其电子设备和可读介质。

技术介绍

[0002]手势识别是通过算法来识别人类手势，手势识别可以来自人类的身体各部位的运动，用户可以使用简单的手势实现人机交互，让计算机理解人类的行为。目前，手势识别主要通过视觉传感器采集手部图像，进一步对手部图像进行分割并对分割结果进行分析，从而得到手势识别结果。
[0003]但是当用户与电子设备有一定距离时，背景范围扩大会导致电子设备拍摄的图片中背景元素复杂，使得手势识别的准确率降低。

技术实现思路

[0004]本申请实施例提供了一种手势识别方法及其电子设备和可读介质，本申请实施例通过融合用户的人体轮廓图像和手部图像就可以识别出较为复杂的手势动作，从而丰富人体轮廓和手势定义，提高手势识别率和用户体验。
[0005]第一方面，本申请的手势识别方法包括：
[0006]获取电子设备的用户的第一图像，并从所述第一图像中识别出所述用户的人体关节点坐标，其中，所述第一图像包括用户的至少一个手部和对应的手臂，所述人体关节点坐标包括所述用户的至少一个手腕关节点坐标；
[0007]基于所述至少一个手腕关节点坐标获取包括用户至少一个手部的第二图像，其中，所述第二图像中所述手部所占面积大于二分之一；
[0008]从所述第二图像中识别出对应的手部关节点坐标；
[0009]基于所述手部关节点坐标以及所述第一图像中识别出的人体关节点坐标中的多个人体关节点坐标，确定手势识别结果。
[0010]在本申请的一些实施例中，所述第一图像是用户的人体轮廓图像，人体轮廓图像可以是用户的全身轮廓图像，也可以是用户的局部轮廓图像，其中，局部轮廓包括用户做出手势的手部和与手部相连的躯干的图像，例如，用户的局部图像可以是用户的上肢图像(包括手臂和手部)。所述第二图像是用户的手部图像。
[0011]所述人体轮廓图像通过人体姿态识别算法识别出用户的人体关节点坐标，人体姿态识别算法可以包括单镜头多盒检测器(single shot multibox detector， SSD)、区域卷积神经网络(Region Convolutional Neural Network，R
‑
CNN)、快速区域卷积神经网络(Fast Region Convolutional Neural Network，Fast R
‑
CNN)等，所述手部图像通过手势识别算法识别出手部的21个关节点坐标，手势识别算法可以是轻量化网络(Mobile
‑
Net)。
[0012]在本申请的一些实施例中，通过手部的21个手部关节点坐标和手部相应的手臂多个关节点坐标得到手势识别结果，其中，手臂的关节点可以是肩关节、肘关节和腕关节。
[0013]此外，本申请实施例可以通过智能电视等电子设备拍摄用户的人体轮廓图像和手
部图像，然后智能电视再识别所拍摄图像中的人体关节点和手部关节点，本申请实施例还可以由智能电视拍摄用户的人体轮廓图像和手部图像，然后由服务器识别所拍摄图像中的人体关节点和手部关节点，服务器将手势识别结果发送给智能电视，智能电视根据手势识别结果执行相应操作。
[0014]在上述第一方面的一种实现中，所述电子设备设置有第一摄像头和第二摄像头，并且所述电子设备通过第一摄像头采用第一镜头焦距拍摄所述第一图像；以及
[0015]所述基于所述至少一个手腕关节点坐标获取包括用户至少一个手部的第二图像包括：
[0016]所述电子设备基于所述至少一个手腕关节点坐标调节所述第二摄像头的拍摄角度；
[0017]所述第二摄像头采用第二镜头焦距拍摄至少一个手部的第二图像，其中，所述第一镜头焦距小于所述第二镜头焦距。
[0018]在本申请的一些实施例中，第一摄像头可以是广角摄像头，其焦距可以是 0
‑
35mm之间，广角摄像头的视角大，用于拍摄用户的人体轮廓图像，第二摄像头可以是长焦摄像头，长焦摄像头的视角小，用于拍摄用户的手部图像。广角摄像头和长焦摄像头可以同时拍摄用户的人体轮廓图像和手部图像，智能电视可以同时获得清晰的人体轮廓图像和手部图像，提高手势识别的结果。
[0019]在上述第一方面的一种实现中，所述第二摄像头位于所述电子设备的外部，并且所述电子设备通过自动旋转装置调节所述第二摄像头的拍摄角度。
[0020]在本申请的一些实施例中，广角摄像头设置在智能电视的内部，长焦摄像头外接智能电视，在广角摄像头拍摄的人体轮廓图像手部不完整的情况下，智能电视可以通过自动旋转装置转动长焦摄像头，使得长焦摄像头一直跟随手部移动，从而获得完整的手部动作图像。
[0021]在上述第一方面的一种实现中，所述自动旋转装置为云台。
[0022]在本申请的一些实施例中，云台包括但不限于固定云台、电动云台等，其中，固定云台可以调整长焦摄像头的水平和俯仰的角度，达到最好的工作姿态锁定长焦摄像头，适用于识别范围小的情况。电动云台可以扩大长焦摄像头203B的识别范围，电动云台既能水平旋转也能上下旋转，并且可以接受来自控制器的信号精确运行定位。
[0023]在上述第一方面的一种实现中，所述基于所述至少一个手腕关节点坐标获取包括用户至少一个手部的第二图像包括：
[0024]所述电子设备采用所述电子设备的摄像头拍摄用户的第一图像；
[0025]所述电子设备基于所述至少一个手腕关节点坐标确定手部位置，所述电子设备的摄像头根据所述手部位置剪裁所述第一图像；
[0026]所述电子设备的摄像头以预设倍数的数码变焦放大所述裁剪后的第一图像得到所述第二图像，其中，所述第二图像包括用户至少一个手部。
[0027]在上述第一方面的一种实现中，所述基于所述手部关节点坐标以及所述第一图像中识别出的人体关节点坐标中的多个人体关节点坐标，确定手势识别结果，包括：
[0028]根据多帧第二图像的手部关节点坐标确定手部动作；
[0029]根据多帧第一图像的人体关节点坐标确定手部对应手臂的手臂动作；
[0030]根据所述手部动作和所述手臂动作确定手势识别结果。
[0031]在上述第一方面的一种实现中，所述根据所述多帧第二图像的手部关节点坐标确定手部动作，包括：
[0032]根据所述多帧第二图像的手部关节点坐标确定所述手部中每根手指的状态，并基于所述每根手指的状态确定手部动作。
[0033]在上述第一方面的一种实现中，所述根据所述多帧第二图像的手部关节点坐标确定所述手部中每根手指的状态，并基于所述每根手指的状态确定手部动作，包括：
[0034]如果所述手指的指尖关节点的纵坐标大于第一关节点、第二关节点以及手指根部关节点的纵坐标，则手指状态为伸直状态；
[0035]如果所述手指的指尖关节点的纵坐标小于第一关节点、第二关节点或手指根部关节点的纵坐标，则手指状态为弯曲状态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：获取电子设备的用户的第一图像，并从所述第一图像中识别出所述用户的人体关节点坐标，其中，所述第一图像包括用户的至少一个手部和对应的手臂，所述人体关节点坐标包括所述用户的至少一个手腕关节点坐标；基于所述至少一个手腕关节点坐标获取包括用户至少一个手部的第二图像，其中，所述第二图像中所述手部所占面积大于二分之一；从所述第二图像中识别出对应的手部关节点坐标；基于所述手部关节点坐标以及所述第一图像中识别出的人体关节点坐标中的多个人体关节点坐标，确定手势识别结果。2.根据权利要求1所述的方法，其特征在于，所述电子设备设置有第一摄像头和第二摄像头，并且所述电子设备通过第一摄像头采用第一镜头焦距拍摄所述第一图像；以及所述基于所述至少一个手腕关节点坐标获取包括用户至少一个手部的第二图像包括：所述电子设备基于所述至少一个手腕关节点坐标调节所述第二摄像头的拍摄角度；所述第二摄像头采用第二镜头焦距拍摄至少一个手部的第二图像，其中，所述第一镜头焦距小于所述第二镜头焦距。3.根据权利要求2所述的方法，其特征在于，所述第二摄像头位于所述电子设备的外部，并且所述电子设备通过自动旋转装置调节所述第二摄像头的拍摄角度。4.根据权利要求3所述的方法，其特征在于，所述自动旋转装置为云台。5.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个手腕关节点坐标获取包括用户至少一个手部的第二图像包括：所述电子设备采用所述电子设备的摄像头拍摄用户的第一图像；所述电子设备基于所述至少一个手腕关节点坐标确定手部位置，所述电子设备的摄像头根据所述手部位置剪裁所述第一图像；所述电子设备的摄像头以预设倍数的数码变焦放大所述裁剪后的第一图像得到所述第二图像，其中，所述第二图像包括用户至少一个手部。6.根据权利要求1所述的方法，其特征在于，所述基于所述手部关节点坐标以及所述第一图像中识别出的人体关节点坐标中的多个人体关节点坐标，确定手势识别结果，包括：根据多帧第二图像的手部关节点坐标确定手部动作；根据多帧第一图像的人体关节点坐标确定手部对应手臂的手臂动作；根据所述手部动作和所述手臂动作确定手势识别结果。7.根据权利要求6所述的方法，其特征在于，所述根据所述多帧第二图像的手部关节点坐标确定...

【专利技术属性】
技术研发人员：李世明，董春雨，李程，李晓珍，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：