手势识别方法、装置、电子设备及存储介质制造方法及图纸

本申请示出了一种手势识别方法、装置、电子设备及存储介质，其中手势识别方法包括：获取手部图像；采用特征映射模型，提取手部的第一标准特征；特征映射模型是根据合成图像样本和真实图像样本中手部的第二标准特征预先训练得到的；对第一标准特征进行处理，获得手部多个关键点的三维坐标；根据各关键点的三维坐标，确定手部的姿势。该方法由于采用合成图像与真实图像中手部的共同特征进行模型训练，在标准特征层面消除了合成图像与真实图像之间的差异，从而可以提升弱监督情形下手势识别的准确率；并且该方法不需要手势完全一致的合成图像样本与真实图像样本，放宽了对训练数据集的要求；该方法还适用于彩色图像的手势识别，应用面更广泛。

Gesture Recognition Method, Device, Electronic Equipment and Storage Media

This application shows a gesture recognition method, device, electronic equipment and storage medium, in which gesture recognition methods include: acquiring hand images; extracting the first standard features of the hand using feature mapping model; pre-training the second standard features of the hand based on synthetic image samples and real image samples; and performing the first standard features. The three-dimensional coordinates of the key points of the hand are obtained by processing, and the gesture of the hand is determined according to the three-dimensional coordinates of the key points. This method eliminates the difference between synthetic image and real image at the standard feature level by using the common features of hand in synthetic image and real image for model training, so as to improve the accuracy of gesture recognition under weak supervision. Moreover, this method does not need the samples of synthetic image and real image which are identical in gesture, and relaxes the training data set. The method is also suitable for gesture recognition of color images, and has a wider application.

【技术实现步骤摘要】
手势识别方法、装置、电子设备及存储介质
本申请涉及计算机
，尤其涉及一种手势识别方法、装置、电子设备及存储介质。
技术介绍
手势识别即人手姿态估计，是指在包含人手的图像中预测人手关键点的三维坐标。现有的人手姿态估计技术中，由于深度歧义性(多个三维坐标可以映射到同一二维坐标)，以及手部姿态灵活多变导致的自遮挡现象十分严重，使得直接在图像上进行三维关键点标注十分困难，因此真实情形下的人手数据集往往没有三维坐标标注。随着渲染技术的发展，使用渲染器合成的人手图像往往数量充足而且标注完善，但是合成的人手与真实场景的人手在皮肤和背景上差距都比较大，因此仅根据合成数据集训练得到的手势识别模型泛化能力较差。为了缓解真实图像标注困难这个问题，通常做法是采用弱监督人手姿态估计方法，即利用合成数据与真实数据联合训练来提升真实场景姿态估计的准确率。现有的弱监督方法会通过合成数据学习二维到三维的映射关系，并将这种关系应用于真实场景，同时使用易于获得的深度图来约束深度预测的范围，降低深度歧义性的影响。然而，由于合成数据与真实数据具有较大的差异，仅仅深度图约束不足以消除这种差异，因而对三维姿态估计准确率的提升也有限。
技术实现思路
为克服相关技术中存在的问题，本申请提供一种手势识别方法、装置、电子设备及存储介质。根据本申请的第一方面，提供一种手势识别方法，所述方法包括：获取手部图像；采用特征映射模型，提取所述手部图像中手部的第一标准特征；所述特征映射模型是根据合成图像样本和真实图像样本中手部的第二标准特征预先训练得到的；对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标；根据各所述关键点的三维坐标，确定所述手部的姿势。在一个可选的实现方式中，所述第一标准特征和所述第二标准特征包括手部骨架结构和手部骨骼相对长度中至少一种。在一个可选的实现方式中，在所述采用特征映射模型，提取所述手部的第一标准特征的步骤之前，还包括：获得所述特征映射模型；所述获得所述特征映射模型的步骤，包括：获取所述合成图像样本以及所述真实图像样本；提取所述合成图像样本的第一特征以及所述真实图像样本的第二特征；计算所述第一特征与所述第二特征之间的距离；当所述距离小于或等于预设阈值时，确定所述第一特征和所述第二特征为第二标准特征；根据所述第一特征、所述第二特征以及所述第二标准特征进行模型训练，得到所述特征映射模型。在一个可选的实现方式中，所述对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标的步骤，包括：采用预先训练得到的坐标回归模型，对所述第一标准特征进行处理，得到所述手部多个关键点的第一像素坐标和第一深度坐标，所述第一深度坐标为归一化后的相对深度；根据各所述关键点的第一像素坐标、第一深度坐标以及预先设定的相机参数和根节点坐标，得到各所述关键点的三维坐标。在一个可选的实现方式中，在所述采用预先训练得到的坐标回归模型，对所述第一标准特征进行处理，得到所述手部多个关键点的第一像素坐标和第一深度坐标的步骤之前，还包括：获得所述坐标回归模型；所述获得所述坐标回归模型的步骤，包括：获取所述合成图像样本的手部关键点三维坐标，以及所述真实图像样本的手部关键点二维坐标；对所述第二标准特征进行处理，得到各所述合成图像样本的手部关键点的第二像素坐标和第二深度坐标，以及各所述真实图像样本的手部关键点的第三像素坐标和第三深度坐标；根据所述第二像素坐标、所述第二深度坐标、所述第三像素坐标、所述第三深度坐标、所述合成图像样本的手部关键点三维坐标以及所述真实图像样本的手部关键点二维坐标进行模型训练，得到所述坐标回归模型。在一个可选的实现方式中，在所述根据所述第二像素坐标、所述第二深度坐标、所述第三像素坐标、所述第三深度坐标、所述合成图像样本的手部关键点三维坐标以及所述真实图像样本的手部关键点二维坐标进行模型训练，得到所述坐标回归模型的步骤之前，还包括：采用预先训练好的坐标优化模型，对所述第二像素坐标、所述第二深度坐标、所述第三像素坐标以及所述第三深度坐标进行优化。在一个可选的实现方式中，在所述采用预先训练好的坐标优化模型，对所述第二像素坐标、所述第二深度坐标、所述第三像素坐标以及所述第三深度坐标进行优化的步骤之前，还包括：获得所述坐标优化模型；所述获得所述坐标优化模型的步骤，包括：获取所述合成图像样本的第一深度图以及所述真实图像样本的第二深度图；对所述第二像素坐标和所述第二深度坐标进行上采样处理，得到第三深度图；对所述第三像素坐标和所述第三深度坐标进行上采样处理，得到第四深度图；根据所述第一深度图、所述第二深度图、所述第三深度图、所述第四深度图进行模型训练，得到所述坐标优化模型。根据本申请的第二方面，提供一种手势识别装置，所述装置包括：第一获取模块，被配置为获取手部图像；特征提取模块，被配置为采用特征映射模型，提取所述手部图像中手部的第一标准特征；所述特征映射模型是根据合成图像样本和真实图像样本中手部的第二标准特征预先训练得到的；坐标获取模块，被配置为对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标；手势确定模块，被配置为根据各所述关键点的三维坐标，确定所述手部的姿势。在一个可选的实现方式中，所述第一标准特征和所述第二标准特征包括手部骨架结构和手部骨骼相对长度中至少一种。在一个可选的实现方式中，所述装置还包括：第二获取模块，被配置为获得所述特征映射模型；所述第二获取模块包括：第一获取单元，被配置为获取所述合成图像样本以及所述真实图像样本；特征提取单元，被配置为提取所述合成图像样本的第一特征以及所述真实图像样本的第二特征；距离计算单元，被配置为计算所述第一特征与所述第二特征之间的距离；标准特征单元，被配置为当所述距离小于或等于预设阈值时，确定所述第一特征和所述第二特征为第二标准特征；第一训练单元，被配置为根据所述第一特征、所述第二特征以及所述第二标准特征进行模型训练，得到所述特征映射模型。在一个可选的实现方式中，所述坐标获取模块包括：第二获取单元，被配置为采用预先训练得到的坐标回归模型，对所述第一标准特征进行处理，得到所述手部多个关键点的第一像素坐标和第一深度坐标，所述第一深度坐标为归一化后的相对深度；第三获取单元，被配置为根据各所述关键点的第一像素坐标、第一深度坐标以及预先设定的相机参数和根节点坐标，得到各所述关键点的三维坐标。在一个可选的实现方式中，所述装置还包括：第三获取模块，被配置为获得所述坐标回归模型；所述第三获取模块包括：第四获取单元，被配置为获取所述合成图像样本的手部关键点三维坐标，以及所述真实图像样本的手部关键点二维坐标；第五获取单元，被配置为对所述第二标准特征进行处理，得到各所述合成图像样本的手部关键点的第二像素坐标和第二深度坐标，以及各所述真实图像样本的手部关键点的第三像素坐标和第三深度坐标；第二训练单元，被配置为根据所述第二像素坐标、所述第二深度坐标、所述第三像素坐标、所述第三深度坐标、所述合成图像样本的手部关键点三维坐标以及所述真实图像样本的手部关键点二维坐标进行模型训练，得到所述坐标回归模型。在一个可选的实现方式中，所述第三获取模块还包括：坐标优化单元，被配置为采用预先训练好的坐标优化模型，对所述第二像素坐标、所述第二深度坐标本文档来自技高网...

【技术保护点】
1.一种手势识别方法，其特征在于，所述方法包括：获取手部图像；采用特征映射模型，提取所述手部图像中手部的第一标准特征；所述特征映射模型是根据合成图像样本和真实图像样本中手部的第二标准特征预先训练得到的；对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标；根据各所述关键点的三维坐标，确定所述手部的姿势。

【技术特征摘要】
1.一种手势识别方法，其特征在于，所述方法包括：获取手部图像；采用特征映射模型，提取所述手部图像中手部的第一标准特征；所述特征映射模型是根据合成图像样本和真实图像样本中手部的第二标准特征预先训练得到的；对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标；根据各所述关键点的三维坐标，确定所述手部的姿势。2.根据权利要求1所述的手势识别方法，其特征在于，所述第一标准特征和所述第二标准特征包括手部骨架结构和手部骨骼相对长度中至少一种。3.根据权利要求1所述的手势识别方法，其特征在于，在所述采用特征映射模型，提取所述手部的第一标准特征的步骤之前，还包括：获得所述特征映射模型；所述获得所述特征映射模型的步骤，包括：获取所述合成图像样本以及所述真实图像样本；提取所述合成图像样本的第一特征以及所述真实图像样本的第二特征；计算所述第一特征与所述第二特征之间的距离；当所述距离小于或等于预设阈值时，确定所述第一特征和所述第二特征为第二标准特征；根据所述第一特征、所述第二特征以及所述第二标准特征进行模型训练，得到所述特征映射模型。4.根据权利要求3所述的手势识别方法，其特征在于，所述对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标的步骤，包括：采用预先训练得到的坐标回归模型，对所述第一标准特征进行处理，得到所述手部多个关键点的第一像素坐标和第一深度坐标，所述第一深度坐标为归一化后的相对深度；根据各所述关键点的第一像素坐标、第一深度坐标以及预先设定的相机参数和根节点坐标，得到各所述关键点的三维坐标。5.根据权利要求4所述的手势识别方法，其特征在于，在所述采用预先训练得到的坐标回归模型，对所述第一标准特征进行处理，得到所述手部多个关键点的第一像素坐标和第一深度坐标的步骤之前，还包括：获得所述坐标回归模型；所述获得所述坐标回归模型的步骤，包括：获取所述合成图像样本的手部关键点三维坐标，以及所述真实图像样本的手部关键点二维坐标；对所述第二标准特征进行处理，得到各所述合成图像样本的手部关键点的第二像素坐标和第二深度坐标，以及各所述真实图像样本的手部关键点的第三像素坐标和第三深度坐标；根据所述第...

【专利技术属性】
技术研发人员：刘裕峰，郑文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11