一种手势动作的识别方法、装置以及设备制造方法及图纸

本申请公开了一种手势动作的识别方法，该方法通过识别第一手势图片和第二手势图片得到表征手指关节的角度的第一向量和第二向量，然后利用数学模型方法，根据第一向量和第二向量计算得到第一角度变化总量，该第一角度变化总量是第一指定手指中第一指定关节对应的角度变化总量；根据第一角度变化总量和第一预设阈值，获得手势动作的识别结果。由于用户在实施指定手势动作时，必然存在特定手指的特定关节发生角度变化，因此，该方法根据该特定手指的特定关节在两张手势图片中的角度变化情况，就能够识别动态的手势动作。本申请提供的手势动作的识别方法在人工智能领域中具有更为广泛的应用前景。本申请还公开了一种手势动作的识别装置。

A Recognition Method, Device and Equipment for Gesture Action

【技术实现步骤摘要】
一种手势动作的识别方法、装置以及设备
本申请涉及人工智能
，尤其涉及一种手势动作的识别方法、装置、设备以及计算机可读存储介质。
技术介绍
人体手势骨架识别是目前人机交互领域广泛研究的研究任务，目前较为成熟的人体手势骨架识别方法是，基于卷积神经网络对手势图片进行识别，将手势图片输入卷积神经网络，网络输出手上各个关节点在图中的位置坐标。现有的人体手势骨架识别方法仅仅能够识别单张手势图片，因此，其仅能够对静态的手势进行识别，但在人机交互领域的实际场景中手势往往是动态的，现有的手势识别技术还不能识别动态有序的手势动作。
技术实现思路
本申请实施例提供了一种手势动作的识别方法、装置、设备以及相关产品，使得能够对动态的手势动作进行识别，并且具有较高的准确率，因而具有广泛的应用前景。有鉴于此，本申请第一方面提供了一种手势动作的识别方法，所述方法包括：获取第一手势图片和第二手势图片；识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。可选的，所述方法还包括：根据所述第一向量和所述第二向量，计算第二指定手指中第二指定关节的第二角度变化总量，所述第二指定手指是指实施指定手势动作时关节的角度不需要发生变化的手指，所述第二指定关节是指所述第二指定手指中的手指关节；则所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：根据所述第一角度变化总量和第一预设阈值，以及所述第二角度变化总量和第二预设阈值，获得手势动作的识别结果。可选的，所述方法还包括：根据所述第一向量计算所述第一指定手指对应的第一线性回归决定系数，以及根据所述第二向量计算所述第一指定手指对应的第二线性回归决定系数；根据所述第一线性回归决定系数和所述第二线性回归决定系数，计算所述第一指定手指对应的第一决定系数变化量；则所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：根据所述第一角度变化总量和第一预设阈值，以及所述第一决定系数变化量和第三预设阈值，获得手势动作的识别结果。可选的，所述方法还包括：根据所述第一向量计算所述第二指定手指对应的第三线性回归决定系数，以及根据所述第二向量计算所述第二指定手指对应的第四线性回归决定系数；根据所述第三线性回归决定系数和所述第四线性回归决定系数，计算所述第二指定手指对应的第二决定系数变化量；则所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果。可选的，若所述第二指定手指中包括第三指定手指，所述第三指定手指是指实施所述指定手势动作时手指关节点呈线性关系的手指；则所述根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果，包括：根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，所述第二决定系数变化量和第四预设阈值，以及所述第三指定手指对应的第三线性回归决定系数和第五预设阈值，获得手势动作的识别结果。可选的，通过以下方式计算指定手指中指定关节对应的角度变化总量：根据所述第一向量和所述第二向量，计算得到差向量；从所述差向量中获取指定手指中指定关节各自对应的角度变化量，计算角度变化量的和值得到指定手指中指定关节对应的角度变化总量。可选的，所述指定手势动作为弹指动作，所述第一指定手指是中指；第一指定关节包括中指上的三个手指关节。可选的，所述指定手指动作为弹指动作，所述第一指定手指是中指；第一指定关节包括中指上的三个手指关节；所述第二指定手指包括大拇指、食指、无名指和小指。可选的，在所述确定用户实施所述指定手势动作之后，所述方法还包括：在界面上显示与所述指定手势动作对应的动画效果。可选的，通过以下方式识别手势图片得到对应的向量：根据手势图片和卷积神经网络模型识别得到坐标集，所述坐标集中包括被识别的手势图片中手部各个关节点的位置坐标；根据所述坐标集中各个关节点的位置坐标，计算手指关节对应的角度；根据所述角度生成与被识别的手势图片对应的向量，所述向量用于表征被识别的手势图片中手指关节的角度。可选的，所述根据所述坐标集中各个关节点的位置坐标，计算手指关节对应的角度，包括：根据所述坐标集中各个关节点的位置坐标，计算得到手指关节所连接的两节指节对应的两个向量；利用反余弦函数和所述两个向量，计算手指关节对应的角度。本申请第二方面提供一种手势动作的识别装置，所述装置包括：获取模块，用于获取第一手势图片和第二手势图片；识别模块，用于识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；计算模块，用于根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；确定模块，用于根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。可选的，计算模块还用于：根据所述第一向量和所述第二向量，计算第二指定手指中第二指定关节的第二角度变化总量，所述第二指定手指是指实施指定手势动作时关节的角度不需要发生变化的手指，所述第二指定关节是指所述第二指定手指中的手指关节；则确定模块具体用于：根据所述第一角度变化总量和第一预设阈值，以及所述第二角度变化总量和第二预设阈值，获得手势动作的识别结果。可选的，计算模块还用于：根据所述第一向量计算所述第一指定手指对应的第一线性回归决定系数，以及根据所述第二向量计算所述第一指定手指对应的第二线性回归决定系数；根据所述第一线性回归决定系数和所述第二线性回归决定系数，计算所述第一指定手指对应的第一决定系数变化量；则确定模块具体用于：根据所述第一角度变化总量和第一预设阈值，以及所述第一决定系数变化量和第三预设阈值，获得手势动作的识别结果。可选的，计算模块还用于：根据所述第一向量计算所述第二指定手指对应的第三线性回归决定系数，以及根据所述第二向量计算所述第二指定手指对应的第四线性回归决定系数；根据所述第三线性回归决定系数和所述第四线性回归决定系数，计算所述第二指定手指对应的第二决定系数变化量；则确定模块具体用于：根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果。可选的，确定模块还用于：若所述第二指定手指中包括第三指定手指，所述本文档来自技高网...

【技术保护点】
1.一种手势动作的识别方法，其特征在于，包括：获取第一手势图片和第二手势图片；识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。

【技术特征摘要】
1.一种手势动作的识别方法，其特征在于，包括：获取第一手势图片和第二手势图片；识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第一向量和所述第二向量，计算第二指定手指中第二指定关节的第二角度变化总量，所述第二指定手指是指实施指定手势动作时关节的角度不需要发生变化的手指，所述第二指定关节是指所述第二指定手指中的手指关节；则所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：根据所述第一角度变化总量和第一预设阈值，以及所述第二角度变化总量和第二预设阈值，获得手势动作的识别结果。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第一向量计算所述第一指定手指对应的第一线性回归决定系数，以及根据所述第二向量计算所述第一指定手指对应的第二线性回归决定系数；根据所述第一线性回归决定系数和所述第二线性回归决定系数，计算所述第一指定手指对应的第一决定系数变化量；则所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：根据所述第一角度变化总量和第一预设阈值，以及所述第一决定系数变化量和第三预设阈值，获得手势动作的识别结果。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述第一向量计算所述第二指定手指对应的第三线性回归决定系数，以及根据所述第二向量计算所述第二指定手指对应的第四线性回归决定系数；根据所述第三线性回归决定系数和所述第四线性回归决定系数，计算所述第二指定手指对应的第二决定系数变化量；则所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果。5.根据权利要求4所述的方法，其特征在于，若所述第二指定手指中包括第三指定手指，所述第三指定手指是指实施所述指定手势动作时手指关节点呈线性关系的手指；则所述根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果，包括：根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，所述第二决定系数变化量和第四预设阈值，以及所述第三指定手指对应的第三线性回归决定系数和第五预设阈值，获得手势动作的识别结果。6.根据权...

【专利技术属性】
技术研发人员：赵世杰，李峰，左小祥，程君，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44