手势识别方法和系统技术方案

本发明专利技术公开了一种手势识别方法和系统，用于从输入图像中识别手势。所述方法包括：通过对输入图像进行亮度和色彩分析，获取输入图像中的潜在人手区域；使用人手识别模型获取输入图像中各个潜在人手区域属于人手区域的概率值；选择概率值大于预定阈值的潜在人手区域作为人手区域；从输入图像中截取人手区域图像；以及将人手区域图像输入手势识别模型，以识别其对应的手势。由此，利用本发明专利技术能够快速、准确地识别出输入图像中的手势。

Hand gesture recognition method and system

The present invention discloses a hand gesture recognition method and system for identifying gestures from an input image. The method includes: by analyzing the brightness and color of the input image, and get the potential area of the hand in the input image; the probability using hand recognition model acquisition input image in each region belongs to the area of the hand hand potential value; probability of potential hand area is larger than a predetermined threshold value as the input image from the image area of the hand; the interception of manpower regional and regional image input; hand gesture recognition model, to identify the corresponding gesture. Thereby, the gesture in the input image can be quickly and accurately identified by the invention.

【技术实现步骤摘要】
手势识别方法和系统
本专利技术涉及图像识别领域，特别是涉及一种手势识别方法和系统。
技术介绍
神经网络是一种基于仿生设计的数学模型，近年来被广泛应用于图像识别，语音识别等任务。神经元的积累的刺激是由其他神经元传递过来的刺激量和对应的权重之和，用Xj表示这种积累，Yi表示某个神经元传递过来的刺激量，Wi表示链接某个神经元刺激的权重，得到公式：Xj＝(y1*W1)+(y2*W2)+...+(yi*Wi)+...+(yn*Wn)，而当Xj完成积累后，完成积累的神经元本身对周围的一些神经元传播刺激，将其表示为yj得到如下所示：yj＝f(Xj)，神经元根据积累后Xj的结果进行处理后，对外传递刺激yj。用f函数映射来表示这种处理，将它称之为激活函数。卷积神经网络是将人工神经网络和深度学习技术相结合而产生的新型人工神经网络方法，是为了识别二维形状而设计的多层感知器，具有局部感知区域、层次结构化、特征抽取和分类过程结合的全局训练的特点。Fukushima提出的基于神经元之间的局部连接型和层次结构组织的Neocogition模型是卷积神经网络的第一个实现网络。LeCun等人设计并采用基于误差梯度的算法训练了卷积神经网络，在一些模式识别领域取得非常好的性能，并且给出了卷积神经网络公式的推导和证明。卷积神经网络已经成功地应用到了文档分析、人脸检测、语音检测、车牌识别、手写数字识别、视频中的人体动作识别等各个方面。
技术实现思路
本专利技术的主要目的是提供一种手势识别方法和系统，其能够准确、快速地识别出待检测图像中的手势。根据本专利技术的一个方面，提供了一种手势识别方法，用于从输入图像中识别手势，该方法包括：通过对输入图像进行亮度和色彩分析，获取输入图像中的潜在人手区域；使用人手识别模型获取输入图像中各个潜在人手区域属于人手区域的概率值；选择概率值大于预定阈值的潜在人手区域作为人手区域；从输入图像中截取人手区域图像；以及将人手区域图像输入手势识别模型，以识别其对应的手势。优选地，该方法还可以包括：根据人手区域的长宽比例，计算该人手区域图像到标准人手图像的仿射变换矩阵；使用仿射变换矩阵对人手区域图像进行仿射变换，得到标准化的人手区域图像，其中，将标准化的人手区域图像输入手势识别模型，以识别其所对应的手势。优选地，通过对输入图像进行亮度和色彩分析获取输入图像中的潜在人手区域的步骤可以包括：选择输入图像中光流特征绝对值大于预设阈值且色彩属于预设肤色区间的区域为潜在人手区域。优选地，该方法还可以包括：在确定人手区域后，计算后续一帧或多帧输入图像中对应于人手区域的图像区域的光流特征值，以确定后续一帧或多帧输入图像中的人手区域。优选地，在对输入图像进行亮度和色彩分析之前，该方法还可以包括：对输入图像进行检测，以确定用户是否发出预定肢体动作；在检测到用户发出预定肢体动作的情况下，执行对输入图像进行亮度和色彩分析的步骤。优选地，在获取输入图像中的潜在人手区域之后，该方法还可以包括：基于预定的模型或算法，识别出输入图像中的人脸潜在区域和/或人体潜在区域；根据识别出的人脸潜在区域和/或人体潜在区域，删除处于不合理范围的潜在人手区域。优选地，该方法还可以包括：对输入图像进行多尺度缩放，以得到不同尺度的输入图像；对不同尺度的输入图像执行对输入图像进行亮度和色彩分析的步骤。优选地，人手识别模型和手势识别模型均为卷积神经网络模型。根据本专利技术的另一个方面，还提供了一种手势识别系统，用于从输入图像中识别手势，该系统包括：存储器，用于存储输入图像；CPU模块，用于控制FPGA模块，并对输入图像进行亮度和色彩分析，以获取输入图像中的潜在人手区域；FPGA模块，用于在其上实现人手识别模型和手势识别模型，其中，人手识别模型用于获取输入图像中各个潜在人手区域属于人手区域的概率值，以便选择概率值大于预定阈值的潜在人手区域作为人手区域，并从输入图像中截取人手区域图像，手势识别模型用于从人手区域图像中识别出对应的手势。优选地，CPU模块根据人手区域的长宽比例，计算该人手区域图像到标准人手图像的仿射变换矩阵，该系统还可以包括：几何变换模块，用于使用仿射变换矩阵对人手区域图像进行仿射变换，得到标准化的人手区域图像，其中，手势识别模型从标准化的人手区域图像中识别出对应的手势。优选地，CPU模块选择输入图像中光流特征绝对值大于预设阈值且色彩属于预设肤色区间的区域为潜在人手区域。优选地，在确定人手区域后，CPU模块计算后续一帧或多帧输入图像中对应于人手区域的图像区域的光流特征值，以确定后续一帧或多帧输入图像中的人手区域。优选地，在CPU模块对输入图像进行亮度和色彩分析之前，CPU模块对输入图像进行检测，以确定用户是否发出预定肢体动作，在检测到用户发出预定肢体动作的情况下，CPU模块检测对输入图像进行亮度和色彩分析，并控制FPGA模块，以从输入图像中识别手势。优选地，FPGA模块上还用于实现人脸识别模型和/或人体识别模型，人脸识别模型和/或人体识别模型用于识别出输入图像中的人脸潜在区域和/或人体潜在区域，CPU模块根据识别出的人脸潜在区域和/或人体潜在区域，删除处于不合理范围的潜在人手区域，或者CPU模块基于预定的算法，识别出输入图像中人脸潜在区域和/或人体潜在区域，并根据识别出的人脸潜在区域和/或人体潜在区域，删除处于不合理范围的潜在人手区域。优选地，CPU模块对输入图像进行多尺度缩放，以得到不同尺度的输入图像，CPU模块对不同尺度的输入图像进行亮度和色彩分析，并控制FPGA模块，以从不同尺度的输入图像中识别手势。优选地，人手识别模型和手势识别模型均为卷积神经网络模型，CPU模块还用于执行卷积神经网络模型的全连接层的运算。综上，本专利技术的手势识别方法首先对输入图像进行亮度和色彩分析，初步筛选出潜在人手区域，然后使用人手识别模型进一步筛选，以得到较为准确的人手区域，从而使得手势识别模型可以快速、准确识别出输入图像中的手势。附图说明通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。图1示出了根据本专利技术一实施例的手势识别方法的示意性流程图。图2示出了根据本专利技术另一实施例的手势识别方法的示意性流程图。图3示出了根据本专利技术一实施例的手势识别系统的结构的示意性方框图。图4示出了几何变换模块可以具有的功能模块的示意性方框图。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。随着智能硬件设备的发展，手势交互控制越来越多地应用于智能硬件设备中，手势交互控制使得用户可以通过在远处或近处做挥手或者摆手型等手势向智能硬件设备发出控制信号，智能硬件设备则识别用户的信号(即识别用户做出的手势)，根据内存中保存的该信号(即手势)的定义做出相应的反应。针对于此，本专利技术提出了一种能够快速、准确地识别出待检测图像(即下文述及的输入图像)中的手势的识别方案。本专利技术的识别方案可以实现为一种本文档来自技高网...

【技术保护点】
一种手势识别方法，用于从输入图像中识别手势，该方法包括：通过对所述输入图像进行亮度和色彩分析，获取所述输入图像中的潜在人手区域；使用人手识别模型获取所述输入图像中各个潜在人手区域属于人手区域的概率值；选择所述概率值大于预定阈值的潜在人手区域作为人手区域；从所述输入图像中截取人手区域图像；以及将所述人手区域图像输入手势识别模型，以识别其对应的手势。

【技术特征摘要】
1.一种手势识别方法，用于从输入图像中识别手势，该方法包括：通过对所述输入图像进行亮度和色彩分析，获取所述输入图像中的潜在人手区域；使用人手识别模型获取所述输入图像中各个潜在人手区域属于人手区域的概率值；选择所述概率值大于预定阈值的潜在人手区域作为人手区域；从所述输入图像中截取人手区域图像；以及将所述人手区域图像输入手势识别模型，以识别其对应的手势。2.根据权利要求1所述的手势识别方法，还包括：根据所述人手区域的长宽比例，计算该人手区域图像到标准人手图像的仿射变换矩阵；使用所述仿射变换矩阵对所述人手区域图像进行仿射变换，得到标准化的人手区域图像，其中，将所述标准化的人手区域图像输入手势识别模型，以识别其所对应的手势。3.根据权利要求1所述的手势识别方法，其中，所述通过对所述输入图像进行亮度和色彩分析获取所述输入图像中的潜在人手区域的步骤包括：选择所述输入图像中光流特征绝对值大于预设阈值且色彩属于预设肤色区间的区域为所述潜在人手区域。4.根据权利要求3所述的手势识别方法，还包括：在确定所述人手区域后，计算后续一帧或多帧输入图像中对应于所述人手区域的图像区域的光流特征值，以确定后续一帧或多帧输入图像中的人手区域。5.根据权利要求1所述的手势识别方法，其中，在对所述输入图像进行亮度和色彩分析之前，该方法还包括：对所述输入图像进行检测，以确定用户是否发出预定肢体动作；在检测到用户发出预定肢体动作的情况下，执行所述对输入图像进行亮度和色彩分析的步骤。6.根据权利要求1所述的手势识别方法，其中，在获取所述输入图像中的潜在人手区域之后，该方法还包括：基于预定的模型或算法，识别出所述输入图像中的人脸潜在区域和/或人体潜在区域；根据识别出的所述人脸潜在区域和/或人体潜在区域，删除处于不合理范围的潜在人手区域。7.根据权利要求1所述的手势识别方法，还包括：对所述输入图像进行多尺度缩放，以得到不同尺度的输入图像；对不同尺度的输入图像执行所述对输入图像进行亮度和色彩分析的步骤。8.根据权利要求1-7中任何一项所述的手势识别方法，其中，所述人手识别模型和所述手势识别模型均为卷积神经网络模型。9.一种手势识别系统，用于从输入图像中识别手势，该系统包括：存储器，用于存储所述输入图像；CPU模块，用于控制FPGA模块，并对所述输入图像进行亮度和色彩分析，以获取所述输入图像中的潜在人手区域；FPGA模块，用于在其上实现人手识别模型和手势识别模型，其中，所述...

【专利技术属性】
技术研发人员：姚颂，倪剑桥，
申请(专利权)人：北京深鉴智能科技有限公司，
类型：发明
国别省市：北京,11