动态手势识别方法、装置、电子设备及可读存储介质制造方法及图纸

本申请实施例公开了一种动态手势识别方法、装置、电子设备及可读存储介质。所述方法包括：获取连续的多帧待识别图像；通过目标检测模型从所述连续的多帧待识别图像中确定出连续的多帧目标图像，所述目标图像为包括预设定的动态手势的起始手型的图像；基于所述连续的多帧目标图像，获取所述连续的多帧目标图像各自对应的二值图像；获取所述连续的多帧目标图像各自对应的二值图像的质心坐标，以判断所述连续的多帧目标图像所包括的动态手势是否运动；若所述连续的多帧目标图像所包括的动态手势是运动的，从所述连续的多帧目标图像中确定动态手势的起始帧。通过上述方法，提高了动态手势识别的准确性和实时性。手势识别的准确性和实时性。手势识别的准确性和实时性。

【技术实现步骤摘要】
动态手势识别方法、装置、电子设备及可读存储介质


[0001]本申请属于动态手势识别领域，具体涉及一种动态手势识别方法、装置、电子设备及可读存储介质。

技术介绍

[0002]手势是人类之间交流的一种自然形式，手势识别也是人机交互的重要研究方向之一。手势识别可以分为静态手势识别和动态手势识别，相对静态手势识别来说，动态手势识别是一个连续的过程，需要学习不同帧的手势在时间维度上的关系。因此，识别动态手势难度较大，并且如何确定手势的开始帧与结束帧，也是目前动态手势识别的一个难点。

技术实现思路

[0003]鉴于上述问题，本申请提出了一种动态手势识别方法、装置、电子设备及可读存储介质，以实现改善上述问题。
[0004]第一方面，本申请实施例提供了一种动态手势识别方法，所述方法包括：获取连续的多帧待识别图像；通过目标检测模型从所述连续的多帧待识别图像中确定出连续的多帧目标图像，所述目标图像为包括预设定的动态手势的起始手型的图像；基于所述连续的多帧目标图像，获取所述连续的多帧目标图像各自对应的二值图像；获取所述连续的多帧目标图像各自对应的二值图像的质心坐标，以判断所述连续的多帧目标图像所包括的动态手势是否运动；若所述连续的多帧目标图像所包括的动态手势是运动的，从所述连续的多帧目标图像中确定动态手势的起始帧。
[0005]第二方面，本申请实施例提供了一种动态手势识别装置，所述装置包括：第一图像获取单元，用于获取连续的多帧待识别图像；第二图像获取单元，用于通过目标检测模型从所述连续的多帧待识别图像中确定出连续的多帧目标图像，所述目标图像为包括预设定的动态手势的起始手型的图像；第三图像获取单元，用于基于所述连续的多帧目标图像，获取所述连续的多帧目标图像各自对应的二值图像；坐标获取单元，用于获取所述连续的多帧目标图像各自对应的二值图像的质心坐标，以判断所述连续的多帧目标图像所包括的动态手势是否运动；位置确定单元，用于若所述连续的多帧目标图像所包括的动态手势是运动的，从所述连续的多帧目标图像中确定动态手势的起始帧。
[0006]第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
[0007]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。
[0008]本申请实施例提供了一种动态手势识别方法、装置、电子设备及可读存储介质。首先获取连续的多帧待识别图像，通过目标检测模型从连续的多帧待识别图像中确定出连续的多帧目标图像，所述目标图像为包括预设定的动态手势的起始手型的图像，然后基于连
续的多帧目标图像，获取连续的多帧目标图像各自对应的二值图像，获取连续的多帧目标图像各自对应的二值图像的质心坐标，以判断连续的多帧目标图像所包括的动态手势是否运动，若连续的多帧目标图像所包括的动态手势是运动的，从连续的多帧目标图像中确定动态手势的起始帧。通过上述方法，通过目标检测模型可以有效过滤没有手势或者有无效手势的图像，得到连续的多帧目标图像，进而可以基于目标图像计算出对应的质心坐标，通过计算出的质心坐标可以确定连续多帧目标图像所包括的动态手势是否运动，进而在确定连续多帧目标图像所包括的动态手势是运动的情况下，可以自动从连续的多帧目标图像中确定出动态手势的起始帧，提高了动态手势识别的准确性和实时性。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地 ，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]图1示出了本申请一实施例提出的一种动态手势识别方法的流程图；图2示出了本申请另一实施例提出的一种动态手势识别方法的流程图；图3示出了本申请另一实施例中步骤S260的具体步骤的流程图；图4示出了本申请另一实施例中步骤S280的具体步骤的流程图；图5示出了本申请再一实施例提出的一种动态手势识别方法的流程图；图6示出了本申请实施例提出的一种动态手势识别装置的结构框图；图7示出了本申请实施例提出的另一种动态手势识别装置的结构框图；图8示出了本申请实施例提出的一种电子设备的结构框图；图9示出了本申请实施例提出的一种计算机可读存储介质的结构框图。
具体实施方式
[0011]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0012]手势是人类之间交流的一种自然形式，手势识别也是人机交互的重要研究方向之一。手势识别可以分为静态手势识别和动态手势识别，相对静态手势识别来说，动态手势识别是一个连续的过程，需要学习不同帧的手势在时间维度上的关系。因此，识别动态手势难度较大，并且如何确定手势的开始帧与结束帧，也是目前动态手势识别的一个难点。
[0013]而专利技术人在对相关的动态手势识别方法的研究中发现，在动态手势识别过程中，一个视频内往往含有很多的没有手势或者无效手势的图像帧，这些无效手势严重影响动态手势的识别准确度及其识别的实时性。
[0014]动态手势识别的难点和重点也是找到有效手势的起始位置和终止位置，目前动态手势识别的起始位置判定方法一般是在做其动作时，给一个标准性的手势，比如一个手掌信号。这种方法要求客户刻意做一些规定性动作，并没有达到自然的人机手势交互。
[0015]因此，专利技术人提出了本申请中的首先获取连续的多帧待识别图像，通过目标检测模型从连续的多帧待识别图像中确定出连续的多帧目标图像，所述目标图像为包括预设定的动态手势的起始手型的图像，然后基于连续的多帧目标图像，获取连续的多帧目标图像各自对应的二值图像，获取连续的多帧目标图像各自对应的二值图像的质心坐标，以判断连续的多帧目标图像所包括的动态手势是否运动，若连续的多帧目标图像所包括的动态手势是运动的，从连续的多帧目标图像中确定动态手势的起始帧，通过目标检测模型可以有效过滤没有手势或者有无效手势的图像，得到连续的多帧目标图像，进而可以基于目标图像计算出对应的质心坐标，通过计算出的质心坐标可以确定连续多帧目标图像所包括的动态手势是否运动，进而在确定连续多帧目标图像所包括的动态手势是运动的情况下，可以自动从连续的多帧目标图像中确定出动态手势的起始帧，提高了动态手势识别的准确性和实时性的动态手势识别方法、装置、电子设备及可读存储介质。
[0016]下面将结合附图具体描述本申请的各实施例。
[0017]请参阅图1，本申请实施例提供的一种动态手势识别方法，所述方法包括：步骤S110：获取连续的多帧待识别图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态手势识别方法，其特征在于，所述方法包括：获取训练集，所述训练集包括正样本训练集和负样本训练集，所述正样本训练集为包括动态手势的多帧图像，所述负样本训练集为不包括动态手势的多帧图像；基于所述正样本训练集和所述负样本训练集对初始yolov5模型进行训练，直至所述初始yolov5模型收敛，将收敛后的初始yolov5模型作为目标检测模型；获取连续的多帧待识别图像；通过所述目标检测模型从所述连续的多帧待识别图像中确定出连续的多帧目标图像，所述目标图像为包括预设定的动态手势的起始手型的图像；基于所述连续的多帧目标图像，获取所述连续的多帧目标图像各自对应的二值图像；获取所述连续的多帧目标图像各自对应的二值图像的质心坐标，以判断所述连续的多帧目标图像所包括的动态手势是否运动；若所述连续的多帧目标图像所包括的动态手势是运动的，从所述连续的多帧目标图像中确定动态手势的起始帧。2.根据权利要求1所述的方法，其特征在于，所述基于所述连续的多帧目标图像，获取所述连续的多帧目标图像各自对应的二值图像，包括：分别对所述连续的多帧目标图像进行手部区域分割，得到所述连续的多帧目标图像各自对应的参考图像，所述参考图像为从所述目标图像中分割出的包括手部区域的图像；对所述连续的多帧目标图像各自对应的参考图像进行二值化处理，得到所述连续的多帧目标图像各自对应的二值图像。3.根据权利要求2所述的方法，其特征在于，所述连续的多帧目标图像包括第一目标图像、第二目标图像以及第三目标图像，所述分别对所述连续的多帧目标图像进行手部区域分割，得到所述连续的多帧目标图像各自对应的参考图像，包括：分别对所述第一目标图像、第二目标图像以及第三目标图像进行手部区域分割，得到第一参考图像、第二参考图像以及第三参考图像，所述第一参考图像为所述第一目标图像对应的参考图像，所述第二参考图像为所述第二目标图像对应的参考图像，所述第三参考图像为所述第三目标图像对应的参考图像；所述对所述连续的多帧目标图像各自对应的参考图像进行二值化处理，得到所述连续的多帧目标图像各自对应的二值图像，包括：分别对所述第一参考图像、第二参考图像以及第三参考图像进行二值化处理，得到所述第一目标图像对应的二值图像、所述第二目标图像对应的二值图像以及所述第三目标图像对应的二值图像。4.根据权利要求3所述的方法，其特征在于，所述获取所述连续的多帧目标图像各自对应的二值图像的质心坐标，以判断所述连续的多帧目标图像所包括的动态手势是否运动，包括：通过质心计算公式，计算得到第一质心坐标、第二质心坐标以及第三质心坐标，以判断所述连续的多帧目标图像所包括的动态手势是否运动，所述第一质心坐标为所述第一目标图像对应的二值图像的质心坐标，所述第二质心坐标为所述第二目标图像对应的二值图像的质心坐标，所述第三质心坐标为所述第三目标图像对应的二值图像的质心坐标。5.根据权利要求4所述的方法，其特征在于，所述获取所述连续的多帧目标图像各自对

【专利技术属性】
技术研发人员：毛凤辉，郭振民，
申请(专利权)人：南昌虚拟现实研究院股份有限公司，
类型：发明
国别省市：