一种动作识别方法及电子设备技术

本发明专利技术公开了一种动作识别方法及电子设备，用于解决现有技术中无法准确、快速实现动作识别的问题。该方法包括：通过深度相机，获取目标对象在执行动作时的连续多帧图像中的多个关节点的特征信息；将所述多个关节点的特征信息按照所述目标对象的肢体结构，分为多组关节点的特征信息；分别对所述多组关节点的特征信息进行数据预处理操作，以得到数据预处理后的多组关节点的特征信息；基于动作识别模型、以及所述数据预处理后的多组关节点的特征信息，识别所述目标对象的连续多帧图像对应的动作类别。

A method of action recognition and electronic equipment

【技术实现步骤摘要】
一种动作识别方法及电子设备
本专利技术涉及动作识别
，尤其涉及一种动作识别方法及电子设备。
技术介绍
随着人机交互技术的迅猛发展，用户不再满足于只通过键盘、鼠标和操控杆与机器进行交互，而是希望能够通过肢体动作和姿态等更高级的方式向机器发送指令等方式与机器进行交互，这就对动作识别技术有了更高的要求。目前，动作识别技术已应用于媒体教学、游戏娱乐、医疗保健、安监系统和虚拟现实等领域。现有的动作识别技术需要研究人员对相机获取到的图像进行处理，才可获得人体关节点的三维坐标，而这则就会增加研究人员的工作量，降低动作识别的效率。此外，实现动作识别技术常需要的设备也较为昂贵，这极大地限制了动作识别技术的应用范围。因此，如何更准确、更快速地实现动作识别，仍然需要进一步的解决方案。
技术实现思路
本专利技术实施例提供一种动作识别方法及电子设备，以解决现有技术中无法准确、快速实现动作识别的问题。为了解决上述技术问题，本专利技术是这样实现的：第一方面，本专利技术实施例提供了一种动作识别方法，包括：通过深度相机，获取目标对象在执行动作时的连续多帧图像中的多个关节点的特征信息；将所述多个关节点的特征信息按照所述目标对象的肢体结构，分为多组关节点的特征信息；分别对所述多组关节点的特征信息进行数据预处理操作，以得到数据预处理后的多组关节点的特征信息；基于动作识别模型、以及所述数据预处理后的多组关节点的特征信息，识别所述目标对象的连续多帧图像对应的动作类别；其中，所述特征信息包括所述多个关节点的名称、所述多个关节点的三维坐标、以及所述多个关节点的三维坐标的时间戳，一组关节点包括多个关节点，所述动作识别模型是基于多组训练样本训练得到的，一组训练样本包括一个对象在执行动作时的连续多帧图像中的多个关节点的特征信息。第二方面，本专利技术实施例还提供一种动作识别装置，包括：第一获取单元，用于通过深度相机，获取目标对象在执行动作时的连续多帧图像中的多个关节点的特征信息；第一分组单元，用于将所述多个关节点的特征信息按照所述目标对象的肢体结构，分为多组关节点的特征信息；数据预处理单元，用于分别对所述多组关节点的特征信息进行数据预处理操作，以得到数据预处理后的多组关节点的特征信息；识别单元，用于基于动作识别模型、以及所述数据预处理后的多组关节点的特征信息，识别所述目标对象的连续多帧图像对应的动作类别；其中，所述特征信息包括所述多个关节点的名称、所述多个关节点的三维坐标、以及所述多个关节点的三维坐标的时间戳，一组关节点包括多个关节点，所述动作识别模型是基于多组训练样本训练得到的，一组训练样本包括一个对象在执行动作时的连续多帧图像中的多个关节点的特征信息。第三方面，本专利技术实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：通过深度相机，获取目标对象在执行动作时的连续多帧图像中的多个关节点的特征信息；将所述多个关节点的特征信息按照所述目标对象的肢体结构，分为多组关节点的特征信息；分别对所述多组关节点的特征信息进行数据预处理操作，以得到数据预处理后的多组关节点的特征信息；基于动作识别模型、以及所述数据预处理后的多组关节点的特征信息，识别所述目标对象的连续多帧图像对应的动作类别；其中，所述特征信息包括所述多个关节点的名称、所述多个关节点的三维坐标、以及所述多个关节点的三维坐标的时间戳，一组关节点包括多个关节点，所述动作识别模型是基于多组训练样本训练得到的，一组训练样本包括一个对象在执行动作时的连续多帧图像中的多个关节点的特征信息。第四方面，本专利技术实施例还提供一种可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：通过深度相机，获取目标对象在执行动作时的连续多帧图像中的多个关节点的特征信息；将所述多个关节点的特征信息按照所述目标对象的肢体结构，分为多组关节点的特征信息；分别对所述多组关节点的特征信息进行数据预处理操作，以得到数据预处理后的多组关节点的特征信息；基于动作识别模型、以及所述数据预处理后的多组关节点的特征信息，识别所述目标对象的连续多帧图像对应的动作类别；其中，所述特征信息包括所述多个关节点的名称、所述多个关节点的三维坐标、以及所述多个关节点的三维坐标的时间戳，一组关节点包括多个关节点，所述动作识别模型是基于多组训练样本训练得到的，一组训练样本包括一个对象在执行动作时的连续多帧图像中的多个关节点的特征信息。本专利技术提供的动作识别方法，能够通过深度相机，获取目标对象在执行动作时的连续多帧图像中的多个关节点的特征信息；将多个关节点的特征信息按照所述目标对象的肢体结构，分为多组关节点的特征信息；分别对多组关节点的特征信息进行数据预处理操作，以得到数据预处理后的多组关节点的特征信息；基于动作识别模型、以及数据预处理后的多组关节点的特征信息，识别目标对象的连续多帧图像对应的动作类别。这样能够通过深度相机直接获取关节点的特征信息，再按照肢体结构对多个关节点的特征信息分组，从而提高多组关节点的特征信息的内相关性，并降低每组关节点的特征信息的外相关性，既有效地保持了各组关节点的特征信息的独立性，又联合了各组关节点的特征信息的识别结果，进而提高了动作识别模型进行动作识别的准确度，提高了动作识别的效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种动作识别方法的实现流程示意图；图2为本专利技术实施例提供的动作识别方法的一种关节点分组的示意图；图3为本专利技术实施例提供的动作识别方法的一种动作识别模型的结构示意图；图4为本专利技术实施例提供的一种动作识别装置的结构示意图；图5为本专利技术实施例提供的一种电子设备的硬件结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。以下结合附图，详细说明本专利技术各实施例提供的技术方案。为解决现有技术中无法准确、快速实现动作识别的问题，本专利技术提供一种动作识别方法，该方法的执行主体，可以但不限于手机、平板电脑、可穿戴设备等能够被配置为执行本专利技术实施例提供的该方法用户终端中的至少一种，或者，该方法的执行主体，还可以是能够执行该方法的客户端或服务器。<本文档来自技高网...

【技术保护点】
1.一种动作识别方法，其特征在于，包括：/n通过深度相机，获取目标对象在执行动作时的连续多帧图像中的多个关节点的特征信息；/n将所述多个关节点的特征信息按照所述目标对象的肢体结构，分为多组关节点的特征信息；/n分别对所述多组关节点的特征信息进行数据预处理操作，以得到数据预处理后的多组关节点的特征信息；/n基于动作识别模型、以及所述数据预处理后的多组关节点的特征信息，识别所述目标对象的连续多帧图像对应的动作类别；/n其中，所述特征信息包括所述多个关节点的名称、所述多个关节点的三维坐标、以及所述多个关节点的三维坐标的时间戳，一组关节点包括多个关节点，所述动作识别模型是基于多组训练样本训练得到的，一组训练样本包括一个对象在执行动作时的连续多帧图像中的多个关节点的特征信息。/n

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：
通过深度相机，获取目标对象在执行动作时的连续多帧图像中的多个关节点的特征信息；
将所述多个关节点的特征信息按照所述目标对象的肢体结构，分为多组关节点的特征信息；
分别对所述多组关节点的特征信息进行数据预处理操作，以得到数据预处理后的多组关节点的特征信息；
基于动作识别模型、以及所述数据预处理后的多组关节点的特征信息，识别所述目标对象的连续多帧图像对应的动作类别；
其中，所述特征信息包括所述多个关节点的名称、所述多个关节点的三维坐标、以及所述多个关节点的三维坐标的时间戳，一组关节点包括多个关节点，所述动作识别模型是基于多组训练样本训练得到的，一组训练样本包括一个对象在执行动作时的连续多帧图像中的多个关节点的特征信息。


2.如权利要求1所述的方法，其特征在于，所述分别对所述多组关节点的特征信息进行数据预处理操作，以得到数据预处理后的多组关节点的特征信息，包括：
基于所述多组关节点的特征信息，分别获取每个关节点在执行动作过程中的三维坐标的算数平均值、与每个关节点在执行动作过程中的三维坐标的差值，以得到所述多组关节点的相对坐标；
对所述多组关节点的相对坐标进行归一化处理，以使得所述多组关节点的相对坐标在指定区域范围内；
将存储有归一化处理后的多组关节点的特征信息的日志文件的格式转换为数据文件的格式。


3.如权利要求1所述的方法，其特征在于，所述基于动作识别模型、以及所述数据预处理后的多组关节点的特征信息，识别所述目标对象的连续多帧图像对应的动作类别，包括：
分别对所述数据预处理后的多组关节点的特征信息进行动作识别操作；
基于所述每组关节点的特征信息的动作识别结果和对应的权重，通过加权的方式，获取所述多组关节点的特征信息的动作识别结果；
基于所述多组关节点的特征信息的动作识别结果，识别所述目标对象的连续多帧图像对应的动作类别。


4.如权利要求1所述的方法，其特征在于，在所述通过深度相机，获取目标对象在执行动作时的连续多帧图像中的多个关节点的特征信息之后，所述方法还包括：
通过深度相机，获取多个对象在执行动作时的连续多帧图像中的多个训练样本，一个训练样本包括多个关节点的特征信息，所述多个关节点的特征信息包括所述多个关节点的名称、所述多个关节点的三维坐标、所述多个关节点的三维坐标对应的时间戳、以及所述多个关节点对应的动作类别标签；
分别将所述多个训练样本按照所述多个对象的肢体结构，分为所述多个对象的多组训练样本，其中，一个对象对应于多组训练样本；
分别对所述多个对象的多组训练样本进行样本预处理操作，以得到样本预处理后的所述多个对象的多组训练样本；
基于所述样本预处理后的所述多个对象的多组训练样本，通过迭代训练得到所述动作识别模型。


5.如权利要求4所述的方法，其特征在于，在所述分别对所述多个对象的多组训练样本进行样本预处理操作，以得到样本预处理后的所述多个对象的多组训练样本之后，所述方法还包括：
基于所述多组训练样本中的多个关节点的三维坐标对应的时间戳，按照预设的时间长度，依次将所述多组训练样本分为多个训练样本小组，一组训练样本对应于多个训练样本小组，一个训练样本小组包括时间连续的多个关节点的特征信息；
将存储有所述多个训练样本小组的日志文件的格式转换为数据文件。


6.如权利要求4或5所述的方法，其特征在于，所述基于所述样本预处理后的多组训练样本，通过迭代训练得到所述动作识别模型，包括：
基于所述多个训练样本小组中的多个关节点对应的动作...

【专利技术属性】
技术研发人员：师雪琴，柴新新，杨锐，姚保岐，
申请(专利权)人：北京西米兄弟未来科技有限公司，
类型：发明
国别省市：北京;11