基于肢体识别的控制方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种基于肢体识别的控制方法、装置、电子设备及存储介质，该方法包括：获取包括用户肢体的视频流；将所述视频流输入至预先训练好的神经网络模型，得到用户肢体的动作姿态；若所述动作姿态为设定动作姿态，并且在得到所述设定动作姿态之后的预设时长内识别到用户肢体的目标动作姿态，则执行与所述目标动作姿态关联的交互操作。本公开实施例的技术方案，实现了对肢体姿态的精确识别，进而实现了通过多种不同的肢体姿态对不同的系统功能进行控制的目的，使得用户与设备交互具有充分的空间延展性，提高了用户的交互体验。验。验。

【技术实现步骤摘要】
基于肢体识别的控制方法、装置、电子设备及存储介质


[0001]本公开实施例涉及计算机处理技术，尤其涉及一种基于肢体识别的控制方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，常用的人机交互方式大多数还是基于触摸屏的交互方式，例如手机、自助快递柜等。在电视领域，基本是基于遥控器的交互方式。无论手机、自助快递柜还是电视，均要求用户与设备的交互工具(例如遥控器、触摸屏)进行接触，一旦用户与设备的交互工具之间存在间隔，则无法实现与设备的交互。因此，现有的人机交互方式限制了用户与设备交互的空间延展性，同时给用户带来不便。
[0003]针对上述问题，以人手作为人机交互直接输入手段的手势识别技术日益成熟。目前，常用的手势识别方法为基于红外感应原理对手势姿态进行粗略识别，其识别精度较低，导致无法充分利用丰富的手势姿态进行多种功能的交互控制。

技术实现思路

[0004]本公开实施例提供一种基于肢体识别的控制方法、装置、电子设备及存储介质，以实现对肢体姿态的精确识别，进而实现通过多种不同的肢体姿态对不同的系统功能进行控制。
[0005]第一方面，本公开实施例提供了一种基于肢体识别的控制方法，该方法包括：
[0006]获取包括用户肢体的视频流；
[0007]将所述视频流输入至预先训练好的神经网络模型，得到用户肢体的动作姿态；
[0008]若所述动作姿态为设定动作姿态，并且在得到所述设定动作姿态之后的预设时长内识别到用户肢体的目标动作姿态，则执行与所述目标动作姿态关联的交互操作。
[0009]第二方面，本公开实施例还提供了一种基于肢体识别的控制装置，该装置包括：
[0010]获取模块，用于获取包括用户肢体的视频流；
[0011]识别模块，用于将所述视频流输入至预先训练好的神经网络模型，得到用户肢体的动作姿态；
[0012]执行模块，用于若所述动作姿态为设定动作姿态，并且在得到所述设定动作姿态之后的预设时长内识别到用户肢体的目标动作姿态，则执行与所述目标动作姿态关联的交互操作。
[0013]第三方面，本公开实施例还提供了一种设备，所述设备包括：
[0014]一个或多个处理器；
[0015]存储装置，用于存储一个或多个程序，
[0016]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的基于肢体识别的控制方法。
[0017]第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述
计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的基于肢体识别的控制方法。
[0018]本公开实施例的技术方案，通过获取包括用户肢体的视频流，并将所述视频流输入至预先训练好的神经网络模型，得到用户肢体的动作姿态；若所述动作姿态为设定动作姿态，并且在得到所述设定动作姿态之后的预设时长内识别到用户肢体的目标动作姿态，则执行与所述目标动作姿态关联的交互操作的技术手段，实现了对肢体姿态的精确识别，进而实现了通过多种不同的肢体姿态对不同的系统功能进行控制的目的，使得用户与设备交互具有充分的空间延展性，提高了用户的交互体验。
附图说明
[0019]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0020]图1为本公开实施例一所提供的一种基于肢体识别的控制方法流程示意图；
[0021]图2为本公开实施例一所提供的一种手部设定点的示意图；
[0022]图3为本公开实施例二所提供的一种基于肢体识别的控制装置结构示意图；
[0023]图4为本公开实施例三所提供的一种电子设备结构示意图。
具体实施方式
[0024]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0025]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0026]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0027]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0028]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0029]实施例一
[0030]图1为本公开实施例一所提供的一种基于肢体识别的控制方法流程示意图，本实施例可适用于人机交互场景，该方法可以由基于肢体识别的控制装置来执行，该装置可以通过软件和/或硬件的形式实现，并集成于终端设备，典型的，所述终端设备包括智能手机或者服务器。如图1所示，本实施例公开的基于肢体识别的控制方法包括：
[0031]步骤110、获取包括用户肢体的视频流。
[0032]其中，所述用户肢体典型的可以是用户手部，还可以是用户的胳膊、腿、头或者脚部等。
[0033]示例性的，获取包括用户肢体的视频流，包括：
[0034]基于终端设备自带的摄像头获取所述包括用户肢体的视频流。
[0035]或者，从独立于所述终端设备的获取所述包括用户肢体的视频流。
[0036]具体的，若所述终端设备不具备视频获取硬件系统，则可通过与专门的视频获取设备建立通信连接，由所述专门的视频获取设备负责获取包括用户肢体的视频流，再由所述专门的视频获取设备将获取到的视频流发送至所述终端设备，或者与所述终端设备对应的服务器，以通过所述终端设备或者所述服务器对视频流中用户的肢体动作姿态进行识别。所述肢体动作姿态例如具体是用户通过手部摆出的圆形、心形、方形或者三角形的手势，或者用户的手指向上或者向下滑动的动作姿态等。
[0037]步骤120、将所述视频流输入至预先训练好的神经网络模型，得到用户肢体的动作姿态。
[0038]其中，所述预先训练好的神经网络模型具体包括：CNN(Convolutional Neural Network,卷积神经网络)模型。CNN是一种前馈神经网络，包括卷积层和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于肢体识别的控制方法，其特征在于，包括：获取包括用户肢体的视频流；将所述视频流输入至预先训练好的神经网络模型，得到用户肢体的动作姿态；若所述动作姿态为设定动作姿态，并且在得到所述设定动作姿态之后的预设时长内识别到用户肢体的目标动作姿态，则执行与所述目标动作姿态关联的交互操作。2.根据权利要求1所述的方法，其特征在于，所述方法应用于终端设备，并且所述获取包括用户肢体的视频流，包括：基于所述终端设备自带的摄像头获取所述包括用户肢体的视频流；或者，从独立于所述终端设备的视频获取设备获取所述包括用户肢体的视频流。3.根据权利要求1所述的方法，其特征在于，将所述视频流输入至预先训练好的神经网络模型，得到用户肢体的动作姿态，包括：对所述视频流进行预处理，以对所述视频流所包括的用户肢体设定点的位置信息进行标注；将预处理后的视频流输入至预先训练好的神经网络模型，得到用户肢体的动作姿态；其中，所述预先训练好的神经网络模型基于训练样本训练得到，所述训练样本包括标记了肢体设定点位置信息的视频流以及视频流中所包括的肢体动作的姿态信息。4.根据权利要求1-3任一项所述的方法，其特征在于，执行与所述目标动作姿态关联的交互操作，包括：基于预存的动作姿态与其关联的交互操作列表，获取与所述目标动作姿态关联的交互操作；通过功能控制模块控制相应功能模块执行与所述目标动作姿态关联的交互操作。5.根据权利要求1...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：