双手手势识别方法、交互界面显示方法和头戴式显示设备技术

本公开的实施例公开了双手手势识别方法、交互界面显示方法和头戴式显示设备。该双手手势识别方法的一具体实施方式包括：通过单目摄像头获取视频流；对视频流进行双手手势检测，得到双手手势位置信息；生成双手手势关键点信息；确定摄像头位姿信息；确定预测双手手势位置信息。该交互界面显示方法的一具体实施方式包括：确定手势关键点信息；确定手势关键点信息是否表征手势处于点按激活手势状态；响应于确定手势关键点信息表征手势处于点按激活手势状态，确定手势驻留时长；响应于手势驻留时长满足预设手势驻留时长条件，对手势关键点信息对应的交互界面进行显示。该实施方式降低了装载于头戴式显示设备的摄像头的体积与功耗，提升了用户体验。提升了用户体验。提升了用户体验。

【技术实现步骤摘要】
双手手势识别方法、交互界面显示方法和头戴式显示设备


[0001]本公开的实施例涉及计算机
，具体涉及双手手势识别方法、交互界面显示方法和头戴式显示设备。

技术介绍

[0002]随着增强现实技术的发展，在头戴式显示设备(例如智能眼镜)上装载摄像头进行人机交互成为一种新的主流方式。目前，现有的应用单目摄像头进行人机交互的方案为：单目摄像头基于屏幕平面与用户的手势捏合来判断用户是否进行点击操作。此外，也存在通过双目摄像头进行人机交互的方式。
[0003]然而，当采用上述方式进行人机交互时，经常会存在如下技术问题：
[0004]双目摄像头体积大、功耗较高；此外，单目摄像头基于屏幕平面的交互需要用户手臂长期持续抬起，造成用户手臂劳累，用户体验较差。

技术实现思路

[0005]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0006]本公开的一些实施例提出了双手手势识别方法、交互界面显示方法和头戴式显示设备，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0007]第一方面，本公开的一些实施例提供了一种双手手势识别方法，该方法包括：通过上述单目摄像头获取视频流；对上述视频流进行双手手势检测，得到双手手势位置信息；根据上述双手手势位置信息，生成双手手势关键点信息；根据上述视频流和惯性测量单元信息，确定摄像头位姿信息；根据上述摄像头位姿信息和上述视频流，确定预测双手手势位置信息。
[0008]可选地，上述对上述视频流进行双手手势检测，得到双手手势位置信息，包括：通过双手手势检测算法对上述视频流进行双手手势检测，得到双手手势包围框位置信息和双手手势初始坐标信息；将上述双手手势包围框位置信息和上述双手手势初始坐标信息确定为双手手势位置信息。
[0009]可选地，在上述将上述双手手势包围框位置信息和上述双手手势初始坐标信息确定为双手手势位置信息之前，上述方法还包括：对上述双手手势初始坐标信息进行对齐处理，得到对齐处理后的双手手势初始坐标信息；对于对齐处理后的双手手势初始坐标信息进行配准处理，以实现对双手手势初始坐标信息的更新
[0010]可选地，上述双手手势识别方法还包括：响应于上述视频流包括的最后一帧视频帧内不包括手势信息，确定上述预测手势位置信息对于上述最后一帧视频帧的相对位置信息；根据上述相对位置信息，提示用户对上述单目摄像头进行移动。
[0011]第二方面，本公开的一些实施例提供了一种交互界面显示方法，该方法包括：使用
上述第一方面任一实现方式所描述的方法，确定手势关键点信息；确定上述手势关键点信息是否表征手势处于点按激活手势状态；响应于确定上述手势关键点信息表征手势处于点按激活手势状态，根据上述手势关键点信息，确定手势驻留时长；响应于上述手势驻留时长满足预设手势驻留时长条件，对上述手势关键点信息对应的交互界面进行显示。
[0012]可选地，上述交互界面显示方法还包括：响应于检测到上述手势关键点信息表征手势处于握拳状态，关闭上述交互界面。
[0013]可选地，上述交互界面显示方法还包括：响应于检测到上述手势关键点信息表征手势处于手腕抬起状态，在上述手势关键点信息对应的手腕处，以预设手腕显示模式显示上述交互界面。
[0014]可选地，上述交互界面显示方法还包括：响应于检测到上述手势关键点信息表征手势处于预设移动界面手势状态，对上述交互界面进行移动。
[0015]可选地，上述交互界面显示方法还包括：响应于检测到上述手势关键点信息表征手势处于预设移动应用手势状态，对上述交互界面内的应用进行移动。
[0016]第三方面，本公开的一些实施例提供了一种头戴式显示设备，包括：单目摄像头，用于获取视频流；一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
[0017]本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的双手手势识别方法，降低了装载于头戴式显示设备的摄像头的体积与功耗，提升用户体验。具体来说，造成装载于头戴式显示设备的摄像头的体积与功耗较大，用户体验较差的原因在于：双目摄像头体积大、功耗较高；此外，单目摄像头基于屏幕平面的交互需要用户手臂长期持续抬起，造成用户手臂劳累，用户体验较差。基于此，本公开的一些实施例的双手手势识别方法，首先，通过单目摄像头获取视频流。然后，对视频流进行双手手势检测，得到双手手势位置信息。由此，可以得到表征用户的双手在上述视频流包括的各个视频帧中的位置的双手手势位置信息。然后，根据双手手势位置信息，生成双手手势关键点信息。由此，可以得到表征两个手掌的关节点的坐标的双手手势关键点信息。之后，根据视频流和惯性测量单元信息，确定摄像头位姿信息。由此，可以得到表征单目摄像头的位置的摄像头位姿信息。最后，根据摄像头位姿信息和视频流，确定预测双手手势位置信息。由此，可以得到表征预测的双手在下一帧视频帧中相对于上述单目摄像头的位置的预测双手手势位置信息。因为通过装载单目摄像头实现了人机交互，且通过得到预测双手手势位置信息，可以减少直接将双目摄像头替换成单目摄像头造成的手势或手掌的跟丢，从而在对于用户而言人机交互效果类似的基础上减小了摄像头的体积，进而提升了用户体验。
附图说明
[0018]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0019]图1是根据本公开的双手手势识别方法的一些实施例的流程图；
[0020]图2是根据本公开的交互界面显示方法的一些实施例的流程图；
[0021]图3是适于用来实现本公开的一些实施例的头戴式显示设备的结构示意图。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0023]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0024]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0025]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双手手势识别方法，应用于包括单目摄像头的头戴式显示设备，其中，所述方法包括：通过所述单目摄像头获取视频流；对所述视频流进行双手手势检测，得到双手手势位置信息；根据所述双手手势位置信息，生成双手手势关键点信息；根据所述视频流和惯性测量单元信息，确定摄像头位姿信息；根据所述摄像头位姿信息和所述视频流，确定预测双手手势位置信息。2.根据权利要求1所述的方法，其中，所述对所述视频流进行双手手势检测，得到双手手势位置信息，包括：通过双手手势检测算法对所述视频流进行双手手势检测，得到双手手势包围框位置信息和双手手势初始坐标信息；将所述双手手势包围框位置信息和所述双手手势初始坐标信息确定为双手手势位置信息。3.根据权利要求2所述的方法，其中，在所述将所述双手手势包围框位置信息和所述双手手势初始坐标信息确定为双手手势位置信息之前，所述方法还包括：对所述双手手势初始坐标信息进行对齐处理，得到对齐处理后的双手手势初始坐标信息；对于对齐处理后的双手手势初始坐标信息进行配准处理，以实现对双手手势初始坐标信息的更新。4.根据权利要求1所述的方法，其中，所述方法还包括：响应于所述视频流包括的最后一帧视频帧内不包括手势信息，确定所述预测手势位置信息对于所述最后一帧视频帧的相对位置信息；根据所述相对位置信息，提示用户对所述单目摄像头进行移动。5.一种交互界面显示方法，应用于包括单目摄像头的头戴式显示设备，其中，所述方法包括：...

【专利技术属性】
技术研发人员：庾金科，李耀斌，王俊杰，
申请(专利权)人：杭州灵伴科技有限公司，
类型：发明
国别省市：