System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 隔空手势识别方法、电子设备及存储介质技术_技高网

隔空手势识别方法、电子设备及存储介质技术

技术编号:42555952 阅读:11 留言:0更新日期:2024-08-29 00:27
本申请提供了一种隔空手势识别方法、电子设备及存储介质,涉及图像处理技术领域。电子设备相机开启AON功能,前置摄像头实时采集图像;先输出较低分辨率的连续多帧图像,并采用低功耗TCM内存进行数据缓存,进行第一阶段检测;当检测出满足预设的手势触发条件时,再输出较高分辨率的连续多帧图像,并采用低功耗TCM内存和正常功耗DDR内存,进行第二阶段具体手势识别;在识别出具体手势后,按照手势识别结果对应的预设策略做出响应。本申请通过分阶段进行手势检测,在不同阶段,应用不同的图像分辨率,并切换运行内存,因此本申请方案不但可以保证手势识别的准确性,而且还可以有效地降低手势识别过程中所需的功耗以及内存空间。

【技术实现步骤摘要】

本申请涉及图像,尤其涉及一种隔空手势识别方法、电子设备及存储介质


技术介绍

1、目前,手机等智能电子设备可以应用摄像头实时在线(always-on camera,aon)功能,能够实现隔空手势操控屏幕等功能。具体而言,在手机应用aon功能的情况下,手机相机的前置摄像头处于常开状态,可以实时采集图像,手机通过图像分析进行手势识别,可以响应用户手势来操控屏幕,无需用户接触手机,即可实现对手机屏幕的操控。

2、举例来说,电子设备可以识别用户的各种手势动作,如由手掌伸展状态变为握拳状态(抓握手势),表示将电子设备的显示界面进行截屏处理。电子设备在识别到该抓握手势时会自动执行截屏的操作,用户不用接触电子设备也能完成人机交互,大大提升了操作的方便程度。

3、目前,在电子设备开启手势识别功能的情况下,电子设备会通过摄像头不断采集连续多帧图像,也需要不断分析图像,进行手势识别,因此数据量非常大。由此可见,由于手势识别过程频繁检测,带来大量的数据要处理,导致功耗较高。


技术实现思路

1、本申请提供一种隔空手势识别方法、电子设备及存储介质,解决了手势识别过程频繁检测,带来大量的数据要处理,导致功耗较高的问题。

2、为达到上述目的,本申请采用如下技术方案:

3、第一方面,本申请提供一种隔空手势识别方法,该方法包括:电子设备开启隔空手势功能,在隔空手势功能开启之后,电子设备的相机模块处于常开状态;通过相机模块输出第一尺寸规格的多帧第一图像,并将多帧第一图像存储于第一内存器;当多帧第一图像的分析结果满足预设的手势触发条件时,通过相机模块输出第二尺寸规格的多帧第二图像,并将多帧第二图像存储于第一内存器和第二内存器;根据多帧第二图像进行手势识别,得到手势识别结果;按照手势识别结果对应的预设策略做出响应;其中,第一尺寸规格对应的分辨率低于第二尺寸规格对应的分辨率;在存储同一图像的情况下,第一内存器引起的功耗小于第二内存器引起的功耗,第一内存器和第二内存器共同引起的功耗小于第二内存器引起的功耗。

4、通过本申请实施例提供的隔空手势识别方法,电子设备相机开启隔空手势功能,前置摄像头实时采集图像;先输出较低分辨率的连续多帧图像,并采用低功耗内存(如tcm)进行数据缓存,进行第一阶段检测;当检测出满足预设的手势触发条件时,再输出较高分辨率的连续多帧图像,并采用低功耗内存和正常功耗内存(如ddr),进行第二阶段具体手势识别;在识别出具体手势后,按照手势识别结果对应的预设策略做出响应。本申请通过分阶段进行手势检测,在不同阶段,应用不同的图像分辨率,并切换运行内存,因此本申请方案不但可以保证手势识别的准确性,而且还可以有效地降低手势识别过程中所需的功耗以及内存空间。

5、需要说明的是,当电子设备的相机模块处于常开状态时,相机模块采集用户的手势操作的图像,得到图像帧流。相机模块可以根据需求,输出不同分辨率的图像帧流。其中,预设的手势触发条件包括多帧第一图像中有手部特征且有起始手势。

6、在一些实现方式中,上述方法还包括:判断多帧第一图像的分析结果满足预设的手势触发条件。其中,上述判断多帧第一图像的分析结果满足预设的手势触发条件,包括:按照预设的第一采样周期从多帧第一图像中获取连续n帧图像,以分析多帧第一图像中是否有手部特征;在确定多帧第一图像中有手部特征之后,按照预设的第二采样周期从多帧第一图像中获取连续m帧图像,以分析多帧第一图像中是否有起始手势;若连续s次均确定出多帧第一图像中有起始手势且起始手势状态变化,则确定多帧第一图像的分析结果满足预设的手势触发条件。

7、通过上述方案,通过特定的手势触发条件判断,可以准确地筛选出具有用户手势特征的图像,以进一步根据图像识别具体手势,从而提高手势识别的准确性。

8、在一些实现方式中,上述根据多帧第二图像进行手势识别,得到手势识别结果,包括:按照预设的第三采样周期从多帧第二图像中获取连续t帧图像,以识别多帧第一图像中的具体手势;在预设时长内识别出具体手势;当判断具体手势为预设的多种手势中的一种手势时,根据具体手势生成手势识别结果。

9、在一些实现方式中,上述根据手势识别结果对应的预设策略做出响应,包括:

10、当手势识别结果为第一手势,对应的第一预设策略为隔空截屏时,根据第一预设策略,对电子设备的屏幕显示内容进行截屏;

11、当手势识别结果为第二手势,对应的第二预设策略为隔空滑动屏幕时,根据第二预设策略,将电子设备的屏幕显示内容进行翻页;

12、当手势识别结果为第三手势,对应的第三预设策略为隔空接听来电时,在电子设备接收到来电信号时,根据第三预设策略自动接听来电;

13、当手势识别结果为第三手势,对应的第四预设策略为隔空支付时,在电子设备的屏幕显示桌面时,根据第四预设策略从桌面自动跳转到含有支付码的界面。

14、通过上述方案,手势识别结果为预设的多种手势中的一种手势,不同的手势对应不同的预设策略。在电子设备准确地识别出具体手势后,电子设备按照具体手势推断用户控机意图,并执行对应的动作,从而可以提升交互体验。

15、在一些实现方式中,第一内存器为紧密耦合存储器tcm,第二内存器为双倍速率同步动态随机存储器ddr。

16、在一些实现方式中,第二尺寸规格为qvga,对应的分辨率为320×240;第一尺寸规格为qqvga,对应的分辨率为160×120。具体可以根据实际使用需求确定,本申请实施例不作限定。

17、在一些实现方式中,相机模块为前置摄像头。

18、在一些实现方式中,上述方法应用于电子设备的系统架构,系统架构包括第一算法平台和第二算法平台;其中,第二算法平台为原生芯片提供的支持相机常开aon算法的框架,第一算法平台为基于第二算法平台创建的支持多业务的aon算法集成框架;第一算法平台支持处理的业务包括隔空手势业务;第二算法平台支持处理的业务包括人脸解锁屏幕业务。

19、在一些实现方式中,上述方法还包括:通过第一算法平台对多帧第一图像进行分析;通过第一算法平台判断多帧第一图像的分析结果是否满足预设的手势触发条件。

20、在一些实现方式中,上述根据多帧第二图像进行手势识别,得到手势识别结果,包括:通过第一算法平台根据多帧第二图像进行手势识别,得到手势识别结果。

21、在一些实现方式中,系统架构还包括智慧感知应用。

22、上述电子设备开启隔空手势功能,包括:智慧感知应用接收用户开启隔空手势业务的第一操作,隔空手势业务为智慧感知应用支持的业务;响应于第一操作,智慧感知应用向第一算法平台下发第一消息,该第一消息用于指示订阅隔空手势业务;第一算法平台响应于第一消息,订阅隔空手势业务。

23、在一些实现方式中,在订阅隔空手势业务之后,上述方法还包括:第一算法平台向相机模块发送第二消息,该第二消息用于请求相机模块按照第一尺寸规格输出图像。

<本文档来自技高网...

【技术保护点】

1.一种隔空手势识别方法,所述方法应用于电子设备,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述采用第二内存器对所述多帧第二图像中的至少部分图像进行缓存,包括:

4.根据权利要求2所述的方法,其特征在于,所述采用第二内存器对所述多帧第二图像中的至少部分图像进行缓存,包括:

5.根据权利要求4所述的方法,其特征在于,由所述第一内存器和所述第二内存器分别存储所述多帧第二图像所引起的功耗,小于由所述第二内存器存储所述多帧第二图像的全部图像所引起的功耗。

6.根据权利要求2至5中任一项所述的方法,其特征在于,所述第一内存器为紧密耦合存储器TCM,所述第二内存器为双倍速率同步动态随机存储器DDR。

7.根据权利要求1至6中任一项所述的方法,其特征在于,

8.根据权利要求1至7中任一项所述的方法,其特征在于,所述相机模块为前置摄像头;

9.根据权利要求1至8中任一项所述的方法,其特征在于,所述第二操作为隔空手势操作,所述预设的手势触发条件包括所述多帧第一图像中有手部特征且有起始手势且所述起始手势状态有变化。

10.根据权利要求1至9中任一项所述的方法,其特征在于,所述方法还包括:判断所述多帧第一图像的分析结果满足预设的手势触发条件;

11.根据权利要求1至10中任一项所述的方法,其特征在于,所述根据所述多帧第二图像进行手势识别,得到手势识别结果,包括:

12.根据权利要求11所述的方法,其特征在于,所述基于所述手势识别结果对应的预设策略做出响应,包括:

13.根据权利要求1至12中任一项所述的方法,其特征在于,所述方法应用于电子设备的系统架构,所述系统架构包括第一算法平台和第二算法平台;

14.根据权利要求13所述的方法,其特征在于,

15.根据权利要求14所述的方法,其特征在于,所述系统架构还包括智慧感知应用;所述开启隔空手势功能,包括:

16.根据权利要求15所述的方法,其特征在于,所述方法还包括:

17.根据权利要求16所述的方法,其特征在于,所述方法还包括:

18.根据权利要求15至17中任一项所述的方法,其特征在于,在所述基于所述手势识别结果对应的预设策略做出响应之前,所述方法还包括:

19.根据权利要求14至18中任一项所述的方法,其特征在于,所述系统架构还包括智慧感知接口;所述智慧感知应用和所述第一算法平台之间通过所述智慧感知接口进行数据交互。

20.根据权利要求14至19中任一项所述的方法,其特征在于,所述系统架构还包括业务管理模块、分发器、智慧感知客户端和原生平台客户端;所述方法还包括:

21.根据权利要求14至20中任一项所述的方法,其特征在于,所述系统架构还包括算法库,所述算法库中包括第一图像处理算法和第二图像处理算法;

22.一种电子设备,其特征在于,包括处理器、存储器以及存储在所述存储器上的计算机程序,所述处理器用于执行所述计算机程序,以使得所述电子设备实现如权利要求1至21中任一项所述的方法。

23.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至21中任一项所述的方法。

...

【技术特征摘要】

1.一种隔空手势识别方法,所述方法应用于电子设备,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述采用第二内存器对所述多帧第二图像中的至少部分图像进行缓存,包括:

4.根据权利要求2所述的方法,其特征在于,所述采用第二内存器对所述多帧第二图像中的至少部分图像进行缓存,包括:

5.根据权利要求4所述的方法,其特征在于,由所述第一内存器和所述第二内存器分别存储所述多帧第二图像所引起的功耗,小于由所述第二内存器存储所述多帧第二图像的全部图像所引起的功耗。

6.根据权利要求2至5中任一项所述的方法,其特征在于,所述第一内存器为紧密耦合存储器tcm,所述第二内存器为双倍速率同步动态随机存储器ddr。

7.根据权利要求1至6中任一项所述的方法,其特征在于,

8.根据权利要求1至7中任一项所述的方法,其特征在于,所述相机模块为前置摄像头;

9.根据权利要求1至8中任一项所述的方法,其特征在于,所述第二操作为隔空手势操作,所述预设的手势触发条件包括所述多帧第一图像中有手部特征且有起始手势且所述起始手势状态有变化。

10.根据权利要求1至9中任一项所述的方法,其特征在于,所述方法还包括:判断所述多帧第一图像的分析结果满足预设的手势触发条件;

11.根据权利要求1至10中任一项所述的方法,其特征在于,所述根据所述多帧第二图像进行手势识别,得到手势识别结果,包括:

12.根据权利要求11所述的方法,其特征在于,所述基于所述手势识别结果对应的预设策略做出响应,包括:

【专利技术属性】
技术研发人员:管一凡
申请(专利权)人:荣耀终端有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1