手势识别方法、基于手势识别的交互方法与混合现实眼镜技术

本发明专利技术公开了一种手势识别方法，所述方法包括以下步骤：获取待识别手势的深度图序列；基于所述深度图序列，获取所述深度图序列的关键帧序列；将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列；基于所述第一语义序列，获得所述待识别手势的语义结果。本发明专利技术还公开了基于手势识别的交互方法与混合现实眼镜。采用本发明专利技术提供的方法旨在解决现有的基于深度学习的手势识别算法受到深度图的预设算法的误差限制精度低的技术问题。

【技术实现步骤摘要】
手势识别方法、基于手势识别的交互方法与混合现实眼镜
本专利技术涉及地理信息
领域，尤其涉及到手势识别方法、基于手势识别的交互方法与混合现实眼镜。
技术介绍
目前存在手势识别算法以帮助聋哑人和普通人正常交流，但是大部分基于深度学习的三维手势识别算法首先是对普通镜头获取的RGB图像进行深度预测获得深度信息，再对预测的深度信息进行手势识别。该方法的手势识别的精度受到深度预测的算法的误差限制，精度比较低。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种手势识别方法、基于手势识别的交互方法与混合现实眼镜，旨在解决现有的基于深度学习的手势识别算法受到深度图的预设算法的误差限制精度低的技术问题。为实现上述目的，本专利技术提供一种手势识别方法，所述方法包括以下步骤：获取待识别手势的深度图序列；基于所述深度图序列，获取所述深度图序列的关键帧序列；将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列；基于所述第一语义序列，获得所述待识别手势的语义结果。可选的，所述将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列的步骤，包括：通过卷积层3DCNN提取所述关键帧序列中每帧图像的图像空间特征；通过时间递归层LSTMRNN提取所述关键帧序列的时间关系特征；结合所述图像空间特征与所述时间关系特征，获得所述关键帧序列的时空特征；将所述时空特征输入所述分类器输出层，以获得所述待识别手势的语义序列。可选的，所述基于所述语义序列，获得所述待识别手势的语义结果的步骤，包括：将所述语义序列输入预先训练的语义翻译模型，以获得所述语义结果。可选的，所述获取待识别手势的深度图序列的步骤，包括：获取深度摄像头采集的待识别手势的深度图序列。此外，为了解决上述问题，本专利技术还提供一种基于手势识别的交互方法，所述方法应用于混合现实设备，所述方法包括以下步骤：获取待识别手势的深度图；基于所述深度图，获取所述深度图的关键帧序列；将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列；基于所述第一语义序列，获得所述待识别手势的语义结果；输出所述语义结果；获取针对所述语义结果的语音应答信息；基于所述语音应答信息，提取语音片段；将所述语音片段输入预先训练的语音翻译模型，以获得所述语音应答信息的第二语义序列；基于所述第二语义序列，获取手势图形序列；显示所述手势图形序列。可选的，所述将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列的步骤，包括：通过卷积层3DCNN提取所述关键帧序列中每帧图像的图像空间特征；通过时间递归层LSTMRNN提取所述关键帧序列的时间关系特征；结合所述图像空间特征与所述时间关系特征，获得所述关键帧序列的时空特征；将所述时空特征输入所述分类器输出层，以获得所述待识别手势的语义序列。可选的，所述基于所述语义序列，获得所述待识别手势的语义结果的步骤，包括：将所述语义序列输入预先训练的语义翻译模型，以获得所述语义结果。可选的，所述获取待识别手势的深度图序列的步骤，包括：获取深度摄像头采集的待识别手势的深度图序列。此外，为了解决上述问题，本专利技术还提供一种手势识别装置，所述装置包括：第一获取模块，用于获取待识别手势的深度图序列；第二获取获取模块，用于基于所述深度图序列，获取所述深度图序列的关键帧序列；识别模块，用于将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的语义序列；获得模块，基于所述语义序列，获得所述待识别手势的语义结果。此外，为了解决上述问题，本专利技术还提供一种基于手势识别的交互装置，应用于混合现实设备，所述基于手势识别的交互装置包括：第一获取模块，用于获取待识别手势的深度图；第二获取获取模块，用于基于所述深度图，获取所述深度图的关键帧序列；识别模块，用于将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列；获得模块，基于所述第一语义序列，获得所述待识别手势的语义结果；交互模块，用于输出所述语义结果并获取针对所述语义结果的语音应答信息；提取模块，用于基于所述语音应答信息，提取语音片段；翻译模块，用于将所述语音片段输入预先训练的语音翻译模型，以获得所述语音应答信息的第二语义序列；第四获取模块，用于基于所述第二语义序列，获取手势图形序列；显示模块，用于显示所述手势图形序列。此外，为了解决上述问题，本专利技术还提供一种电子设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别程序配置为实现如前所述的手势识别方法的步骤；或者所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于手势识别的交互程序，所述基于手势识别的交互程序配置为实现如前所述的基于手势识别的交互方法的步骤。此外，为了解决上述问题，本专利技术还提供一种混合现实眼镜，所述混合现实眼镜包括如前的电子设备。此外，为了解决上述问题，本专利技术还提供一种存储介质，所述存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如前所述的手势识别方法的步骤；或者所述存储介质上存储有基于手势识别的交互程序，所述基于手势识别的交互程序被处理器执行时实现如前所述的基于手势识别的交互方法的步骤。本专利技术实施例提出的一种手势识别方法、基于手势识别的交互方法与混合现实眼镜。该手势识别方法直接获取用户做出的手势的深度图，避免了传统深度学习方法对普通RGB图估计得到深度信息所带来的误差以及相应的时间成本，从而提高了手势识别的准确度和手势识别的效率。也利于使用该手势识别的交互方法在实际运用中的交互的意思表达的准确率和即时性。附图说明图1为本专利技术实施例中一种混合现实眼镜示意图；图2为本专利技术手势识别方法实施例的流程示意图；图3为图2中步骤S300步骤的细化流程示意图；图4为本专利技术基于手势识别的交互方法实施例的流程示意图；图5为本专利技术手势识别装置实施例的结构框图；图6为本专利技术基于手势识别的交互装置实施例的结构框图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。大部分的基于深度学习的三维手势识别算法首先是对普通的RGB图像进行深度预测获得深度信息，再基于预测的深度信息进行手势识别。例如，通过手机或者平板终端上搭载的镜头对手势进行采集，获得普通的R本文档来自技高网...

【技术保护点】
1.一种手势识别方法，其特征在于，所述方法包括以下步骤：/n获取待识别手势的深度图序列；/n基于所述深度图序列，获取所述深度图序列的关键帧序列；/n将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列；/n基于所述第一语义序列，获得所述待识别手势的语义结果。/n

【技术特征摘要】
1.一种手势识别方法，其特征在于，所述方法包括以下步骤：
获取待识别手势的深度图序列；
基于所述深度图序列，获取所述深度图序列的关键帧序列；
将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列；
基于所述第一语义序列，获得所述待识别手势的语义结果。


2.根据权利要求1所述的手势识别方法，其特征在于，所述将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列的步骤，包括：
通过卷积层3DCNN提取所述关键帧序列中每帧图像的图像空间特征；
通过时间递归层LSTMRNN提取所述关键帧序列的时间关系特征；
结合所述图像空间特征与所述时间关系特征，获得所述关键帧序列的时空特征；
将所述时空特征输入所述分类器输出层，以获得所述待识别手势的语义序列。


3.根据权利要求1所述的手势识别方法，其特征在于，所述基于所述语义序列，获得所述待识别手势的语义结果的步骤，包括：
将所述语义序列输入预先训练的语义翻译模型，以获得所述语义结果。


4.根据权利要求1所述的手势识别方法，其特征在于，所述获取待识别手势的深度图序列的步骤，包括：
获取深度摄像头采集的待识别手势的深度图序列。


5.一种基于手势识别的交互方法，所述方法应用于混合现实设备，其特征在于，所述方法包括以下步骤：
获取待识别手势的深度图序列；
基于所述深度图序列，获取所述深度图序列的关键帧序列；
将所述关键帧序列输入预先训练的手势识别模型，以获得所述待识别手势的第一语义序列；
基于所述语义序列，获得所述待识别手势的语义结果；
输出所述语义结果，并获取针对所述语义结果的语音应答信息；
基于所述语音应答信息，提取语音片段；
将所述语音片段输入预先训练的语音翻译模型，以获得所述语音应答信息的第二语义序列；
基于所述第二语义序列，获取手势图形序列；
显示所述手势图形序列。


6.一种手势识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取待识别手势的深度图；

【专利技术属性】
技术研发人员：陈俊宏，张志宽，刘聪，田第鸿，何震宇，柳伟，
申请(专利权)人：鹏城实验室，哈尔滨工业大学深圳，
类型：发明
国别省市：广东;44