一种动态手势识别方法及装置制造方法及图纸

一种动态手势识别方法，包括：S100：采集手势图像并生成手势视频数据；S200：判别手势视频数据中的当前帧有无手势，若判别为有手势，则执行步骤S300；否则返回步骤S100；S300：对手势进行骨骼关键点检测，并基于骨骼关键点判断手势是否为动态手势，若判别为动态手势，则执行步骤S400；否则返回步骤S100；S400：对动态手势进行识别，以获得动态手势的类别。以获得动态手势的类别。以获得动态手势的类别。

【技术实现步骤摘要】
一种动态手势识别方法及装置


[0001]本公开属于计算机视觉、模式识别、人机交互
，具体涉及一种动态手势识别方法及装置。

技术介绍

[0002]手势作为人们与生俱来的一种自然交互方式，是人与人、人与机器、甚至是类人智能机器与机器之间沟通交流的重要桥梁，在许多领域都存在迫切需求，如聋哑人交流、智能家居、机器人、医疗、国防等。如何获得高精度、高准确率的手势识别已成为手势交互研究的关键。
[0003]汽车作为承载生活必需的移动空间装置，当前正掀起一场传统汽车被智能车取代的变革，其中，车内的创新功能与交互体验有可能成为智能车凸显其产品差异化和创新性的重要标志。对于智能车内的交互，手势能够最大限度地减少认知和视觉沟通成本，将与语音、人脸、动作等识别技术相结合用于车内自然交互，使智能车不仅成为人们日常生活代步工具，还能成为一种全新的移动式智能家居、智能办公场所。当前，手势识别技术在智能车中大规模普及应用还存在一些挑战。比如存在动态手势识别率不够高，只能识别一些特定手势动作，存在难以准确识别动态手势，环境和汽车颠簸影响识别准确性、多乘员的手势识别、远距离手势识别、不同人的手势动作快慢不一影响识别等难题。

技术实现思路

[0004]针对现有技术中的不足，本公开的目的在于提出一种动态手势识别方法，该方法能够对多种动态手势进行实时识别，识别准确率高。
[0005]一种动态手势识别方法，包括如下步骤：
[0006]S100：采集手势图像并生成手势视频数据；
[0007]S200：判别手势视频数据中的当前帧有无手势，若判别为有手势，则执行步骤S300；否则返回步骤S100；
[0008]S300：对手势进行骨骼关键点检测，并基于骨骼关键点判断手势是否为动态手势，若判别为动态手势，则执行步骤S400；否则返回步骤S100；
[0009]S400：对动态手势进行识别，以获得动态手势的类别。
[0010]优选的，根据权利要求1所述的方法，其中，步骤S200包括如下步骤：
[0011]S201：对手势视频数据进行缓存，获得N帧手势图像序列；
[0012]S202：对N帧手势图像序列进行检测，获得N个手势图像检测框；
[0013]S203：对N个手势图像检测框进行决策，获得与N帧手势图像序列对应的N个最佳手势图像检测框；
[0014]S204：对N个最佳手势图像检测框进行裁剪，获得N个手势图像区域。
[0015]优选的，根据权利要求1所述的方法，其中，步骤S300包括如下步骤：
[0016]S301：提取每个手势图像区域的手势骨骼关键点，并获取每个关键点的坐标；
[0017]S302：对每个手势图像区域的手势骨骼关键点进行优化，获得优化后的手势骨骼关键点；
[0018]S303：根据优化后的手势骨骼关键点是否发生偏移以判别每个手势图像区域中的手势是动态手势或静态手势。
[0019]优选的，步骤S302中，所述对N帧手势图像区域的手势骨骼关键点进行优化包括以下步骤：
[0020]S3021：基于时序异常值检测算法对每个手势图像区域的手势骨骼关键点进行时序分解，得到周期部分，趋势部分和残差部分；
[0021]S3032：将残差部分进行箱型图异常值检测，以剔除偏离较远的关键点，并以与该剔除点相邻手指上距离掌心最近的关键点坐标的平均值替代该剔除点。
[0022]优选的，步骤S303包括如下步骤：
[0023]S3031：计算手势骨骼关键点的偏移量；
[0024]S3032：将相邻两个手势图像区域中手势骨骼关键点的平均偏移量与设定阈值比对，根据比对结果判别手势是动态手势或静态手势。
[0025]优选的，步骤S400中，通过动态手势分类网络对动态手势进行识别，动态手势分类网络包括：
[0026]特征提取模块，用于提取K组关键点位置序列中的C维特征，以表示动态手势分属于C个类别的概率；
[0027]归一化指数函数，用于将概率归一化到[0，1]之间。
[0028]本公开还提供一种动态手势识别装置，包括：
[0029]采集模块，用于采集手势图像并生成手势视频数据；
[0030]第一判别模块，用于判别手势视频数据中有无手势；
[0031]第二判别模块，用于判别手势为动态手势或静态手势；
[0032]识别模块，用于对动态手势进行识别，以获得动态手势的类别。
[0033]优选的，所述第一判别模块包括：
[0034]缓存子模块，用于对手势视频数据进行缓存，以获得N帧手势图像序列；
[0035]检测子模块，用于对N帧手势图像序列进行检测，以获得N个手势图像检测框；
[0036]决策子模块，用于对N个手势图像检测框进行决策，以获得与N个手势图像对应的N个最佳手势图像检测框；
[0037]裁剪子模块，用于对N个最佳手势图像检测框进行裁剪，以获得N个手势图像区域。
[0038]优选的，所述第二判别模块包括：
[0039]提取子模块，用于提取每个手势图像区域的手势骨骼关键点，并获取每个关键点的坐标；
[0040]优化子模块，用于对每个手势图像区域的手势骨骼关键点进行优化，以获得优化后的手势骨骼关键点；
[0041]判别子模块，用于根据优化后的手势骨骼关键点是否发生偏移以判别每个手势图像区域中的手势是动态手势或静态手势。
[0042]优选的，所述识别模块包括：
[0043]识别子模块，用于利用动态手势分类网络对动态手势进行分类，以获得类别概率；
[0044]类别决策子模块，用于对类别概率进行决策，以获得动态手势的类别。
[0045]与现有技术相比，本公开的有益效果在于：
[0046]1、本公开能够对多种动态手势进行实时识别，具备延时短(即在每20帧结束就能得到一个手势类别结果，而相机帧数在15
‑
20帧每秒，相当于在1
‑
1.3秒内包含整个动作的完成和结果的输出)、识别准确率高，能够准确识别不同快慢的动态手势。
[0047]2、本公开不仅适用于可见光RGB视频流，也适用于红外IR视频流、RGB
‑
Depth视频流或IR
‑
Depth视频流中的动态手势检测和识别，可广泛用于智能车、智能家居、机器人等领域的自然交互。
附图说明
[0048]图1是本公开一个实施例提供的一种动态手势识别方法示意图；
[0049]图2是本公开另一个实施例提供的一种动态手势分类网络结构示意图；
[0050]图3是本公开另一个实施例提供的动态手势检测框及检测关键点示意图。
具体实施方式
[0051]下面结合附图1至图3对本专利技术进行进一步的详细说明。
[0052]一个实施例中，如图1所示，本公开提出一种动态手势识别方法，包括如下步骤：
[0053]S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态手势识别方法，包括如下步骤：S100：采集手势图像并生成手势视频数据；S200：判别手势视频数据中的当前帧有无手势，若判别为有手势，则执行步骤S300；否则返回步骤S100；S300：对手势进行骨骼关键点检测，并基于骨骼关键点判断手势是否为动态手势，若判别为动态手势，则执行步骤S400；否则返回步骤S100；S400：对动态手势进行识别，以获得动态手势的类别。2.根据权利要求1所述的方法，其中，优选的，步骤S200包括如下步骤：S201：对手势视频数据进行缓存，获得N帧手势图像序列；S202：对N帧手势图像序列进行检测，获得N个手势图像检测框；S203：对N个手势图像检测框进行决策，获得与N帧手势图像序列对应的N个最佳手势图像检测框；S204：对N个最佳手势图像检测框进行裁剪，获得N个手势图像区域。3.根据权利要求1所述的方法，其中，步骤S300包括如下步骤：S301：提取每个手势图像区域的手势骨骼关键点，并获取每个关键点的坐标；S302：对每个手势图像区域的手势骨骼关键点进行优化，获得优化后的手势骨骼关键点；S303：根据优化后的手势骨骼关键点是否发生偏移以判别每个手势图像区域中的手势是动态手势或静态手势。4.根据权利要求3所述的方法，其中，步骤S302中，所述对N帧手势图像区域的手势骨骼关键点进行优化包括以下步骤：S3021：基于时序异常值检测算法对每个手势图像区域的手势骨骼关键点进行时序分解，得到周期部分，趋势部分和残差部分；S3032：将残差部分进行箱型图异常值检测，以剔除偏离较远的关键点，并以与该剔除点相邻手指上距离掌心最近的关键点坐标的平均值替代该剔除点。5.根据权利要求3所述的方法，其中，步骤S303包括如下步骤：S3031：计算手势骨骼关键点的偏移量；S3...

【专利技术属性】
技术研发人员：周艳辉，符亚东，葛晨阳，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：