一种手势的识别方法、装置及设备制造方法及图纸

本发明专利技术提供一种手势的识别方法、装置及设备。方法包括：获取待检测图像；将所述待检测图像输入训练好的手势识别模型进行静态手势的种类和位置识别，得到手势识别结果；所述手势识别模型包括：用于对静态手势进行特征融合的加权双向特征融合层；本发明专利技术的方案降低了对输入图像的摄像设备要求，提升了识别速度，降低了运算时间的同时，实现了更理想的手势识别精度。度。度。

【技术实现步骤摘要】
一种手势的识别方法、装置及设备


[0001]本专利技术涉及深度学习
，特别是指一种手势的识别方法、装置及设备。

技术介绍

[0002]近年来随着人工智能技术的快速发展，人机交互的方式也得到了很大的改变，从打字、触屏到语音，交互方式的发展给人们的操作带来了便利和极佳的使用体验。然而更为高效、舒适的交互方式是让机器能够直接理解人的肢体语言，在各种肢体语言中手势最为简单、方便，因此可以将它作为一种简单、高效的人机交互方式，有着十分广阔的应用前景。
[0003]传统的静态手势识别系统一般先进行手势分割获取手势区域，然后提取手势特征，最后利用手势特征进行分类。传统的方法需要人工设计特征，例如颜色特征、HOG(Histogram of Oriented Gradient，方向梯度直方图)特征等等，这些特征的泛化能力较差，针对不同的任务需要设计不同的特征。由于人工神经网络具有抗干扰、自组织、自学习和抗噪声能力强等特点，其被越来越多的运用在手势分类上。随着基于神经网络的目标检测网络的发展，基于目标检测网络的手势识别技术开始发展。然而基于神经网络的手势识别技术比传统的机器学习方法上升了准确率，但是也存在网络计算量大、模型复杂、实时性不强等缺点。
[0004]由此可见，复杂场景下现有的手势识别方法存在准确率低以及实时性差的技术问题。

技术实现思路

[0005]本专利技术要解决的技术问题是提供一种手势的识别方法、装置及设备。降低了对输入图像的摄像设备要求，提升了识别速度，降低了运算时间的同时，实现了更理想的手势识别精度。
[0006]为解决上述技术问题，本专利技术的技术方案如下：
[0007]一种手势的识别方法，所述方法包括：
[0008]获取待检测图像；
[0009]将所述待检测图像输入训练好的手势识别模型进行静态手势的种类和位置识别，得到手势识别结果；所述手势识别模型包括：用于对静态手势进行特征融合的加权双向特征融合层。
[0010]可选的，所述手势识别模型通过以下过程训练：
[0011]获取用于训练的图像数据集，所述图像数据集包括至少一个手部训练图像；
[0012]根据所述手部图像数据集中的每个手部训练图像通过预设模型的输入层进行数据增强处理，得到第一输出结果；
[0013]将所述第一输出结果输入所述预设模型的主干网络进行特征提取，得到第二输出结果，所述第二输出结果包括：至少一个第一目标特征图；
[0014]将所述第二输出结果输入所述预设模型的加权双向特征融合层进行特征融合处
理，得到第三输出结果，所述第三输出结果包括：至少一个第二目标特征图；
[0015]将所述第三输出结果输入所述预设模型的输出层进行标注处理，得到所述预设模型的输出结果。
[0016]可选的，获取用于训练的图像数据集，包括：
[0017]获取原始训练数据集；
[0018]对所述原始训练数据集进行标注，得到标注信息，并将标注信息存储为目标格式文件；
[0019]对所述原始训练数据集进行数据分析和数据补全处理，得到目标数据集；
[0020]根据所述目标格式文件，对所述目标数据集进行预处理，得到用于训练的图像数据集。
[0021]可选的，根据所述目标格式文件，对所述目标数据集进行预处理，得到用于训练的图像数据集，包括：
[0022]对所述目标格式文件进行归一化处理，得到归一化文件；
[0023]根据所述归一化文件，将所述目标数据集中预设数量的数据作为用于训练的图像数据集。
[0024]可选的，将所述第一输出结果输入所述预设模型的主干网络进行特征提取，得到第二输出结果，包括：
[0025]对所述第一输出结果进行采样处理，得到第一过程特征图；
[0026]对所述第一过程特征图进行梯度网络处理，得到第二过程特征图；
[0027]将所述第二过程特征图通过频道注意模块进行频道处理，得到第三过程特征图，并将所述第三过程特征图与所述第二过程特征图进行卷积乘计算，得到第四过程特征图；
[0028]将所述第四过程特征图通过空间注意模块进行空间处理，得到第五过程特征图，并将所述第五过程特征图与所述第四过程特征图进行卷积乘计算，得到第二输出结果。
[0029]可选的，将所述第二输出结果输入所述预设模型的加权双向特征融合层进行特征融合处理，得到第三输出结果，包括：
[0030]当所述第二输出结果包括P
n
个第一目标特征图时，将目标特征图P
i
与目标特征图P
i
‑1进行特征融合，得到目标特征图P
i
‑1对应的特征融合结果P
′
i
‑1；
[0031]将所述目标特征图P
i
‑1对应的特征融合结果P
′
i
‑1与特征融合结果P
′
i
进行特征融合，得到目标特征图P
i
对应的第二目标特征图；并将所述P
n
个第一目标特征图对应的第二目标特征图作为第三输出结果。
[0032]可选的，将所述第三输出结果输入所述预设模型的输出层进行标注处理，得到所述预设模型的输出结果，包括：
[0033]当所述第三输出结果中的第二目标特征图的分辨率大于预设分辨率时，对所述第二目标特征图进行图像切割处理，得到所述第二目标特征图对应的至少一个第六过程特征图；
[0034]通过损失函数和非极大值抑制对所述第六过程特征图进行预测，得到预测结果；
[0035]根据所述预测结果，对所述第三输出结果进行标注处理，得到所述预设模型的输出结果。
[0036]本专利技术还提供一种手势的识别装置，所述装置包括：
[0037]获取模块，用于获取待检测图像；
[0038]处理模块，用于将所述待检测图像输入训练好的手势识别模型进行静态手势的种类和位置识别，得到手势识别结果；所述手势识别模型包括：用于对静态手势进行特征融合的加权双向特征融合层。
[0039]本专利技术还提供一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上述的手势的识别方法。
[0040]本专利技术还提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上述的手势的识别方法。
[0041]本专利技术的上述方案至少包括以下有益效果：
[0042]通过获取待检测图像；将所述待检测图像输入训练好的手势识别模型进行静态手势的种类和位置识别，得到手势识别结果；所述手势识别模型包括：用于对静态手势进行特征融合的加权双向特征融合层；本专利技术的方案不仅能够识别手势的类别，还可以起到目标检测的效果，降低了对输入图像的摄像设备要求，提升了识别速度，降低了运算时间的同时，实现了更理想的手势识别精度。
附图说明
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势的识别方法，其特征在于，所述方法包括：获取待检测图像；将所述待检测图像输入训练好的手势识别模型进行静态手势的种类和位置识别，得到手势识别结果；所述手势识别模型包括：用于对静态手势进行特征融合的加权双向特征融合层。2.根据权利要求1所述的手势的识别方法，其特征在于，所述手势识别模型通过以下过程训练：获取用于训练的图像数据集，所述图像数据集包括至少一个手部训练图像；根据所述手部图像数据集中的每个手部训练图像通过预设模型的输入层进行数据增强处理，得到第一输出结果；将所述第一输出结果输入所述预设模型的主干网络进行特征提取，得到第二输出结果，所述第二输出结果包括：至少一个第一目标特征图；将所述第二输出结果输入所述预设模型的加权双向特征融合层进行特征融合处理，得到第三输出结果，所述第三输出结果包括：至少一个第二目标特征图；将所述第三输出结果输入所述预设模型的输出层进行标注处理，得到所述预设模型的输出结果。3.根据权利要求2所述的手势的识别方法，其特征在于，获取用于训练的图像数据集，包括：获取原始训练数据集；对所述原始训练数据集进行标注，得到标注信息，并将标注信息存储为目标格式文件；对所述原始训练数据集进行数据分析和数据补全处理，得到目标数据集；根据所述目标格式文件，对所述目标数据集进行预处理，得到用于训练的图像数据集。4.根据权利要求3所述的手势的识别方法，其特征在于，根据所述目标格式文件，对所述目标数据集进行预处理，得到用于训练的图像数据集，包括：对所述目标格式文件进行归一化处理，得到归一化文件；根据所述归一化文件，将所述目标数据集中预设数量的数据作为用于训练的图像数据集。5.根据权利要求2所述的手势的识别方法，其特征在于，将所述第一输出结果输入所述预设模型的主干网络进行特征提取，得到第二输出结果，包括：对所述第一输出结果进行采样处理，得到第一过程特征图；对所述第一过程特征图进行梯度网络处理，得到第二过程特征图；将所述第二过程特征图通过频道注意模块进行频道处理，得到第三过程特征图，并将所述第三过程特征图与所述第二过程特征图进行卷积乘计算，得到第四过程特征图；将所述第四过程特征图通过空间注意模块进行空间处理，得到第五过程特征图，并将所述第五过程特征图与所述第四过程特征图进行卷积乘计算，得...

【专利技术属性】
技术研发人员：孙一博，唐博恒，
申请(专利权)人：东南大学中国移动通信集团有限公司，
类型：发明
国别省市：