一种智能监控的手势识别方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种智能监控的手势识别方法、装置、设备和存储介质，涉及智能监控技术领域。其中，这种手势识别方法包括S3C0、获取图像序列。其中，图像序列包含有目标人物。S3C1、基于终端轻量化神经网络模型，构建物体检测模型。S3C2、通过物体检测模型，提取图像序列中的手部图像，并根据图像序列的时间生成手部图像序列。S3C3、根据手部图像序列，通过图像分类模型进行分类，以获得手势序列。本发明专利技术通过物体检测模型，从图像序列中提取手部的图像，然后再用图像分类模型识别手部的动作，大大提高了手势识别的效率，具有很好的实际意义。义。义。

【技术实现步骤摘要】
一种智能监控的手势识别方法、装置、设备和存储介质


[0001]本专利技术涉及智能监控
，具体而言，涉及一种智能监控的手势识别方法、装置、设备和存储介质。

技术介绍

[0002]为了能够及时的发现老人或者小孩子发生意外，往往会在老人和小孩活动的地方安装摄像头进行实时拍摄。同时，为了能够更加及时的知道老人或者小孩是否发生意外，会通过本地服务器、云服务器等设备对摄像头拍到的画面进行实时的分析，在判断到目标人物发生意外的时候生成警报通知相关人员。
[0003]特别地，在先技术中，能够通过分析监控视频中人物的手部动作来判断目标人物是否发生意外。由于人体手部比较灵活。因此，在先技术中，对手部的识别的计算量比较大，识别速率往往比较慢。有时甚至会出现服务器死机，导致无法及时的发出警报的问题。

技术实现思路

[0004]本专利技术提供了一种智能监控的手势识别方法、装置、设备和存储介质，以改善相关技术中的手势识别速度慢的问题。
[0005]第一方面、
[0006]本专利技术实施例提供了一种智能监控的手势识别方法，其包含如下步骤：
[0007]S3C0、获取图像序列。其中，图像序列包含有目标人物。
[0008]S3C1、基于终端轻量化神经网络模型，构建物体检测模型。
[0009]S3C2、通过物体检测模型，提取图像序列中的手部图像，并根据图像序列的时间生成手部图像序列。
[0010]S3C3、根据手部图像序列，通过图像分类模型进行分类，以获得手势序列。
[0011]可选地，终端轻量化模型为MnasNet模型。物体检测模型为SSD模型。
[0012]可选地，步骤S3C1具体包括：
[0013]S3C11、构建以MnasNet模型为主干网络的SSD模型。其中，主干网络依次包括：1层卷积核为3x3的Conv，1层卷积核为3x3的SpeConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，4层卷积核为3x3的MBConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，1层卷积核为3x3的MBConv，1层Pooling或者1层FC。
[0014]可选地，步骤S3C2具体包括：
[0015]S3C21、将图像序列逐帧输入主干网络，以使主干网络逐层对图像进行卷积。
[0016]S3C22、提取卷积过程中的尺度为112
×
112
×
16、56
×
56
×
24、28
×
28
×
40、14
×
14
×
112、7
×7×
100的五个中间层进行回归分析，以获得手部图像的区域S3C23、根据区域从图像中提取手部图像。
[0017]可选地，步骤S3C0具体包括步骤S1和S2：
[0018]S1、接收目标区域的不同角度的多个监控视频。
[0019]S2、根据多个监控视频，分别获取目标区域中的各个人物的图像序列。
[0020]可选地，步骤S2具体包括：
[0021]S21、根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
[0022]S22、根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
[0023]S23、根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
[0024]第二方面、本专利技术实施例提供一种智能监控的手势识别装置，其包含：
[0025]序列模块，用于获取图像序列。其中，图像序列包含有目标人物。
[0026]模型模块，用于基于终端轻量化神经网络模型，构建物体检测模型。
[0027]检测模块，用于通过物体检测模型，提取图像序列中的手部图像，并根据图像序列的时间生成手部图像序列。
[0028]分类模块，用于根据手部图像序列，通过图像分类模型进行分类，以获得手势序列。
[0029]可选地，终端轻量化模型为MnasNet模型。物体检测模型为SSD模型。
[0030]可选地，模型模块具体用于：
[0031]构建以MnasNet模型为主干网络的SSD模型。其中，主干网络依次包括：1层卷积核为3x3的Conv，1层卷积核为3x3的SpeConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，4层卷积核为3x3的MBConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，1层卷积核为3x3的MBConv，1层Pooling或者1层FC。
[0032]可选地，检测模块，包括：
[0033]卷积单元，用于将图像序列逐帧输入主干网络，以使主干网络逐层对图像进行卷积。
[0034]分析单元，用于提取卷积过程中的尺度为112
×
112
×
16、56
×
56
×
24、28
×
28
×
40、14
×
14
×
112、7
×7×
100的五个中间层进行回归分析，以获得手部图像的区域
[0035]提取单元，用于根据区域从图像中提取手部图像。
[0036]可选地，序列模块包括：
[0037]接收单元，用于接收目标区域的不同角度的多个监控视频。
[0038]骨架单元，用于根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
[0039]区域单元，用于根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
[0040]图像单元，用于根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
[0041]第三方面、本专利技术实施例提供一种智能监控的手势识别设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如第一方面所说的手势识别方法。
[0042]第四方面、本专利技术实施例提供一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行
如第一方面所说的智能监控的手势识别方法。
[0043]通过采用上述技术方案，本专利技术可以取得以下技术效果：
[0044]本专利技术通过物体检测模型，从图像序列中提取手部的图像，然后再用图像分类模型识别手部的动作，大大提高了手势识别的效率，具有很好的实际意义。
[0045]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0046]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能监控的手势识别方法，其特征在于，包含：获取图像序列；其中，所述图像序列包含有目标人物；基于终端轻量化神经网络模型，构建物体检测模型；通过所述物体检测模型，提取所述图像序列中的手部图像，并根据所述图像序列的时间生成手部图像序列；根据所述手部图像序列，通过图像分类模型进行分类，以获得手势序列。2.根据权利要求1所述的手势识别方法，其特征在于，所述终端轻量化模型为MnasNet模型；所述物体检测模型为SSD模型；基于终端轻量化神经网络模型，构建物体检测模型，具体为：构建以MnasNet模型为主干网络的SSD模型；其中，所述主干网络依次包括：1层卷积核为3x3的Conv，1层卷积核为3x3的SpeConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，4层卷积核为3x3的MBConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，1层卷积核为3x3的MBConv，1层Pooling或者1层FC。3.根据权利要求2所述的手势识别方法，其特征在于，通过所述物体检测模型，提取所述手部图像,具体为：将所述图像序列逐帧输入所述主干网络，以使所述主干网络逐层对图像进行卷积；提取卷积过程中的尺度为112
×
112
×
16、56
×
56
×
24、28
×
28
×
40、14
×
14
×
112、7
×7×
100的五个中间层进行回归分析，以获得所述手部图像的区域根据所述区域从所述图像中提取所述手部图像。4.根据权利要求1所述的手势识别方法，其特征在于，获取图像序列具体为：接收目标区域的不同角度的多个监控视频；根据多个所述监控视频，通过OpenPose模型获取所述目标区域中的各个人物的不同角度的骨架信息；根据所述骨架信息，获取各个所述人物所在的图像区域；其中，所述图像区域为各个所述人物的骨架面积最大的图像所在的区域；根据所述图像区域，从多个所述监控视频中，分别提取各个所述人物的图像序列。5.一种智能监控的手势识别装置，其特征在于，包含：序列模块，用于获取图像序列；其中，所述图像序列包含有目标人物；模型模块，用于基于终端轻量化神经网络模型，构建物体检测模型；检测模块，用于通过所述物体检测模型，提取所述图像序列中的手部图像，并根据所述图像序列的时...

【专利技术属性】
技术研发人员：崔子栋，吴毳，李津轩，姜峰，
申请(专利权)人：华侨大学，
类型：发明
国别省市：