一种基于可穿戴设备和人体骨架的行为识别方法技术

本发明专利技术涉及一种基于可穿戴设备和人体骨架的行为识别方法。包括如下步骤：（1）基于可穿戴设备，获取人体整体行为状态；（2）基于深度相机，获取人体骨架信息；（3）通过图卷积网络提取人体骨架的空间特征；（4）使用长短时记忆网络提取骨架序列的时序信息；（5）将GCNN提取的空间信息与LSTM提取的时序信息进行融合；（6）通过SVM分类器进行分类识别，识别人体具体行为。本发明专利技术利用可穿戴设备获取人体整体位置和运动情况，利用深度学习网络模型对人体骨架信息进行识别与分类，准确识别人体行为。准确识别人体行为。准确识别人体行为。

【技术实现步骤摘要】
一种基于可穿戴设备和人体骨架的行为识别方法


[0001]本专利技术属于施工监控技术以及计算机视觉领域，更具体地，涉及一种基于可穿戴设备和人体骨架的行为识别方法。

技术介绍

[0002]神经网络理论的复兴推动了人工智能技术的飞速发展。当今社会﹐智能机器人、无人驾驶汽车等即将走入人们的生活。智能交通、智能视频监控及智慧城市等都需要计算机对人的行为进行自动分析。当前,深度摄像机技术结合高精度的人体骨架估计算法,可以直接提供人体运动过程对应的骨架序列,基于该骨架序列可以对人的行为进行精确的识别。
[0003]传统的基于人体骨架序列的行为识别算法主要是在手工特征提取基础上经编码后设计分类器实现行为分类,手工特征的提取过程较为繁琐,且其与随后的特征编码及分类过程通常分离进行,虽可级联构成系统,但因效率较低不利于实际应用。此外,传统方法训练及测试通常是在小数据集上进行的,当数据量增大时,模型计算复杂度对于一般的硬件条件难以承受,很难在实际应用中发挥作用。
[0004]公开号为CN 112131972A的中国专利公开了“一种基于注意力机制使用WiFi数据进行人体行为识别的方法”，根据所述使用一种基于信道状态信息(CSI)的幅值和相位特征的行为识别的方法和一种用于CSI行为识别的注意力机制模型，来实现基于WiFi数据的人体行为识别，但是该技术仅仅通过超声检测，其运动序列切割鲁棒性不高，人体行为识别准确度不高，不能应对复杂的作业现场。

技术实现思路

[0005]本专利技术的目的在于解决识别作业现场中工作人员作业动作，防止因不规范动作而导致事故发生，提供一种基于可穿戴设备和人体骨架的行为识别方法。
[0006]为实现上述目的，本专利技术的技术方案是：一种基于可穿戴设备和人体骨架的行为识别方法，包括如下步骤：
[0007](1)基于可穿戴设备，获取人体整体行为状态：
[0008]优选的，所述的一种基于可穿戴设备和人体骨架的行为识别方法中步骤(1)包括可穿戴设备采用3.7V的锂电池供电，Lora模块所采用的频段为433MHz。在实际测试环境中，在空旷的地方传输速率为5.12Kbps，传输距离200米。具体如下子步骤：
[0009](1.1)采用MPU6050三轴加速度角速度传感器采集加速度、角速度，心率传感器采集人体心率数据，采用北斗定位模块实时获取位置信息；
[0010](1.2)采用Lora模块进行组网实现行为信息的远距离、低功耗传输。
[0011]优选的，所述的一种基于可穿戴设备和人体骨架的行为识别方法中步骤(1.2)中行为信息的传输采用LPWAN中Lora组网技术,Lora是由Semtech公司发布的无线电调制解调技术。该技术具有Lora
‑
WAN协议、Lora私有协议、CLASS协议和数据透传四个类别，相较于其他低功耗广域物联网技术，该技术在功耗、自组网等方面存在很大的优势。Lora可以选择多
种组网方式来适应客户不同场景下的不同需求，多样化的组网方式提升系统的泛化性。
[0012](1.3)将角速度、角速度以及心率数据输入神经网络，识别人体整体行为(如走路，跑步)。
[0013]优选的，所述的一种基于可穿戴设备和人体骨架的行为识别方法中步骤(1.3)中神经网络由四个层级构成，第一个层级为卷积层；第二、三个层级为胶囊层；第四个层级为全连接层，最后加入一个分类器进行分类。其中，胶囊的工作原理主要就是由目前的标量信息的输入、输出更改为矢量信息的输入、输出，从而为各个行为信息特征之间加入空间特性，胶囊层与胶囊层之间采用动态路由协议来进行模型参数的更新。
[0014]优选的，所述的一种基于可穿戴设备和人体骨架的行为识别方法中步骤(1.3)中神经网络模型具体包括如下子步骤：
[0015]步骤一：感知到的行为信息经过滑动窗口分割之后，每一个行为所对应的行为信息的大小为:1
×
Window_Size
×
3。其中，Window_Size是指一个行为完整周期的长度。网络架构模型的输入行为信息大小为:Batch_Size
×
1x
×
Window_Size
×
3，其中，Batch_Size是指一次训练输入行为信息的个数。
[0016]步骤二：将Batch_Size
×1×
Window_Size
×
3的行为信息通过CNN的卷积单元进行矢量化，其计算公式如下：
[0017][0018]其中，X
i
是指一次输入信息中的第i个输入信息。W
ij
是第j个卷积单元的权重参数，初始默认值为服从截断正态分布的随机数。b
j
是第j个卷积单元的偏置参数初始值默认为0.0。卷积核的数量使用n来表示。Y
j
是矢量输出数据。输出信息大小为:是矢量输出数据。输出信息大小为:
[0019]步骤三：胶囊层由多个胶囊组成，每个胶囊封装了多组卷积核，将上一步的Y,输入到第一个胶囊层进行处理，其计算公式如下：
[0020][0021]其中，W
jl
是指第一个胶囊层中第l个胶囊单元的权重参数，初始值为服从截断正态分布的随机数；m表示第一个胶囊层中包含胶囊的数量。b
l
是指第一个胶囊层中第l个胶囊单元的偏置参数，初始值为0.0。squash(
·
)函数是一种对矢量信息进行处理的非线数，与对标量信息进行处理的非线性函数的功能类似，对标量信息进行处理的非线性函数包括tanh(
·
)、relu(
·
)等，是指第一个胶囊层的输出。令Con_layer表示则输出大小为
[0022]步骤四：将第一个胶囊层输出的具有空间特性的行为信息作为下一个胶囊层的输入，其中，参数的调整通过动态路由协议进行，其计算公式如下所示：
[0023][0024][0025]其中，b
ik
是指第一个胶囊层中第i个胶囊单元和第二个胶囊层中第k个胶囊单元的动态路由权重。b
ij
是指第一个胶囊层中第i个胶囊单元和第二个胶囊层中第j个胶囊单元的动态路由权重。是指每个胶囊的输出。S
j
是指第二个胶囊层经过动态路由协议之后输出的行为信息特征。是指第二个胶囊层的输出。输出的大小为Batch_Size
×
Num_Output
×
Vec_Lenv
×
1。其中，Num_Output表示第二个胶囊层中胶囊单元的个数。
[0026]步骤五：将胶囊层处理完毕的信息通过全连接层单元进行处理，输出信息为:Batch_Size
×
Output_Length
×
1，其中Output_Length表示全连接层中单元的个数。
[0027]步骤六：最后将行为信息输入到Softmax分类器进行分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可穿戴设备和人体骨架的行为识别方法，其特征在于，包括如下步骤：(1)基于可穿戴设备，获取人体整体行为状态：(2)基于深度相机，获取人体骨架信息；(3)通过图卷积网络提取人体骨架的空间特征；(4)使用长短时记忆网络提取骨架序列的时序信息；(5)将GCNN提取的空间信息与LSTM提取的时序信息进行融合；(6)通过SVM分类器进行分类识别，识别人体具体行为。2.根据权利要求1所述的一种基于可穿戴设备和人体骨架的行为识别方法，其特征在于，所述步骤(1)包括如下子步骤：(1.1)采用MPU6050三轴加速度角速度传感器采集加速度、角速度，采用心率传感器采集人体心率数据，采用北斗定位模块获取位置信息；(1.2)采用Lora模块进行组网实现行为信息的远距离、低功耗传输；(1.3)将加速度、角速度以及心率数据输入神经网络模型，识别人体整体行为。3.根据权利要求2所述的一种基于可穿戴设备和人体骨架的行为识别方法，其特征在于，所述步骤(1.3)中神经网络模型由四个层级构成，第一个层级为卷积层；第二、三个层级为胶囊层；第四个层级为全连接层，最后加入一个分类器进行分类；其中，胶囊的工作原理是由目前的标量信息的输入、输出更改为矢量信息的输入、输出，从而为各个行为信息特征之间加入空间特性，胶囊层与胶囊层之间采用动态路由协议来进行模型参数的更新；具体包括如下子步骤：步骤一：感知到的行为信息经过滑动窗口分割之后，每一个行为所对应的行为信息的大小为：1
×
Window_Size
×
3；其中，Window_Size是指一个行为完整周期的长度，神经网络模型的输入行为信息大小为：Batch_Size
×
1x
×
Window_Size
×
3，其中，Batch_Size是指一次训练输入行为信息的个数；步骤二：将Batch_Size
×1×
Window_Size
×
3的行为信息通过CNN的卷积单元进行矢量化，其计算公式如下：其中，X
i
是指一次输入信息中的第i个输入信息；W
ij
是第j个卷积单元的权重参数，初始默认值为服从截断正态分布的随机数；b
j
是第j个卷积单元的偏置参数，初始值默认为0.0；卷积核的数量使用n来表示；Y
j
是矢量输出数据；输出信息大小为：是矢量输出数据；输出信息大小为：步骤三：胶囊层由多个胶囊组成，每个胶囊封装多组卷积核，将步骤二的Y输入到第一个胶囊层进行处理，其计算公式如下：其中，W
jl
是指第一个胶囊层中第l个胶囊单元的权重参数，初始值为服从截断正态分布
的随机数；m表示第一个胶囊层中包含胶囊的数量；b
l
是指第一个胶囊层中第l个胶囊单元的偏置参数，初始值为0.0；squash(
·
)函数是一种对矢量信息进行处理的非线数；是指第一个胶囊层的输出；令Con_layer表示则输出大小为则输出大小为步骤四：将第一个胶囊层输出的具有空间特性的行为信息作为下一个胶囊层的输入，其中，参数的调整通过动态路由协议进行，其计算公式如下所示：其中，参数的调整通过动态路由协议进行，其计算公式如下所示：其中，b
ik
是指第一个胶囊层中第i个胶囊单元和第二个胶囊层中第k个胶囊单元的动态路由权重；b
ij
是指第一个胶囊层中第i个胶囊单元和第二个胶囊层中第j个胶囊单元的动态路由权重；是指每个胶囊的输出；S
j
是指第二个胶囊层经过动态路由协议之后输出的行为信息特征；是指第二个胶囊层的输出，输出的大小为Batch_Size
×
Num_Output
×
Vec_Lenv
×
1；其中，Num_Output表示第二个胶囊层中胶囊单元的个数；步骤五：将胶囊层处理完毕的信息通过全连接层单元进行处理，输出信息为：Batch_Size
×
Output_Length
×
1，其中，Output_Length表示全连接层中单元的个数；步骤六：最后将行为信息输入到Softmax分类器进行分类识别，该分类器处理完的结果为输入行为对应各个行为的概率值，并判定当前行为属于概率值最大的那类行为。4.根据权利要求1所述的一种基于可穿戴设备和人体骨架的行为识别方法，其特征在于，所述步骤(3)包括如下子步骤：(3.1)将人体骨架分解成5部分；(3.2)对人体骨架分解的5个部分经过全连接层进行处理确保每一部分的特征维度都相同，作为网络的输入；(3.3)使用图卷积神经网络对人体骨架分解的每一部分进行建模，图卷积中的每个节点代表每个身体部分的特征；(3.4)融合图卷积中的各个节点作为人体骨架的空间结构特征。5.根据权利要求4所述的一种基于可穿戴设备和人体骨架的行为识别方法，其特征在于，所述步骤(3.3)包括：首先使用图卷积对骨架序列的空间特征进行处理，对于单帧图卷积操作，在设定步长stride为I且在padding的条件下，给定kernel大小为K
×<...

【专利技术属性】
技术研发人员：黄天富，金淼，赖国书，李建新，郭志伟，张军，吴志武，张颖，陈习文，王春光，周志森，伍翔，卢冰，汪泉，聂高宁，王旭，
申请(专利权)人：中国电力科学研究院有限公司国网福建省电力有限公司，
类型：发明
国别省市：