一种基于人体骨架数据的人体行为识别方法技术

本发明专利技术提供一种基于人体骨架数据的人体行为识别方法，包括：通过摄像机拍摄包含各种运动的不同时间长度的视频，以此建立训练的数据集；利用Openpose算法对数据集中各个视频段的视频帧进行骨骼关节点信息提取，得到骨骼关节点坐标以及关节点置信度；建立AAGC

【技术实现步骤摘要】
一种基于人体骨架数据的人体行为识别方法


[0001]本专利技术涉及机器视觉图像处理领域，尤其涉及一种基于人体骨架数据的行为识别方法。

技术介绍

[0002]行为识别的主要任务是从视频中对人体的行为进行分类。行为识别的应用领域主要包括视频监控，人机交互，体育运动项目的姿态评估等方面。人体骨架数据因其对传感器噪声的鲁棒性以及在计算量和存储空间上的优势，成为了行为识别领域的热点方向。骨架并不像传统意义上的图像以二维或是三维网格形式存在，所以应用传统的卷积网络并不能很好的捕获骨架在空间上的运动特征。而图卷积是用于学习图结构数据的一种通用且极其有效的框架。但由于一般的图卷积网络使用人体自然拓扑结构限制了行为识别任务的灵活性，导致不能捕获不同的高级语义信息。同时，由于人的动作是时间域和空间域共同作用的结果，因此普通的LSTM网络不能捕获时空的共现特征。本专利技术提出图卷积和长短时记忆神经网络(AAGC
‑
LSTM)结合的方法，可以捕获视频动作的时空共现特征，通过视频实时识别出人体的行为。

技术实现思路

[0003]为克服现有的行为识别现有技术的不足，本专利技术主要提供了一种基于自适应图卷积和长短时记忆神经网络的人体行为识别方法，捕获视频动作的时空共现特征，通过视频实时识别出人体的行为。
[0004]依据本专利技术的一个方面，提供一种基于人体骨架数据的人体行为识别方法，该方法包括以下步骤：
[0005]步骤1：通过摄像机拍摄包含各种运动的不同时间长度的视频，以此建立训练的数据集；<br/>[0006]步骤2：利用Openpose算法对数据集中各个视频段的视频帧进行骨骼关节点信息提取，得到骨骼关节点坐标以及关节点置信度，每帧可得到N个关节点和T帧骨骼序列组成的时空图；
[0007]步骤3：建立AAGC
‑
LSTM训练模型框架，将步骤S2中的关节点数据送入到AAGC
‑
LSTM模型中进行训练，得到基于自适应图卷积和长短时记忆神经网络的行为识别模型；
[0008]步骤4：利用训练后的AAGC
‑
LSTM算法模型对实时视频进行行为识别。
[0009]在其中的一实施例中，步骤3还包括步骤：步骤S31：对于Openpose算法得到的骨架序列，利用线性全连接网络将3D关节点坐标映射到高维特征空间，同时将相邻帧相同关节点的坐标差值向量和得到的高维空间骨架特征进行拼接得到充分地原始数据信息。步骤S32：将S31得到的原始骨架数据信息送入LSTM网络中，以消除特征空间的维度差异，得到增强后的特征。步骤S33：使用全局平均池化层以提升特征提取的感受野，使用三层相同的AAGC
‑
LSTM网络提取时空共现特征，并且使用注意力机制获得全局特征和局部特征，经过线
性全连接层后使用交叉熵作为损失函数，得到各个动作的概率得分。
[0010]步骤S33中的，AAGC模块，使用自适应图卷积提取人体动作的空间特征，该自适应图卷积参数化人体骨架的拓扑结构，且由参数驱动进行参数更新。自适应图卷积的公式表示如下：
[0011][0012]其中A
k
是人体自然拓扑结构的邻接矩阵，B
k
是参数化的邻接矩阵，C
k
则是一个基于样本数据的图邻接矩阵，通过嵌入归一化高斯函数计算两个关节点之间的相似度形成邻接矩阵。
[0013]进一步而言，步骤S33中的AAGC
‑
LSTM模块，将自适应图卷积嵌入长短时记忆神经网络中，提取时空共现特征，AAGC
‑
LSTM网络使用三个门：输入门i
t
、遗忘门f
t
和输出门o
t
。利用自适应图卷积得到这些门单元，并且输入X
t
，隐藏层H
t
和记忆单元C
t
都是图结构的数据。AAGC
‑
LSTM各个单元的计算如下：
[0014]i
t
＝σ(W
xi
*gX
t
+W
hi
*gH
t
‑1+b
i
)
[0015]f
t
＝σ(W
xf
*gX
t
+W
hf
*gH
t
‑1+b
f
)
[0016]o
t
＝σ(W
xo
*gX
t
+W
ho
*gH
t
‑1+b
o
)
[0017]u
t
＝tanh(W
xc
*gX
t
+W
hc
*gH
t
‑1+b
c
)
[0018]C
t
＝f
t
⊙
C
t
‑1+i
t
⊙
u
t
[0019]其中*g表示自适应图卷积操作，W
xi
*gX
t
表示用W
xi
对X
t
进行自适应图卷积操作。
[0020]进一步而言，步骤S33中的注意力增强模块，添加在在AAGC
‑
LSTM模块之后，用以自主地衡量关节点的关键性，选择关键节点的信息。计算出过渡隐藏层隐藏层将过渡隐藏层与经过注意力模块的隐藏层相加作为输出，在不减弱非关键节点作用的情况下加强了关键节点的作用，保证了空间信息的完整。最后计算每个关节点的注意力分数如下：
[0021][0022]α
t
＝Sigmoid(U
s
X
t
)
[0023]进一步而言，步骤3中的AAGC的图标签函数将关节点的邻接点集合分为3个子集，分别是节点自身，相对骨架重心做向心运动和相对骨架重心做离心运动的节点，AAGC
‑
LSTM模块的通道数设置为512，使用Adam优化器优化网络。
[0024]采用本专利技术的基于人体骨架数据的人体行为识别方法，首先，通过摄像机拍摄包含各种运动的不同时间长度的视频，以此建立训练的数据集；其次，利用Openpose算法对上述数据集中各个视频段的视频帧进行骨骼关节点信息提取，得到骨骼关节点坐标以及关节点置信度，每个视频帧可得到N个关节点和T帧骨骼序列组成的时空图；接着，建立AAGC
‑
LSTM训练模型框架，将得到的关节点数据送入到AAGC
‑
LSTM模型中进行训练，得到基于自适应图卷积和长短时记忆神经网络的行为识别模型；最后，利用训练后的AAGC
‑
LSTM算法模型对实时视频进行人体行为识别。
[0025]相比于现有技术，本专利技术的有益效果：一是该模型以捕获人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体骨架数据的人体行为识别方法，其特征在于，该人体行为识别方法包括如下步骤：步骤1：通过摄像机拍摄包含各种运动的不同时间长度的视频，以此建立训练的数据集；步骤2：利用Openpose算法对步骤1的数据集中各个视频段的视频帧进行骨骼关节点信息提取，得到骨骼关节点坐标以及关节点置信度，每个视频帧可得到N个关节点和T帧骨骼序列组成的时空图；步骤3：建立AAGC
‑
LSTM训练模型框架，将步骤2中的关节点数据送入到AAGC
‑
LSTM模型中进行训练，得到基于自适应图卷积和长短时记忆神经网络的行为识别模型；步骤4：利用训练后的AAGC
‑
LSTM算法模型对实时视频进行人体行为识别。2.根据权利要求1所述的人体行为识别方法，其特征在于，步骤3还包括：步骤S31：对于Openpose算法得到的骨架序列，利用线性全连接网络将3D关节点坐标映射到高维特征空间，同时将相邻帧相同关节点的坐标差值向量和得到的高维空间骨架特征进行拼接得到充分地原始数据信息；步骤S32：将步骤S31得到的骨架数据信息送入LSTM网络中，以消除特征空间的维度差异，得到增强后的特征；步骤S33：使用全局平均池化层提升特征提取的感受野，使用三层相同的AAGC
‑
LSTM网络提取时空共现特征，并且使用注意力机制获得全局特征和局部特征，经过线性全连接层后使用交叉熵作为损失函数，得到各个动作的概率得分。3.根据权利要求2所述的人体行为识别方法，其特征在于，所述AAGC模块使用自适应图卷提取人体动作的空间特征，该自适应图卷积参数化人体骨架的拓扑结构，且由参数驱动进行参数更新，自适应图卷积的公式表示如下：其中A
k
是人体自然拓扑结构的邻接矩阵，B
k
是参数化的邻接矩阵，C
k
则是一个基于样本数据的图邻接矩阵，通过嵌入归一化高斯函数计算两个关节点之间的相似度形成邻接矩阵。4.根据权利要求2所述的人体行为识别方法，其特征在于，所述的AAGC
‑
LSTM模块将自适应图卷积嵌入长短时记忆神经网络中，以提取时空共现特征，AAGC
‑
LSTM网络包含三个门：输入门i
t
、遗忘门f
t
和输出门o
t
，通过自适应图卷积得到这些门单元，并且输入X
t
，隐藏层H
t
和...

【专利技术属性】
技术研发人员：吴胜昔，冒鑫鑫，牛悦，王安南，陈佳艺，李欣阳，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：