基于骨骼关节点的图卷积行为识别方法及装置制造方法及图纸

基于骨骼关节点的图卷积行为识别方法及装置，能够完成实时骨骼的提取与识别，提升了人体行为识别的准确率，取得了较好的成绩，符合室内监控的场景需求。方法包括：(1)通过OpenPose方法进行人体骨骼提取；(2)基于骨骼的时间序列进行动态建模，构建时空拓扑图；(3)改进了图卷积网络结构，针对不同动作的时空特征差异性，将图卷积网络的残差块缩减为时域图卷积残差单元及空域图卷积残差单元，以便于网络更好地学习不同动作的时空特征，通过改进的图卷积网络进行特征提取；(4)使用Softmax分类器对于输出特征进行行为分类，得到对应的行为类别标签。类别标签。类别标签。

【技术实现步骤摘要】
基于骨骼关节点的图卷积行为识别方法及装置


[0001]本专利技术涉及医学图像处理的
，尤其涉及一种基于骨骼关节点的图卷积行为识别方法，以及基于骨骼关节点的图卷积行为识别装置。

技术介绍

[0002]行为识别是视频理解的重要组成部分之一，它对于室内智能监控具有重要意义，通过方法对室内人体的行为动作进行准确识别，能够保证室内监控事故响应的时效性，有利于加强室内人员的监控管理。
[0003]目前行为识别的主要研究方法包括传统方法和深度学习的方法，其中深度学习中的图卷积方法是当前的研究热点。它将基于视频序列的人体行为识别转换为对于人体骨骼拓扑图的研究，通过抽象图像中人体的骨骼姿态，降低特征提取的干扰因素，然后对骨骼拓扑图序列进行行为特征提取，已经有许多研究证明图卷积的方法能够较好地提升行为识别的准确率。然而，这种方法也存在着一定问题，由于动作往往涉及到不同关节的相互配合，导致人体骨骼拓扑图对于动作的表达不够充分，同时人体动作在时域及空域上具有差异性，不同的动作往往有其各自的侧重点。针对这些问题，如何进一步处理它们以提高行为识别的准确率显得愈发重要。

技术实现思路

[0004]为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种基于骨骼关节点的图卷积行为识别方法，其能够完成实时骨骼的提取与识别，提升了人体行为识别的准确率，取得了较好的成绩，符合室内监控的场景需求。
[0005]本专利技术的技术方案是：这种基于骨骼关节点的图卷积行为识别方法，其包括以下步骤：
[0006](1)通过OpenPose方法进行人体骨骼提取；
[0007](2)基于骨骼的时间序列进行动态建模，构建时空拓扑图；
[0008](3)改进了图卷积网络结构，针对不同动作的时空特征差异性，将图卷积网络的残差块缩减为时域图卷积残差单元及空域图卷积残差单元，以便于网络更好地学习不同动作的时空特征，通过改进的图卷积网络进行特征提取；
[0009](4)使用Softmax分类器对于输出特征进行行为分类，得到对应的行为类别标签。
[0010]本专利技术借助OpenPose进行二维骨骼提取，根据关节对于人体动作的影响，对于骨骼图的结构进行了改进，加快对于上肢及下肢关节的特征传播，然后改进了图卷积网络结构，针对不同动作的时空特征差异性，将图卷积网络的残差块缩减为时域图卷积残差单元及空域图卷积残差单元，以便于网络更好地学习不同动作的时空特征，最后使用Softmax分类器对于输出特征进行行为分类，得到对应的行为类别标签，因此能够完成实时骨骼的提取与识别，提升了人体行为识别的准确率，取得了较好的成绩，符合室内监控的场景需求。
[0011]还提供了基于骨骼关节点的图卷积行为识别装置，其包括：
[0012]人体骨骼提取模块，其通过OpenPose方法进行人体骨骼提取；
[0013]时空拓扑图构建模块，其基于骨骼的时间序列进行动态建模，构建时空拓扑图；
[0014]图卷积网络结构优化模块，其改进了图卷积网络结构，针对不同动作的时空特征差异性，将图卷积网络的残差块缩减为时域图卷积残差单元及空域图卷积残差单元，以便于网络更好地学习不同动作的时空特征，通过改进的图卷积网络进行特征提取；
[0015]分类模块，其使用Softmax分类器对于输出特征进行行为分类，得到对应的行为类别标签。
附图说明
[0016]图1示出了根据本专利技术的基于骨骼关节点的图卷积行为识别方法的流程图。
[0017]图2示出了时空图子集划分策略。
[0018]图3示出了根据本专利技术的基于骨骼关节点的图卷积行为识别方法的改进后的空间图及时空图。
[0019]图4示出了子图划分结果。
[0020]图5示出了时间维度卷积操作。
[0021]图6示出了改进前后的残差单元结构。
[0022]图7示出了根据本专利技术的基于骨骼关节点的图卷积行为识别方法的改进的网络框架。
[0023]图8示出了ReLU函数图像。
具体实施方式
[0024]如图1所示，这种基于骨骼关节点的图卷积行为识别方法，其包括以下步骤：
[0025](1)通过OpenPose方法进行人体骨骼提取；
[0026](2)基于骨骼的时间序列进行动态建模，构建时空拓扑图；
[0027](3)改进了图卷积网络结构，针对不同动作的时空特征差异性，将图卷积网络的残差块缩减为时域图卷积残差单元及空域图卷积残差单元，以便于网络更好地学习不同动作的时空特征，通过改进的图卷积网络进行特征提取；
[0028](4)使用Softmax分类器对于输出特征进行行为分类，得到对应的行为类别标签。
[0029]本专利技术借助OpenPose进行二维骨骼提取，根据关节对于人体动作的影响，对于骨骼图的结构进行了改进，加快对于上肢及下肢关节的特征传播，然后改进了图卷积网络结构，针对不同动作的时空特征差异性，将图卷积网络的残差块缩减为时域图卷积残差单元及空域图卷积残差单元，以便于网络更好地学习不同动作的时空特征，最后使用Softmax分类器对于输出特征进行行为分类，得到对应的行为类别标签，因此能够完成实时骨骼的提取与识别，提升了人体行为识别的准确率，取得了较好的成绩，符合室内监控的场景需求。
[0030]优选地，所述步骤(1)中，通过OpenPose提取作为输入的骨架图集由N个节点和T帧骨骼序列的时空图构成，记为G＝(V,E)，其中节点集合记为V＝{v
ti
|t＝1,...T,i＝1,...N}，下标t，i代表第t帧的第i个节点，第t帧的第i个节点的特征向量F(v
ti
)由节点的估计置信度和坐标向量所组成；而边集合由两部分构成，一部分为spatial edges，它们首先根据人体结构将每一帧的节点连成边，然后引入了辅助连接加速关节特征传播，用E
S
＝{v
ti
v
tj
|(i,j)∈H)表示，其中H表示一组人体关节；另一部分为temporal edges，它们把连续帧之间对应的节点连接成边，记做E
F
＝{v
ti
v
(t+1)i
}。
[0031]优选地，所述步骤(2)中，某一位置的二维卷积是公式(1)，输入c通道数的特征图f
in
，卷积核的大小为K*K，采样函数为p(x,h,w)，权重函数为c通道数的w(h,w)；图的邻居像素集合为B(v
ti
)＝{v
tj
|d(v
tj
,v
ti
)≤D，其中从v
tj
到v
ti
的最短距离被表示为d(v
tj
,v
ti
)，因此图的采样函数为p(v
ti
,v
tj
)＝v
tj
，而权重函数则需要对邻居像素进行子集划分，具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于骨骼关节点的图卷积行为识别方法，其特征在于：其包括以下步骤：(1)通过OpenPose方法进行人体骨骼提取；(2)基于骨骼的时间序列进行动态建模，构建时空拓扑图；(3)改进了图卷积网络结构，针对不同动作的时空特征差异性，将图卷积网络的残差块缩减为时域图卷积残差单元及空域图卷积残差单元，以便于网络更好地学习不同动作的时空特征，通过改进的图卷积网络进行特征提取；(4)使用Softmax分类器对于输出特征进行行为分类，得到对应的行为类别标签。2.根据权利要求1所述的基于骨骼关节点的图卷积行为识别方法，其特征在于：所述步骤(1)中，通过OpenPose提取作为输入的骨架图集由N个节点和T帧骨骼序列的时空图构成，记为G＝(V,E)，其中节点集合记为V＝{v
ti
|t＝1,...T,i＝1,...N}，下标t，i代表第t帧的第i个节点，第t帧的第i个节点的特征向量F(v
ti
)由节点的估计置信度和坐标向量所组成；而边集合由两部分构成，一部分为spatial edges，它们首先根据人体结构将每一帧的节点连成边，然后引入了辅助连接加速关节特征传播，用E
S
＝{v
ti
v
tj
|(i,j)∈H)表示，其中H表示一组人体关节；另一部分为temporal edges，它们把连续帧之间对应的节点连接成边，记做E
F
＝{v
ti
v
(t+1)i
}。3.根据权利要求2所述的基于骨骼关节点的图卷积行为识别方法，其特征在于：所述步骤(2)中，某一位置的二维卷积是公式(1)，输入c通道数的特征图f
in
，卷积核的大小为K*K，采样函数为p(x,h,w)，权重函数为c通道数的w(h,w)；图的邻居像素集合为B(v
ti
)＝{v
tj
|d(v
tj
,v
ti
)≤D，其中从v
tj
到v
ti
的最短距离被表示为d(v
tj
,v
ti
)，因此图的采样函数为p(v
ti
,v
tj
)＝v
tj
，而权重函数则需要对邻居像素进行子集划分，具体表示为w(v
ti
,v
tj
)＝w'(l
ti
(v
tj
))，其中l
ti
代表一个邻居结点的子集标签，l
ti
:B(v
ti
)
→
{0,...,K-1}；由此类比图像卷积得到空间图卷积公式(2)，其中归一化项Z
ti
(v
ti
)＝|{v
tk
|l
ti
(v
tk
)＝l
ti
(v
tj
)}|代表对应子集的基；为了进一步融合时间域的信息，所以将某一像素点的邻域扩展为公式(3)，Γ用于控制时间域卷积核的大小，同时权重函数对应变为公式(4)控制时间域卷积核的大小，同时权...

【专利技术属性】
技术研发人员：宋红，杨健，李敏，刘青，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：