基于图卷积网络的细微动作识别方法技术

本发明专利技术公开了基于图卷积网络的细微动作识别方法，具体按照以下步骤实施：采集人体运动视频，将该视频估计包括骨骼特征的视频，结合骨骼特征数据库，从骨骼特征数据库中选取所有类动作的骨骼特征序列；对包括骨骼特征的视频行处理，得到多个关节对齐光流片序列；搭建图卷积网络；设计图卷积网络的损失函数；初始化图卷积网络中参数；分别将骨骼特征序列、关节对齐光流片序列作为输入，训练图卷积网络，得到训练好的图卷积网络；使用训练好的图卷积网络进行识别，得到未知细微动作类别信息；将每个骨骼关节周围的视觉信息表示为关节对齐的光流片，有效地捕捉有用的身体局部细微运动线索，用于基于骨骼的动作识别。用于基于骨骼的动作识别。用于基于骨骼的动作识别。

【技术实现步骤摘要】
基于图卷积网络的细微动作识别方法


[0001]本专利技术属于计算机视觉
，具体涉及基于图卷积网络的细微动作识别方法。

技术介绍

[0002]随着计算机视觉技术的发展，人体动作识别成为了计算机视觉领域中一项活跃但具有挑战性的任务。近年来，随着深度传感器和人体姿态估计技术的进步，获得准确的人体姿态数据变得更加容易。在过去的十年里，基于骨骼的人体动作识别引起了广泛的关注并取得了显著的进展。与原始的RGB视频剪辑序列相比，一个带有2D或3D坐标形式的人体关节骨骼序列信息量更稀疏。因此，为基于骨骼的动作识别设计的神经网络可以十分轻量和高效。最近几年也有很多学者进一步开发了各种深度神经网络，试图充分挖掘动态人体骨骼序列的内部特征。
[0003]作为单模态动作识别网络的输入，骨骼序列可以有效地描述全身人体运动。然而，在从视频帧中提取人体姿态的过程中，局部细微的运动线索可能会丢失。而且由于骨骼序列的稀疏性，它很难捕捉到人体运动中的细微特征，单纯依靠骨骼序列来识别人的动作有明显的缺点。首先，对于主要以局部细微运动为特征的动作类别，从两个连续帧中提取的骨骼之间的差异非常细微，这对于描述细微动作几乎没有用处。此外，当动作的身体运动较弱时，这种局部细微运动很容易被噪声姿态估计所掩盖。这种限制使得现有的方法不能正确地对仅表现出细微运动差异的动作进行识别以及分类。

技术实现思路

[0004]本专利技术的目的是提供基于图卷积网络的细微动作识别方法，解决了现有技术中存在的仅稀疏骨骼信息不足以完全表征人体运动的问题。r/>[0005]本专利技术所采用的技术方案是，基于图卷积网络的细微动作识别方法，具体按照以下步骤实施：
[0006]步骤1、采集人体运动视频，将该视频估计包括骨骼特征的视频，结合骨骼特征数据库，从骨骼特征数据库中选取所有类动作的骨骼特征序列；
[0007]步骤2、对包括骨骼特征的视频行处理，得到多个关节对齐光流片序列；
[0008]步骤3、搭建图卷积网络；
[0009]步骤4、设计图卷积网络的损失函数；
[0010]步骤5、初始化图卷积网络中参数；
[0011]步骤6、分别将骨骼特征序列、关节对齐光流片序列作为输入，训练图卷积网络，得到训练好的图卷积网络；
[0012]步骤7、使用训练好的图卷积网络进行识别，得到未知细微动作类别信息。
[0013]本专利技术的特点还在于：
[0014]步骤1具体为：采集人体运动视频，使用姿态估计算法根据人体运动视频估计得到
包括骨骼特征的视频。
[0015]骨骼特征数据库中包括NTU RGB+D.数据集、NTU RGB+D 120数据集、Kinetics
‑
Skeleton数据集。
[0016]步骤2具体包括以下步骤：
[0017]步骤2.1、对包括骨骼特征的视频按帧进行拆分，得到T帧图像；
[0018]步骤2.2、假设T帧图像中每帧图像有k个关节,以每个关节作为中心，通过裁剪得到k个长度为l的方形局部裁剪片
[0019]步骤2.3、将预估骨骼特征数据对应的方形局部裁剪片序列标记为步骤2.3、将预估骨骼特征数据对应的方形局部裁剪片序列标记为
[0020]步骤2.4、取同一关节在相邻两帧图像为一对关节对，对标记后的裁剪片采用Lucas
‑
Kanade方法估计每个连续关节对之间的光流片序列；
[0021]步骤2.5、对每个连续关节对之间的光流片序列进行零均值归一化，获得关节对齐的光流片序列；
[0022]步骤2.6、使用双线性插值函数对每个关节对齐的光流片进行下采样，将分辨率从l
×
l降低到μ
×
μ，得到(T
‑
1)
×
k个尺寸为μ
×
μ的关节对齐光流片序列。
[0023]步骤3图卷积网络结构为双支路GCN结构，第一GCN分支输入骨骼特征序列，第二个GCN分支输入关节对齐光流片序列。
[0024]图卷积网络结构包括输入层、批量归一化层、九个级联的图卷积层、全局平均池化层、全连接层和Softmax输出层；
[0025]每个图卷积层包括三部分：1、注意力机制层，2、空间图卷积层，在空间维度上，即单帧内对每个重心点上，进行图卷积操作，卷积核大小为3；3、时间图卷积层，在时间维度上进行图卷积操作，卷积核大小为9。
[0026]步骤4损失函数为交叉熵损失函数：
[0027][0028]其中y表示ground
‑
truth类的one
‑
hot标签向量，表示预测得分。
[0029]步骤5图卷积网络中参数包括训练遍历所有数据的次数epoch、每批次训练的样本数batch_size、学习率learning_rate，其中epoch设定为10
‑
20之间的整数，batch_size设定为{8，16，32，64，128，256}中的一个，learning_rate初始学习率为0.01，每10个epochs后，学习率衰减0.1，共遍历全部样本60次。
[0030]步骤6具体为：将每个骨骼特征序列作为一个三维矩阵(C,T,V)，C为关节特征也就是坐标，V为节点数量，每个骨骼特征序列输入至图卷积网络结构的第一GCN分支中；将关节对齐光流片序列进行下采样，将下采样得到的关节对齐光流片序列输入第二个GCN分支进行训练，得到训练好的图卷积网络。
[0031]步骤7具体为：根据待识别的人体动作视频获得该视频对应的骨骼特征序列和关节对齐的光流片序列；将两个序列分别输入训练好的模型中，通过线性混合来自两个GCN分支的预测分数来获得最终的类别预测分数，根据最终的类别预测分数确定细微动作。
[0032]本专利技术有益效果是：
[0033]本专利技术基于图卷积网络的细微动作识别方法，将每个骨骼关节周围的视觉信息表示为关节对齐的光流片，有效地捕捉有用的身体局部细微运动线索，用于基于骨骼的动作识别。
[0034]本专利技术基于图卷积网络的细微动作识别方法，将图卷积在时间维度上进行拓展，同时学习空间维度上的人体结构信息和时间维度上的信息，达到更好的识别效果。
附图说明
[0035]图1是本专利技术基于图卷积网络的细微动作识别方法的从两个具有对应的2D姿态关节的连续帧中估计得到的关节对齐的光流片的流程图；
[0036]图2是本专利技术基于图卷积网络的细微动作识别方法的两个连续帧的关节对齐光流片示意图；
[0037]图3是本专利技术基于图卷积网络的细微动作识别方法的用于分别独立处理骨骼序列和关节对齐光流片序列的双流图卷积网络分支结构图；
[0038]图4是本专利技术基于图卷积网络的细微动作识别方法的网络结构图。
具体实施方式
[0039]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0040]本专利技术基于图卷积网络的细微动作识别方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图卷积网络的细微动作识别方法，其特征在于，具体按照以下步骤实施：步骤1、采集人体运动视频，将该视频估计包括骨骼特征的视频，结合骨骼特征数据库，从骨骼特征数据库中选取所有类动作的骨骼特征序列；步骤2、对包括骨骼特征的视频行处理，得到多个关节对齐光流片序列；步骤3、搭建图卷积网络；步骤4、设计图卷积网络的损失函数；步骤5、初始化图卷积网络中参数；步骤6、分别将骨骼特征序列、关节对齐光流片序列作为输入，训练图卷积网络，得到训练好的图卷积网络；步骤7、使用训练好的图卷积网络进行识别，得到未知细微动作类别信息。2.根据权利要求1所述基于图卷积网络的细微动作识别方法，其特征在于，步骤1具体为：采集人体运动视频，使用姿态估计算法根据人体运动视频估计得到包括骨骼特征的视频。3.根据权利要求1所述基于图卷积网络的细微动作识别方法，其特征在于，所述骨骼特征数据库中包括NTU RGB+D.数据集、NTU RGB+D 120数据集、Kinetics
‑
Skeleton数据集。4.根据权利要求2所述基于图卷积网络的细微动作识别方法，其特征在于，步骤2具体包括以下步骤：步骤2.1、对包括骨骼特征的视频按帧进行拆分，得到T帧图像；步骤2.2、假设T帧图像中每帧图像有k个关节,以每个关节作为中心，通过裁剪得到k个长度为l的方形局部裁剪片步骤2.3、将预估骨骼特征数据对应的方形局部裁剪片序列标记为步骤2.3、将预估骨骼特征数据对应的方形局部裁剪片序列标记为步骤2.4、取同一关节在相邻两帧图像为一对关节对，对标记后的裁剪片采用Lucas
‑
Kanade方法估计每个连续关节对之间的光流片序列；步骤2.5、对每个连续关节对之间的光流片序列进行零均值归一化，获得关节对齐的光流片序列；步骤2.6、使用双线性插值函数对每个关节对齐的光流片进行下采样，将分辨率从l
×
l降低到μ
×
μ，得到(T
‑
1)
×
k个尺寸为μ
×
μ的关节对齐光流片序列。5.根据权利要求2所述基于图卷积网络的细微动作识别方法，...

【专利技术属性】
技术研发人员：刘龙，王劲，黄西平，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：