【技术实现步骤摘要】
本专利技术涉及行为识别，特别是涉及一种基于骨骼数据的轻量化行为识别方法。
技术介绍
1、目前人体动作识别技术在智能监控、人机交互、视频检索等领域都有着广泛的应用价值。骨架数据可以被看做是拓扑图的形式，通常从视频序列中由人体姿态估计算法获得，现有研究表明简单地将骨架数据表示为由rnn处理的向量序列或由cnn处理的2d/3d数据，无法完全模拟身体关节复杂的时空相关性。受到蓬勃发展的基于图的方法的启发，许多基于gnn和gcn的人体动作识别方法被提出，将骨架数据视为边和节点的图结构，将人体骨架建模为时空图的卷积网络取得了显著进展。
2、然而，基于图卷积的方法普遍存在两个问题，一方面空间图和时间图的感受野不够灵活，使其特征表达能力受限。另一个是模型过度参数化，导致计算成本较高，这影响了其在现实场景中的实际应用。
技术实现思路
1、本专利技术的目的在于提供一种基于骨骼数据的轻量化行为识别方法，通过数据采集、预处理及轻量化深度学习模型对行为进行分类识别，以便于实际应用。
2、本专利技术为实现上述目的所采用的技术方案是：一种基于骨骼数据的轻量化行为识别方法，用于识别未知行为的场景中待检测主体的行为动作，方法包括以下步骤：
3、步骤s1、获取行为识别场景数据，进行预处理并标签化，建立{动作标签-行为特征图像对}数据集，划分为训练集和验证集；
4、步骤s2、建立基于骨骼数据的高效时空图卷积网络，设置网络和训练参数，以训练集中行为特征为输入、动作标签为输出
5、步骤s3、现场采集包含未知行为的场景数据，预处理后得到联合关节点位置特征输入训练好的骨骼行为识别网络对其进行行为预测，输出场景中待检测主体的动作类别。
6、所述场景数据为视频或单帧图像。
7、所述行为识别图像数据为相机拍摄的待检测场景的交叉视角和交叉主体图像，或已知场景的主体动作标签的开源行为识别数据集。
8、所述预处理并标签化包括对相机拍摄的待检测场景的交叉视角和交叉主体图像进行如下处理：
9、s1.1、利用骨骼检测方法提取人体骨骼的关节点绝对位置数据；
10、s1.2、计算待检测主体关节点之间的相对位置数据；标记动作标签；
11、s1.3、计算联合关节点位置特征：各关节点的绝对位置和相对位置的拼接向量；
12、s1.4、建立{动作标签-行为特征对}数据集，作为下一步网络模型的输入。
13、所述基于骨骼数据的高效时空图卷积网络包括：
14、a)批量归一化batchnorm层，用于加速网络收敛；
15、b)初始化时空图卷积模块initialgcn block，用于对联合关节点位置特征进行特征转换；
16、c)时空抽取模块，用于将输入特征中骨骼的时序信息和关节点特征分别放在网络的时间和空间通道维度，得到不同维度的特征：时序信息transpose(t,c,n)和关节点特征transpose(n,t,c)；
17、d)双分支高效卷积模块，用于对不同维度的特征进一步提取时空特征，得到各自加强深度后的时、空特征图；
18、e)融合操作，用于将特征提取后的双分支时、空特征图进行串联操作融合；
19、f)高效卷积网络的主流分支，用于对融合特征图进一步提取特征；
20、g)全局平均池化层，用于对输出特征图进行运算得到表征行为的特征向量；
21、g)全连接层，用于根据特征向量预测识别未知场景数据中待检测主体的动作类别。
22、所述双分支高效卷积模块包括一分支时间通道和一分支空间通道；所述空间通道包括多个堆叠的深度可分离图卷积层模块；所述时间通道包括多个堆叠的深度可分离卷积层模块。
23、所述高效卷积网络的主流分支包括多个堆叠的深度可分离图卷积层模块。
24、所述设置网络和训练参数包括：
25、设置模型参数：训练最大周期、初始学习速率、swish激活函数、交叉熵损失函数、以动量随机下降为优化函数、以top1和top5衡量准确率；
26、权重初始化，加载数据、模型、优化器，进行端到端的训练。
27、本专利技术的有益效果及优点：
28、1.本专利技术提供了一种基于骨骼数据的轻量化行为识别方法，其行为识别准确率在ntu 60大型数据集上获得84.6％和92.5％的最佳top1性能；
29、2.本专利技术方法显著降低了模型参数量，降低了算法复杂度，有利于基于骨架的动作识别的实际应用。
本文档来自技高网...【技术保护点】
1.一种基于骨骼数据的轻量化行为识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于骨骼数据的轻量化行为识别方法，其特征在于，所述场景数据为视频或单帧图像。
3.根据权利要求1所述的一种基于骨骼数据的轻量化行为识别方法，其特征在于，所述行为识别图像数据为相机拍摄的待检测场景的交叉视角和交叉主体图像，或已知场景的主体动作标签的开源行为识别数据集。
4.根据权利要求1所述的一种基于骨骼数据的轻量化行为识别方法，其特征在于，所述预处理并标签化包括对相机拍摄的待检测场景的交叉视角和交叉主体图像进行如下处理：
5.根据权利要求1所述的一种基于骨骼数据的轻量化行为识别方法，其特征在于，所述基于骨骼数据的高效时空图卷积网络包括：
6.根据权利要求5所述的一种基于骨骼数据的轻量化行为识别方法，其特征在于，所述双分支高效卷积模块包括一分支时间通道和一分支空间通道；所述空间通道包括多个堆叠的深度可分离图卷积层模块；所述时间通道包括多个堆叠的深度可分离卷积层模块。
7.根据权利要求5所述的一种基于骨骼数据的轻量化
8.根据权利要求1所述的一种基于骨骼数据的轻量化行为识别方法，其特征在于，所述设置网络和训练参数包括：
...【技术特征摘要】
1.一种基于骨骼数据的轻量化行为识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于骨骼数据的轻量化行为识别方法，其特征在于，所述场景数据为视频或单帧图像。
3.根据权利要求1所述的一种基于骨骼数据的轻量化行为识别方法，其特征在于，所述行为识别图像数据为相机拍摄的待检测场景的交叉视角和交叉主体图像，或已知场景的主体动作标签的开源行为识别数据集。
4.根据权利要求1所述的一种基于骨骼数据的轻量化行为识别方法，其特征在于，所述预处理并标签化包括对相机拍摄的待检测场景的交叉视角和交叉主体图像进行如下处理：
5.根据权利要求1所述的一种...
【专利技术属性】
技术研发人员：王鸿亮，杨东升，白莹，修鹏飞，周星宇，李雪娆，
申请(专利权)人：中国科学院沈阳计算技术研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。