【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种基于语义分解多关系图卷积网络的骨架动作识别方法。
技术介绍
1、基于骨架的动作识别技术利用人体骨架信息进行动作分析和识别，其应用潜力广泛，涵盖智能监控、健康管理、虚拟现实、体育训练等多个领域。这项技术通过传感器或深度学习模型捕捉人体姿态，从中提取骨架信息，并分析空间和时间特征，以识别不同的动作。然而，动作识别面临诸多挑战，如背景杂波、光照变化、尺度变化、视点变化、遮挡和运动速度变化等。
2、早期基于深度学习的方法将人类关节视为一组独立的特征，并将它们组织成一个特征序列或一个伪图像，并将其输入循环神经网络或卷积神经网络来预测动作标签。然而，这些方法忽略了关节之间的内在相关性。而这些内在相关性揭示了人体的拓扑结构，是人体骨骼的重要信息。
3、与rgb或光流等数据模式相比，骨架数据虽然结构更为紧凑，但却蕴含着丰富的信息。这种紧凑结构使得骨架数据，揭示了人体的拓扑结构，更具适应性和鲁棒性，能够更好地应对光照变化或场景变化等干扰因素。因此，基于骨架的动作识别近年来备受关注。
4、基于骨架的动作识别研究可以分为四大类：传统手工方法、基于循环神经网络（recurrent neural network, rnn）的方法、基于卷积神经网络（convolutional neuralnetwork, cnn）的方法和基于图卷积网络（graph convolutional network, gcn）的方法。其中，基于gcn的图卷积方法不同于传统手工方法、cnn和rnn网络模型，它
5、近年来，许多基于图卷积的方法被提出，几种具有代表性的方法包括时空图卷积网络、双流自适应图卷积网络、解耦图卷积网络、多尺度图卷积和统一的空时图卷积、通道拓扑细化图卷积以及poseconv3d；上述现有技术存在的缺点在于：
6、（1）广泛使用的手工图，只使用人体骨骼中物理连接边的关系；然而，对于人类识别行为，不仅相邻关节之间的关系很重要，而且远处关节之间的关系也很重要。
7、（2）没有识别哪些边对动作识别结果影响更显著，因为它们只是聚合边特征，忽略了每个边的贡献。
8、（3）当前技术使用2d或3d坐标作为关节点的特征；由于2d坐标是经过严格的人工校验得到的，2d坐标比3d坐标更准确，若只使用2d坐标作为输入，又缺乏3d坐标的深度信息。
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供的基于语义分解多关系图卷积网络的骨架动作识别方法解决了上述现有的图卷积网络考虑因素不完全，进而影响骨架动作识别准确性的问题。
2、为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于语义分解多关系图卷积网络的骨架动作识别方法，包括以下步骤：
3、s1、采集待识别骨架关节点数据，并对其处理得到融合骨架；
4、s2、选择质心节点，构建骨架在骨流和节点流上的语义分解图；
5、s3、生成各语义分解图的邻接矩阵；
6、s4、构建语义分解多关系图卷积网络；
7、s5、将融合骨架的特征矩阵和不同质心节点对应的在骨流上的语义分解图的特征矩阵，以及融合骨架的特征矩阵和不同质心节点对应的在节点流上的语义分解图的特征矩阵分别输入至语义分解多关系图卷积网络中进行动作识别，将骨流对应的动作识别结果和节点流对应的动作识别结果进行集成，得到骨架动作识别结果。
8、进一步地，所述步骤s1中，所述融合骨架表示为(, , score, , )；
9、其中，(, , score)为关节点n的2d姿态估计的坐标三联体，为关节点n的3d姿态估计中的深度信息，为深度信息的置信度，其表达式为：
10、；
11、式中，d表示边界框的对角线长度。
12、进一步地，所述步骤s2中，构建任一质心节点在骨流或节点流上对应的语义分解图的方法具体为：
13、s21、在骨架中，选择使同一层次边集中的节点存在于同一语义空间中的质心节点；
14、s22、根据确定的质心节点，使用物理连接对骨架进行边分解；
15、s23、对分解得到的每个集合加上全连接边，进而构建出语义分解图。
16、进一步地，所述步骤s3中，邻接矩阵表示为：
17、<mi>a</mi><mi>=[</mi><msup><mi>e</mi><mi>(1)</mi></msup><mi>||</mi><msup><mi>e</mi><mi>(2)</mi></msup><mi>||...||</mi><msup><mi>e</mi><mrow><mi>(</mi><msub><mi>n</mi><mi>l</mi></msub><mi>)</mi></mrow></msup><mi>]</mi>；
18、；
19、式中，表示语义分解图中第l层三个边子集的连接，表示语义分解图中每个层次节点集的同心边集，表示邻接矩阵的有向离心边集，表示向心边集，表示语义分解图中第lth层结构节点集，上标l表示语义分解图的层数序数。
20、进一步地，所述步骤s4中，所述语义分解多关系图卷积网络包括依次连接的若干堆叠图卷积块、全连接层和softmax输出层；
21、每个所述图卷积块均包括依次连接的空间网络和时间网络；
22、所述空间网络包括对语义分解图中每个层的进行语义分解的语义分解图卷积模块、将各层语义分解卷积模块的输出进行拼接的concat操作，以及对拼接得到的特征映射进行注意力引导的层次结构聚合模块；
23、所述时间网络包括均与所述空间网络输出连接的第一分支、第二分支、第三分支和第四分支；
24、所述第一分支包括依次连接的1×1卷积和dilation为1的5×1扩展卷积；
25、所述第二分支包括依次连接的1×1卷积和dilation为2的5×1扩展卷积；
26、所述第三分支包括依次连接的1×1卷积和3×1的卷积最大池化；
27、所述第四分支为5×1的扩展卷积；
28、所述第一分支、第二分支、第三分支和第四分支的输出通过concat操作连接输入至全连接层。
29、进一步地，所述语义分解图卷积模块对输入的特征矩阵进行处理的方法具体为：
30、本文档来自技高网...
【技术保护点】
1.一种基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述步骤S1中，所述融合骨架表示为(, , score, , )；
3.根据权利要求1所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述步骤S2中，构建任一质心节点在骨流或节点流上对应的语义分解图的方法具体为：
4.根据权利要求1所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述步骤S3中，邻接矩阵表示为：
5.根据权利要求1所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述步骤S4中，所述语义分解多关系图卷积网络包括依次连接的若干堆叠图卷积块、全连接层和softmax输出层；
6.根据权利要求5所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述语义分解图卷积模块对输入的特征矩阵进行处理的方法具体为：
7.根据权利要求6所述的基于语义分解多关系图卷积网络的骨架动作识
8.根据权利要求7所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述子图的输出表示为：
9.根据权利要求6所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述层次结构聚合模块的输出为特征映射与注意力系数的乘积；
10.根据权利要求5所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述步骤S5中的质心节点包括3个。
...【技术特征摘要】
1.一种基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述步骤s1中，所述融合骨架表示为(, , score, , )；
3.根据权利要求1所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述步骤s2中，构建任一质心节点在骨流或节点流上对应的语义分解图的方法具体为：
4.根据权利要求1所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述步骤s3中，邻接矩阵表示为：
5.根据权利要求1所述的基于语义分解多关系图卷积网络的骨架动作识别方法，其特征在于，所述步骤s4中，所述语义分解多关系图卷积网络包括依次连接的若干堆叠图卷积块、全连接层和softmax输出层；
6.根据权...
【专利技术属性】
技术研发人员：吴可儿，田琳，肖秀春，闫敬文，王煜城，
申请(专利权)人：广东海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。