【技术实现步骤摘要】
本专利技术涉及动作识别的，尤其涉及一种人体骨架动作识别的系统及方法。
技术介绍
1、人体动作识别是计算机视觉和人工智能领域中的重要研究方向，它在智能监控、人机交互、虚拟现实、运动分析、健康监测等多个领域具有广泛的应用。在人体动作识别的研究中，基于骨架的动作识别是一种热门的方法。与基于rgb图像的动作识别方法相比，基于骨架的方法具有抗干扰能力强、计算复杂度低、适应性强等优点。随着深度学习的发展，基于图卷积网络(graph convolutional network,gcn)的骨架动作识别方法得到了广泛关注。在这种方法中，人体骨架被建模为一个图结构，其中节点代表人体的关节，边表示关节之间的关系或连接。
2、图卷积网络能够利用图结构的数据对人体动作进行有效建模和分类。早期基于图卷积网络人体骨架动作识别方法中的人体物理连接图侧重于表现人体关节之间的连接，图结构固定不变。随后的一些方法通过注意力动态学习关节之间的关系，但因它们使用人体物理连接图作为学习图，致使人体物理连接占据主要地位，所以无法很好的学习到一些关节之间的关系，尤其是距离较远关节之间的关系。近期的分层分解图卷积通过用全连接边代替物理连接边很好的解决了这个问题，并通过选取不同的人体重心点得到不同结构的分层分解图，进而提取出有互补关系的特征。但人体重心点是一个全局性的关键点，从这个点出发构建的图结构逐层扩展至整个身体，捕捉的是人体整体的动作趋势，无法捕捉人体局部或细致部位的运动状况，这意味着它可能在某些需要捕捉局部或细微动态的场景中表现不够理想，从而影响人体骨架动作识
3、多流网络集成是一种通过综合多样化特征、增强鲁棒性和提高准确性来提升模型在复杂任务中表现的有效方法，在基于图卷积的人体骨架动作识别任务中也十分常见。一些骨架动作识别方法是因输入数据的形式不同而采用多流结构，它们会将输入数据的形式分为骨骼点形式、骨架形式、动态骨骼点形式、动态骨架形式或其他形式。还有一些骨架动作识别方法是因图结构的不同而采用多流结构，如分层分解图卷积中通过不同人体重心点构建不同的图结构来提取不同的特征。但是，这些用于人体骨架动作识别的多流网络在集成时多采用简单平均方法，有时也会采用人为给定权重的加权平均方法。这些方法都是对多流网络特征的线性融合，且线性融合的权重是人为给定的超参数，即无论是融合方式还是融合参数都是由研究人员主观给出的，这可能导致结果的不稳定性和不可预测性。除此之外，在整个融合过程中，每个流的权重都是不变的，无法针对不同的动作类型进行动态调整。多流网络特征的融合方式会对结果产生很大的影响，所以如何有效融合多流网络特征也是一个值得探究的问题。
技术实现思路
1、针对现有技术在某些需要捕捉局部或细微动态的场景中表现不理想导致识别精度有限、不能充分融合多流网络特征导致分类精度不高的技术问题，本专利技术提出一种用于人体骨架动作识别的多尺度图卷积网络自适应集成系统及方法，通过多尺度图卷积网络提取人体整体、局部和精细的多尺度运动特征，通过自适应集成网络融合多尺度图卷积网络输出结果得到更加准确的分类结果，从而提高人体骨架动作识别精度。
2、为了达到上述目的，本专利技术的技术方案是这样实现的：
3、一种用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，包括步骤：
4、s0：获取人体骨架数据，根据人体骨架数据构建多尺度分层分解图；
5、s1：基于多尺度分层分解图对人体骨架数据进行特征提取并进行分类，得到人体骨架数据的多组初步动作分类结果；
6、s2：对人体骨架数据的多组初步动作分类结果进行融合操作，得到人体骨架数据的一组动作分类结果。
7、所述人体骨架数据包括骨骼点形式和骨架形式；
8、所述多尺度的分层分解图包括人体整体分层分解图、人体局部分层分解图和人体细节分层分解图；
9、所述人体整体分层分解图为从人体重心关节点出发的单点分层分解图；
10、所述人体局部分层分解图为从四肢对称点出发的双点分层分解图；
11、所述人体细节分层分解图为在人体整体分层分解图的基础上加入了手部与上肢-头部连接图结构的单点分层分解图。
12、所述双点分层分解图的获取方法为：选取对称关系的初始关节点n1和初始关节点n2，分别从初始关节点n1和初始关节点n2两点出发，分别对人体骨架进行单点分层分解，得到两个单点分解点集集合和然后合并两个单点分解点集集合和得到双点分解点集集合单点分解点集集合单点分解点集集合和双点分解点集集合中均含有nl个点集；最后根据构双点分解点集集合利用构造单点分层分解图的方法构造双点分层分解图的邻接矩阵。
13、所述人体重心关节点包括臀部关节点、腹部关节点和胸部关节点；
14、所述四肢对称点包括左右肩关节点、左右肘关节点、左右胯关节点和左右膝关节点；
15、所述手部与上肢-头部连接图结构包括手指关节点集和上肢-头部关节点集，其中上肢-头部关节点集包括腕关节、肘关节和表示头部的点。
16、所述基于多尺度分层分解图对人体骨架数据进行特征提取并进行分类的方法为：由人体整体分层分解图和人体细节分层分解图分别得到人体整体分层分解图的邻接矩阵和人体细节分层分解图的邻接矩阵，由人体局部分层分解图采用所述双点分层分解图的获取方法得到人体局部分层分解图的邻接矩阵；然后对人体整体分层分解图的邻接矩阵、人体细节分层分解图的邻接矩阵和人体局部分层分解图的邻接矩阵分别进行多层图卷积操作，然后由全连接层得到人体整体分层分解图对应的多组初步动作分类结果、人体细节分层分解图对应的多组初步动作分类结果和人体局部分层分解图对应的多组初步动作分类结果。
17、步骤s2所述融合操作具体为：
18、对于每一类动作定义回归模型：
19、pi＝f(r1，r2，...，ri,...，rs)
20、其中，ri为一组初步动作分类结果，pi表示动作样本属于第i类动作的分数，第j个动作样本在第i类动作上的预测分数为pij∈pi；
21、利用回归模型对人体骨架数据的多组初步动作分类结果进行多元回归计算，得到每个动作样本的预测分数；根据每个动作样本的预测分数进行最大值判断：如果满足则第j个动作样本的判定动作类型是第i′类动作。
22、一种用于人体骨架动作识别的多尺度图卷积网络自适应集成系统，包括依次连接的输入网络、多尺度图卷积网络和自适应集成网络；
23、所述输入网络，用于获取人体骨架数据，根据人体骨架数据构建多尺度分层分解图；
24、所述多尺度图卷积网络，基于多尺度分层分解图对人体骨架数据进行特征提取并进行分类，得到人体骨架数据的多组初步动作分类结果；
25、所述自适应集成网络，用于对多组人体骨架数据的初步动作分类结果进行融合操作，得到一组人体骨架数据的动作分类结果。
26、所述多尺度图卷积网络包括并行的人体本文档来自技高网...
【技术保护点】
1.一种用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，包括步骤：
2.根据权利要求1所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，所述人体骨架数据包括骨骼点形式和骨架形式；
3.根据权利要求2所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，所述双点分层分解图的获取方法为：选取对称关系的初始关节点n1和初始关节点n2，分别从初始关节点n1和初始关节点n2两点出发，分别对人体骨架进行单点分层分解，得到两个单点分解点集集合和然后合并两个单点分解点集集合和得到双点分解点集集合单点分解点集集合单点分解点集集合和双点分解点集集合中均含有NL个点集；最后根据构双点分解点集集合利用构造单点分层分解图的方法构造双点分层分解图的邻接矩阵。
4.根据权利要求3所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，所述人体重心关节点包括臀部关节点、腹部关节点和胸部关节点；
5.根据权利要求3或4所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，所述
6.根据权利要求5所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，步骤S2所述融合操作具体为：
7.一种用于人体骨架动作识别的多尺度图卷积网络自适应集成系统，采用权利要求1到6所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，包括依次连接的输入网络、多尺度图卷积网络和自适应集成网络；
8.根据权利要求7所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成系统，其特征在于，所述多尺度图卷积网络包括并行的人体整体特征图卷积网络、人体局部特征图卷积网络和人体细节特征图卷积网络；
9.根据权利要求8所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成系统，其特征在于，所述人体整体特征图卷积网络包括3个并行的图卷积网络；所述人体局部特征图卷积网络包括4个并行的图卷积网络；所述人体细节特征图卷积网络包括3个并行的图卷积网络；
10.根据权利要求9所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成系统，其特征在于，所述自适应集成网络包括依次连接的输入层、隐藏层和输出层；
...【技术特征摘要】
1.一种用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，包括步骤：
2.根据权利要求1所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，所述人体骨架数据包括骨骼点形式和骨架形式；
3.根据权利要求2所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，所述双点分层分解图的获取方法为：选取对称关系的初始关节点n1和初始关节点n2，分别从初始关节点n1和初始关节点n2两点出发，分别对人体骨架进行单点分层分解，得到两个单点分解点集集合和然后合并两个单点分解点集集合和得到双点分解点集集合单点分解点集集合单点分解点集集合和双点分解点集集合中均含有nl个点集；最后根据构双点分解点集集合利用构造单点分层分解图的方法构造双点分层分解图的邻接矩阵。
4.根据权利要求3所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，所述人体重心关节点包括臀部关节点、腹部关节点和胸部关节点；
5.根据权利要求3或4所述的用于人体骨架动作识别的多尺度图卷积网络自适应集成方法，其特征在于，所述基于多尺度分层分解图对人体骨架数据进行特征提取并进行分类的方法为：由人体整体分层分解图和人体细节分层分解图分别得到人体整体分层分解图的邻接矩阵和人体细节分层分解图的邻接矩阵，由人体局部分层分解图采用所述双点分层分解图的获取方法得到人体局部分层分解图的邻接矩阵；然...
【专利技术属性】
技术研发人员：郑晨，马田程，李晶莹，宫嘉艺，李佳璇，杨晓慧，杨利军，
申请(专利权)人：河南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。