【技术实现步骤摘要】
本公开实施例涉及图像识别，尤其涉及一种基于多粒度骨架时空特征互补融合的人体动作识别方法。
技术介绍
1、目前，人体骨架动作识别技术利用计算机视觉和深度学习等领域的先进技术，通过对人体关键点的检测和跟踪，实现了对人体动作的自动识别和分析。这种技术在智能监控、虚拟现实、体育训练、医疗康复等领域具有广泛的应用前景。
2、当前前沿的识别技术，特别是基于深度学习的多模态融合技术，已经成为人体骨架动作识别领域的研究热点。这些技术中所属的算法通过在时间和空间上进行卷积操作，能够有效地捕捉动作序列中的时序和空间信息，从而实现对不同动作的准确分类和识别。这类技术的发展为人体动作识别带来了新的突破和进展。
3、在现实中，人体动作识别技术仍面临着一些重大挑战和局限性。由于人体动作具有多样性和复杂性，同一种动作在不同的场景和环境下可能表现出不同的特征，使得动作识别变得更加复杂和困难。当人体动作被物品遮挡时，即使是部分遮挡也会显著影响识别的准确性，而当前的技术在处理这些遮挡问题上效果并不理想。而且不同个体的身体结构和运动特点存在显著差异，现有的通用模型往往无法很好地适应这些个体差异性。这种模型在面对多样化的人体动作时，鲁棒性较差，难以提供准确的识别结果。
4、可见，亟需一种识别精度和适应性强的基于多粒度骨架时空特征互补融合的人体动作识别方法。
技术实现思路
1、有鉴于此，本公开实施例提供一种基于多粒度骨架时空特征互补融合的人体动作识别方法，至少部分解决现有技术中存在识别精
2、本公开实施例提供了一种基于多粒度骨架时空特征互补融合的人体动作识别方法，包括：
3、步骤1，对待识别人体动作中的每一帧，生成多粒度人体骨架拓扑图，在每个粒度上对人体骨架拓扑图进行以末端关节点为起点并朝向脊柱中心的方向对人体骨架进行融合，并且保留主干关节点信息；
4、步骤2，对每个粒度的人体骨架拓扑图中的人体动作序列构建对应粒度的人体骨架邻接矩阵，并执行图卷积操作和时序卷积操作，以提取每一帧人体动作的空间特征和时序特征，最终得到每个粒度人体动作序列的时空动态特征；
5、步骤3，基于不同粒度特征之间互补性分析，设计多粒度通道注意力机制和改进注意力融合单元对不同粒度的时空动态特征进行互补改进，得到多粒度融合特征并输入算法决策器，得到动作识别结果。
6、根据本公开实施例的一种具体实现方式，所述步骤1具体包括：
7、步骤1.1，将粒度0作为初始粒度，在初始粒度下骨架拓扑图保持原始状态，每个关节点都被保留，保留初始的人体骨架图；
8、步骤1.2，对于每个粒度1至粒度n，采取一种逐步融合的方法，逐步将肢干末端节点与邻接关节点进行位置融合，得到n+1类不同粒度的人体骨架拓扑图；
9、步骤1.3，根据每个粒度的人体骨架拓扑图和匹配对齐公式，对序列中的每一帧人体姿态进行骨架压缩。
10、根据本公开实施例的一种具体实现方式，所述匹配对齐公式为
11、
12、其中，d为输入骨架序列,k为压缩轮数，parts为融合的肢干部分，p为当前融合的肢干，cat是融合操作，即序列第3维各肢干末端邻接节点进行融合，xk为得到的融合骨架序列，t表示保存当前的骨架序列操作，dim表示融合骨架序列的维度，表示第k次压缩过程对肢干p的融合操作。
13、根据本公开实施例的一种具体实现方式，所述步骤2具体包括：
14、步骤2.1，对于每个粒度的人体动作骨架序列，构建对应粒度的人体骨架邻接矩阵；
15、步骤2.2，根据时空图卷积公式，基于构建的人体骨架邻接矩阵，进行滤波操作，捕捉到节点之间的局部空间信息，获取每一帧人体姿态不同粒度的空间特征，以及，对t帧人体姿态不同粒度的空间特征，采用滑动窗口的方式在时间维度上提取特征，获取整个动作序列的时序特征，结合空间特征和时序特征得到每个粒度人体动作序列的时空动态特征。
16、根据本公开实施例的一种具体实现方式，时空图卷积公式为
17、
18、其中，dmax为预定义的最大距离，fin和fout分别为输入和输出的特征图，ad表示图形距离d的邻接矩阵，为标准化对角矩阵，表示ad的第k行元素，α则设置为一个小值，以避免λd中的空行，对每个邻接矩阵，设置一个可学习的矩阵md，来表示每条边的重要性。
19、根据本公开实施例的一种具体实现方式，所述步骤3具体包括：
20、步骤3.1，将粒度0对应的时空动态特征分别与粒度1至粒度n对应的时空动态特征进行互补改进，得到n个改进后特征，其中，所述互补改进的表达式为
21、f'0n＝[(q0*k0*fn)*(q0*k0*fn)t]⊙f0
22、其中，q0表示通过每一帧动作序列对应粒度0的特征图f0进行线性映射生成查询矩阵，k0表示键图矩阵，fn表示粒度1至粒度n中任一个粒度对应的时空动态特征，n取值范围为1～n；
23、步骤3.2，基于多粒度通道注意力机制，对n个改进后特征进行融合，得到多粒度融合特征；
24、步骤3.3，将多粒度融合特征输入算法决策器中，得到动作识别结果。
25、根据本公开实施例的一种具体实现方式，所述步骤3.2具体包括：
26、步骤3.2.1，输入n个改进后特征x(f'01，f'02，……，f'0n)，维度为(c，h，w)，将n个改进后特征x经过全局平均池化，生成c×1×1的特征图，经过两层逐点卷积、归一化层和一层激活函数，得到数据增强的矩阵x1，其中，数据增强的矩阵x1的表达式为
27、x1＝pool(bn(conv(relu(bn(conv(x))))))
28、其中，pool()是池化层，bn()是数据归一化计算，conv()是卷积操作，relu()是激活函数；
29、步骤3.2.2，将n个改进后特征x经过经过两层逐点卷积、归一化层和一层激活函数，得到数据增强的矩阵x2，其中，数据增强的矩阵x2的表达式为
30、x2＝bn(conv(relu(bn(conv(x)))))
31、其中，bn()是数据归一化计算，conv()是卷积操作，relu()是激活函数；
32、步骤3.2.3，将x1和x2进行矩阵相加，得到维度为(c，h，w)的矩阵x12，将x12通过sigmoid激活函数生成注意力权重e，将注意力权重e与n个改进后特征x经过逐元素相乘，最终得到多粒度融合特征f。
33、本公开实施例中的基于多粒度骨架时空特征互补融合的人体动作识别方案，包括：步骤1，对待识别人体动作中的每一帧，生成多粒度人体骨架拓扑图，在每个粒度上对人体骨架拓扑图进行以末端关节点为起点并朝向脊柱中心的方向对人体骨架进行融合，并且保留主干关节点信息；步骤2，对每个粒度的人体骨架拓扑图中的人体动作序列构建对应粒度的人本文档来自技高网...
【技术保护点】
1.一种基于多粒度骨架时空特征互补融合的人体动作识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于,所述步骤1具体包括：
3.根据权利要求2所述的方法，其特征在于,所述匹配对齐公式为
4.根据权利要求3所述的方法，其特征在于,所述步骤2具体包括：
5.根据权利要求4所述的方法，其特征在于,时空图卷积公式为
6.根据权利要求5所述的方法，其特征在于,所述步骤3具体包括：
7.根据权利要求6所述的方法，其特征在于,所述步骤3.2具体包括：
【技术特征摘要】
1.一种基于多粒度骨架时空特征互补融合的人体动作识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于,所述步骤1具体包括：
3.根据权利要求2所述的方法，其特征在于,所述匹配对齐公式为
4.根据权利要求3所述的方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。