【技术实现步骤摘要】
本专利技术属于人体运动序列预测方法，尤其涉及一种基于骨架增强transformer的人体运动序列预测方法及系统。
技术介绍
1、3d人体运动预测的关键在于准确建模运动序列中的空间和时间依赖关系。现有技术中，数据中潜在的特征关系未得到充分探索，尤其是在数据不完整的情况下（例如缺少关节）。
2、现有方法在处理空间维度的潜在特征关系时存在以下不足，例如，空间特征关系挖掘不足：现有方法在处理运动数据的空间维度时，往往不能充分捕捉潜在的特征关系，特别是在面对不完整的数据（如缺少关节）时，模型的表现会受到限制；局部与全局特征建模的平衡性差：基于gcn的方法通常侧重于局部特征的建模，而transformer方法则偏重于全局特征，缺乏一个同时有效地建模局部和全局时空特征的方法；应对数据不完整性的能力有限：由于姿势重叠、环境遮挡或数据噪声，实际应用中的数据可能不完整，而大多数现有方法在处理这些不完整数据时表现不佳，难以维持模型的性能和鲁棒性；预测趋势的过度平滑：许多现有方法在长时间预测时，容易使预测结果趋于平均姿态，缺乏对运动趋势和变化的细致捕捉。
技术实现思路
1、本申请的目的在于提供一种基于骨架增强transformer的人体运动序列预测方法及系统，通过引入虚拟关节和模拟真实关节组合来增强骨架特征，解决现有技术在时空依赖关系建模上的不足。
2、为了实现上述目的，本申请其中一方面提供了一种基于骨架增强transformer的人体运动序列预测方法，包括以下步骤：s1：对人体动
3、优选地， s2包括：所述虚拟关节生成的位置基于其预设范围内的若干真实关节的位置平均计算得出，其计算公式如下：
4、；
5、其中，ai表示运动序列关节数据，c表示增强系数。
6、优选地，s2包括：在生成虚拟关节时，加入高斯噪声以模拟真实关节。
7、优选地，s3包括：将增强动作序列数据作为输入，图卷积网络的计算公式如下：
8、；
9、其中，表示增强运动序列数据，ms表示归一化邻接矩阵，σ表示激活函数，ws表示可训练的权重矩阵。
10、优选地，所述时空注意力机制包括空间注意力计算和时间注意力计算，其包括以下步骤：
11、s301：使用不同的可学习矩阵w对运动序列数据进行线性转换得到运动序列数据qt、kt和vt，其计算公式如下：
12、；
13、其中，at表示图卷积输出的结果，遍历时间轴t；
14、s302：qt与kt相乘得到关节之间的重要性程度结果，使用softmax进行归一化的重要性程度转换，再与vt相乘得到注意力的大小，其计算公式如下：
15、；
16、其中，dk表示数据的维度；
17、s303：使用ffn方法通过可学习矩阵线性转换，再使用激活函数对线性转换的结果进行激活，其计算公式如下：
18、；
19、s304：将运动序列数据的时间维度提至最外层，得到新运动序列数据；
20、s305：使用不同的可学习矩阵w对新运动序列数据进行线性转换得到运动序列数据qj、kj和vj，其计算公式如下：
21、；
22、其中，aj表示图卷积输出的结果，遍历骨架节点；
23、s306：qj与kj相乘得到关节之间的重要性程度结果，使用softmax进行归一化的重要性程度转换，再与vj相乘得到注意力的大小，其计算公式如下：
24、；
25、s307：使用ffn方法通过可学习矩阵线性转换，再使用激活函数对线性转换的结果进行激活，其计算公式如下：
26、。
27、优选地，s4包括：
28、用移动平均的结果mab(a’)表示趋势部分，其计算公式如下：
29、；
30、用残差的结果r表示残差部分，其计算公式如下：
31、。
32、优选地， s5包括：
33、s501：提取的运动序列数据特征与趋势部分结合得到结果fe，其计算公式如下：
34、；
35、s502：提取的运动序列数据特征与趋势部分和残差部分结合得到最终预测结果fd，其计算公式如下：
36、；
37、s503：对fd进行向下采样，去除每两个真实关节之间插入的虚拟关节，得到与原始运动序列相同大小的运动序列数据。
38、本申请另一方面提供一种基于骨架增强transformer的人体运动序列预测系统，使用上述的人体运动序列预测方法，包括：骨架增强模块，被配置为生成虚拟关节，并将所述虚拟关节加入序列，构建增强运动序列数据；编码器，被配置为对输入的运动序列数据进行特征提取并建模；趋势学习模块，被配置为分解输入的运动序列数据，提取出整体趋势信息，并在解码过程中融入趋势信息；解码器，被配置为根据提取的特征结合残差信息得到预测结果。
39、优选地，所述编码器包括多层结构，将结果fe循环输入到编码器中继续特征学习。
40、本申请另一方面提供一种电子装置，包括处理器和存储器，所述存储器内存储有计算机程序，所述计算机程序被配置为由处理器执行，所述计算机程序包括用于执行上述的人体运动序列预测方法的指令。
41、本申请另一方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被计算机执行时，实现上述的人体运动序列预测方法。
42、本申请提供的技术方案可以达到以下有益效果：
43、1、通过引入虚拟关节并结合图卷积网络与时空注意力机制，本专利技术能够更有效地捕捉人体运动中的复杂时空依赖关系，特别是在面对数据不完整或含有噪声的情况下，依然能够保持较高的预测准确性。
44、2、由于虚拟关节的引入和趋势学习方法的应用，本专利技术在应对实际场景中常见的数据缺失、噪声等问题时，表现出了更强的鲁棒性。同时，趋势学习方法确保了预测不会过度平滑，从而提高了模型在不同数据集上的泛化能力。
45、3、趋势学习方法有效地捕捉了整体趋势信息，使得预测结果能够更好地反映真实的运动变化趋势，避免了预测结果趋向平均姿态的常见问题。
本文档来自技高网...【技术保护点】
1.一种基于骨架增强Transformer的人体运动序列预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的人体运动序列预测方法，其特征在于，S2包括：所述虚拟关节生成的位置基于其预设范围内的若干真实关节的位置平均计算得出，其计算公式如下：
3.根据权利要求2所述的人体运动序列预测方法，其特征在于，S2包括：在生成虚拟关节时，加入高斯噪声以模拟真实关节。
4.根据权利要求1所述的人体运动序列预测方法，其特征在于，S3包括：将增强动作序列数据作为输入，图卷积网络的计算公式如下：
5.根据权利要求4所述的人体运动序列预测方法，其特征在于，所述时空注意力机制包括空间注意力计算和时间注意力计算，其包括以下步骤：
6.根据权利要求1所述的人体运动序列预测方法，其特征在于，S4包括：
7.根据权利要求1所述的人体运动序列预测方法，其特征在于，S5包括：
8.一种基于骨架增强Transformer的人体运动序列预测系统，使用权利要求1-7任一项所述的人体运动序列预测方法，其特征在于，包括：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。