一种用于增强深度相机检测肢体运动参数的方法技术

本发明专利技术涉及一种用于增强深度相机检测肢体运动参数的方法，属于人体姿态信息检测领域。该方法包括：利用深度相机采集人体的肢体运动数据；S2：当检测到采集的人体肢体运动数据出现某一时刻后的所有标志点缺失现象，即数据量不足，利用训练好的带有注意力机制的神经网络对缺失的数据进行预测重构，得到完整骨骼三维坐标数据；当检测到采集的人体肢体运动数据出现某一时刻的部分标志点缺失现象，即某些时刻个别骨骼关节点三维坐标数据缺失，利用训练好的带有注意力机制的神经网络对缺失的数据点进行补全，最终得到完整骨骼三维坐标数据。本发明专利技术实现了非接触式人体自由运动检测且有效消除了使用深度相机采集数据时可能出现的数据缺失的问题。

【技术实现步骤摘要】
一种用于增强深度相机检测肢体运动参数的方法
本专利技术属于人体姿态信息检测领域，涉及一种用于增强深度相机检测肢体运动参数的方法。
技术介绍
人的姿态包括静态姿态和运动姿态两种，人体运动姿态检测是指通过一定的检测方法测得人体或人体局部部位在运动时的姿态信息，例如：空间位置、空间形态、运动速度、关节角度、肌电信号等，并通过分析这些人体姿态信息了解获取人的瞬时姿态和人体姿态变化的规律。人体运动姿态检测是获取人体信息必不可少的一种检测技术，在体育训练、步态分析、动作识别、医疗康复以及军事领域都有着广泛的应用。公开号为CN105046281A的专利申请，公开了一种基于Kinect的人体行为检测方法，该方法采用Kinect体感设备(深度图像传感器)对人体姿态进行实施捕捉，与传统的对摄像头捕捉的视频图像进行分析相比，减少了外部坏境对分析结果的影响，检测结果更加准确。但是该方法需要对被试的运动进行约束，被试者需要依据实验者要求做出指定的动作。公开号为CN110477922A的专利申请，公开了一种肢体运动检测方法及系统，该方法通过获取穿戴在肢体(包括手臂和腿，以下简称为肢体)上的运动捕捉设备获取肢体运动姿态数据，生成肢体运动模型，并与健康状况良好人员的肢体运动模型进行对比分析，确定生成的肢体运动模型与健康状况良好人员的正常肢体运动模型的偏离程度。但是可穿戴设备可能会对被试的运动存在一定阻碍，影响被试的运动情况，且受到外部坏境干扰较大，操作也相对繁琐。公开号为CN112215172的专利申请，公开了一种融合人彩色图像与深度信息的人体卧姿三维姿态估计方法，由于深度相机难以区分人体卧躺姿态，该方法利用深度图像与彩色图像融合的方式来获取人体卧躺姿态的信息，其具有低成本、无接触、高精度等优点，并且使用样条插值的方法解决了深度相机在进行人体姿态检测过程中出现的丢帧问题。但是该方案只针对卧躺姿态下的人体，人体运动姿态检测识别种类过于单一。目前市场上给出的解决方案基本都是针对一些特定的姿态，即对被试的运动做出了约束，这导致检测到的人体姿态信息不够丰富全面。并且在数据采集过程中可能会出现各式各样的问题，例如，硬件设备操作不当、被试身体条件不允许等，导致采集到的数据量严重不足，缺失很多帧数据，数据缺失对后续的数据分析结果也会造成一定的影响，在数据采集过程中也可能出现部分骨骼关节点数据缺失的现象，这将导致数据采集人员需要对被试的数据进行重新采集，对被试以及数据采集人员都很费时费力。因此，亟需一种新的肢体运动检测方法来弥补上述方法的缺陷。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种用于增强深度相机检测肢体运动参数的方法，利用一种非接触的设备，即深度相机，在无约束自由运动情况下，来捕捉人体姿态，针对数据量不足的情况对被试者的肢体运动数据进行预测重构，或是针对某帧时刻深度相机采集被试肢体运动数据时丢失的个别骨骼关节点三维坐标信息进行有效准确地补全。为达到上述目的，本专利技术提供如下技术方案：一种用于增强深度相机检测肢体运动参数的方法，具体包括以下步骤：S1：利用深度相机采集人体的肢体运动数据；S2：当检测到采集的人体肢体运动数据出现某一时刻后的所有标志点缺失现象，即数据量不足，利用训练好的带有注意力机制的神经网络对缺失的数据进行预测重构，得到完整骨骼三维坐标数据；当检测到采集的人体肢体运动数据出现某一时刻的部分标志点缺失现象，即某些时刻个别骨骼关节点三维坐标数据缺失，利用训练好的带有注意力机制的神经网络对缺失的数据点进行补全，最终得到完整骨骼三维坐标数据。进一步，所述步骤S1具体包括：将深度相机与电脑连接后，让被试者站在深度相机前，利用深度相机中视觉捕捉传感器实时采集被试者自由运动过程中骨骼关节点三维坐标数据，并将深度相机采集到的骨骼关节点三维坐标数据保存为文件。进一步，步骤S2中，当某一时刻后的所有标志点缺失时，依据现有数据，对未来运动情况进行预测重构。本专利技术利用机器学习中的神经网络方法来对某一时刻后的所有标志点缺失情况进行预测重构。神经网络其实是指“神经网络学习”，学习的目的是为了给隐藏层的每个节点的连接的权重分配一个正确的数值。当给定一个输入向量，这些权重可以决定输出的向量。在初始阶段，所有权重都是随机分配的。对于训练集的每个输入值，经过神经网络的前向计算后，得到的输出值将会与期望的输出值进行比较，然后得到的误差会传回给前面的网络层(反向传播算法)。这个误差会被记下，然后权重会进行相应的调整。神经网络需要反复迭代，直到输出的误差低于一个设定好的阈值，即输出值与期望输出的差异足够小，这个过程也称为模型训练过程。在本专利技术中，随着不断向带有注意力机制的神经网络输入中不同被试的骨骼关节点三维坐标数据，神经网络不断地调整其内部大量节点之间相互连接的关系，输出将不断接近期望输出，预测重构后的数据逐渐接近人体真实的运动情况，即预测重构后的人体运动轨迹逐渐逼近真实的人体运动轨迹，就利用预测重构后的数据进行肢体运动参数的计算。模型训练的具体步骤如下：S201：利用三维运动捕捉系统，将采集的一组完整的被试者自由运动情况下骨骼关节点三维坐标数据进行校准，然后去除掉k帧之后的数据即某一时刻后的数据，将缺失的数据作为输入，输入神经网络中，k值由实验人员自行选择；S202：将完整的骨骼关节点三维坐标数据作为模型的期望输出，将神经网络的输出与期望输出作比较，经过多次迭代，神经网络内部对输入输出形成一个映射关系；S203：当输入输出达成一个很好地映射关系时，神经网络训练完成，然后将测试数据输入神经网络进行预测重构。其中，测试数据是在数据采集过程中出现了某一时刻后的所有标志点缺失情况的数据。进一步，步骤S2中，当某一时刻的部分标志点缺失现象，依据缺失数据的上下文信息进行补点。随着不断向带有注意力机制的神经网络输入不同被试肢体运动骨骼关节点三维坐标数据对网络进行训练，神经网络不断地调整其内部大量节点之间相互连接的关系，输出将不断接近期望输出，即输出结果将不断逼近真实结果，不断提高补点的准确率，使补点后的数据逐渐接近人体真实骨骼信息，即补点后的人体运动轨迹逐渐逼近真实的人体运动轨迹，然后就可以利用补点后的数据进行肢体运动参数的计算。模型训练的具体步骤如下：S211：利用三维运动捕捉系统，将采集的一组完整的被试者自由运动情况下骨骼关节点三维坐标数据进行校准，将完整的数据中扣除几个标志点的数据，将某一时刻的部分标志点缺失的数据作为输入，输入神经网络中；S212：将包含完整信息的数据作为神经网络的期望输出，将神经网络的输出与期望输出作比较，经过多次迭代，神经网络内部对输入输出形成一个映射关系；S213：当输入输出形成一个很好地映射关系时，神经网络训练完成，然后将测试数据输入神经网络对某一时刻的部分标志点缺失进行补全。其中，测试数据是在数据采集过程中出现了某一时刻的部分标志点缺失现象的数据。进一步，带有注意力机本文档来自技高网...

【技术保护点】
1.一种用于增强深度相机检测肢体运动参数的方法，其特征在于，该方法包括以下步骤：/nS1：利用深度相机采集人体的肢体运动数据；/nS2：当检测到采集的人体肢体运动数据出现某一时刻后的所有标志点缺失现象，即数据量不足，利用训练好的带有注意力机制的神经网络对缺失的数据进行预测重构，得到完整骨骼三维坐标数据；/n当检测到采集的人体肢体运动数据出现某一时刻的部分标志点缺失现象，即某些时刻个别骨骼关节点三维坐标数据缺失，利用训练好的带有注意力机制的神经网络对缺失的数据点进行补全，最终得到完整骨骼三维坐标数据。/n

【技术特征摘要】
1.一种用于增强深度相机检测肢体运动参数的方法，其特征在于，该方法包括以下步骤：
S1：利用深度相机采集人体的肢体运动数据；
S2：当检测到采集的人体肢体运动数据出现某一时刻后的所有标志点缺失现象，即数据量不足，利用训练好的带有注意力机制的神经网络对缺失的数据进行预测重构，得到完整骨骼三维坐标数据；
当检测到采集的人体肢体运动数据出现某一时刻的部分标志点缺失现象，即某些时刻个别骨骼关节点三维坐标数据缺失，利用训练好的带有注意力机制的神经网络对缺失的数据点进行补全，最终得到完整骨骼三维坐标数据。


2.根据权利要求1所述的用于增强深度相机检测肢体运动参数的方法，其特征在于，所述步骤S1具体包括：利用深度相机实时采集被试者自由运动过程中骨骼关节点三维坐标数据，并将深度相机采集到的骨骼关节点三维坐标数据保存为文件。


3.根据权利要求1所述的用于增强深度相机检测肢体运动参数的方法，其特征在于，步骤S2中，当检测到采集的人体肢体运动数据出现某一时刻后的所有标志点缺失现象时，训练带有注意力机制的神经网络的具体步骤为：
S201：利用三维运动捕捉系统，将采集的一组完整的被试者自由运动情况下骨骼关节点三维坐标数据进行校准，然后去除掉k帧之后的数据即某一时刻后的数据，将缺失的数据作为输入，输入神经网络中，k值由实验人员自行选择；
S202：将完整的骨骼关节点三维坐标数据作为模型的期望输出，将神经网络的输出与期望输出作比较，经过多次迭代，神经网络内部对输入输出形成一个映射关系；
S203：当输入输出达成一个合适的映射关系时，神经网络训练完成，然后将测试数据输入神经网络进行预测重构。


4.根据权利要求3所述的用于增强深度相机检测肢体运动参数的方法，其特征在于，步骤S203中，所述测试数据是在数据采集过程中出现了某一时刻后的所有标志点缺失情况的数据。


5.根据权利要求1所述的用于增强深度相机检测肢体运动参数的方法，其特征在于，步骤S2中，当检测到采集的人体肢体运动数据出现某一时刻的部分标志点缺失现象时，训练带有注意力机制的神...

【专利技术属性】
技术研发人员：张若琦，吴小鹰，朱业安，张丽，张琳，侯文生，陈琳，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50