本发明专利技术提供了一种基于RGBD视频数据的实时步态分析方法及装置，涉及人体姿态估计和RGBD三维重构技术领域。包括：采用深度学习方法对实时图像进行人体各关节二维关键点提取，并通过基于深度相机的三维重构技术获得人体各关节关键点三维坐标；通过三维关键点坐标进行初始步态参数的提取，包括部分关节角度及关节之间的距离信息，并将初始步态参数保存到存储器当中；对采集到的步态参数进行数据处理，包括剔除无用信息点、数据插值、计算步频、步速、步态参数统计数据；基于处理得到的数据进行图像生成并可视化，包括处理后的步态参数的分析图谱。本发明专利技术通过深度学习人体姿态估计框架完成对于步态参数的提取，使步态分析更加高效精确。效精确。效精确。
【技术实现步骤摘要】
一种基于RGBD视频数据的实时步态分析方法及装置
[0001]本专利技术涉及人机交互和RGBD视频数据领域，特别涉及一种基于RGBD视频数据的实时步态分析系统及装置。
技术介绍
[0002]步态由一系列使人类位移的身体运动组成，步态周期是指同一只脚脚后跟连续撞击地面之间的时间，对步态周期的科学研究称为步态分析。
[0003]W.E Wber对人体运动进行了最早、最详尽的研究。他成功地在步态周期的不同阶段标记了四肢的位置。19世纪初照相机的专利技术使得记录和研究人类运动的精细细节成为一种可能。E.Muybridge开创了人体运动分析的时间形态学研究。他专利技术了活动幻灯机，一种可以回放捕获的步态周期的设备。
[0004]随后，随着功能强大的数字计算机和图像处理技术的出现，步态分析取得了突破。R.B.Davis开发了第一个用于人类步态分析的视频处理系统。他使用被动反射标记和图像处理算法绘制人体关节运动图。该方法的缺点是反射标记检测精度取决于环境光照条件。此外，放置在身体上的标记物很容易受到皮肤位移的影响，其会在测量的步态参数中引入噪声。
[0005]随着集成电路和微控制器的进步，制造能够测量步态的可穿戴设备成为可能。王德等人利用imu设备对人体运动模式进行研究。Zixuan Zhang等人使用基于纺织平台的摩擦纳米发电机作为开发平台，开发了低成本的摩擦电智能袜子用于监控足部的步态数据。然而可穿戴设备通常会干扰受试者的行走习惯。尤其是当设备很重，体积很大，并且需用通过电源供电时。除此以外，可穿戴设备通常需要在受控环境下进行大量标定才能达到预期准确度。
[0006]使用立体相机如Microsoft Kinect，Intel Real Sense，StereoLabs是一种可行的方案，这些相机配合特定的软件可以实现对于身体骨骼关键点的粗略跟踪。Pfister等人将Kinect与Vicon 3D运动捕捉系统进行了比较。他们发现，用Kinect测量的膝关节和髋关节屈曲峰值振幅低于用光电系统测量的峰值振幅，而伸展峰值振幅则始终更大。因此，使用立体相机无法精确测量关节运动范围。
[0007]综上，传统的基于计算机视觉和立体相机的步态分析方法存在精度较低的问题，而基于可穿戴设备的方法通常存在需要大量标定、便携性差、干扰受试者行走习惯的问题。
技术实现思路
[0008]针对现有技术中精度较低、需要大量标定、便携性差、干扰受试者行走习惯的问题，本专利技术提出了一种基于RGBD视频数据的实时步态分析方法及装置。
[0009]为解决上述技术问题，本专利技术提供如下技术方案：
[0010]一方面，提供了一种基于RGBD视频数据的实时步态分析方法，该方法应用于电子设备，包括以下步骤：
[0011]S1：采用深度学习方法对实时图像进行人体各关节二维关键点提取，并通过RGBD三维重构技术获得人体各关节关键点三维坐标；
[0012]S2：根据人体关键点坐标计算初始步态参数，对采集到的初始步态参数进行数据统计处理，获得统计处理数据；
[0013]S3：保存数据处理模块计算得到的初始步态参数以及初始步态参数的统计处理数据；
[0014]S4：根据所述初始步态参数以及初始步态参数的统计处理数据，生成处理后的步态参数的分析图谱，完成基于RGBD视频数据的实时步态分析。
[0015]可选地，步骤S1中，采用深度学习方法对实时图像进行人体各关节二维关键点提取，并通过RGBD三维重构技术获得人体各关节关键点三维坐标，包括：
[0016]S11：提取所述实时图像的浅层特征和深层特征，获得一组特征图；对所述特征图通过两分支多阶段CNN进行分支预测，获得预测结果；
[0017]S12：根据预测结果生成图像中人的2D关键点；通过RGBD三维重构技术，根据同一场景下深度图与彩色图的映射关系获取人体各关节关键点三维坐标。
[0018]可选地，步骤S11中，提取所述实时图像的浅层特征和深层特征，获得一组特征图；对所述特征图通过两分支多阶段CNN进行分支预测，获得预测结果，包括：
[0019]使用VGG
‑
19提取所述实时图像的浅层特征和深层特征，得到一组特征图；生成身体部位置信度图和二维向量亲和度图，对于得到的特征图，使用两分支多阶段CNN，其中一个分支预测一组身体部位位置的2D置信度图；另一个分支预测一组二维向量场的部分亲和度，它对身体部位之间的关联程度进行编码。
[0020]可选地，步骤S2中，根据人体关键点坐标计算初始步态参数，对采集到的初始步态参数进行数据统计处理，获得统计处理数据，包括：
[0021]S21：利用提取出的人体关键点，计算反应人行走时的姿态和行为特征的初始步态参数；所述初始步态参数包括：关节角度及关节之间的距离信息。
[0022]S22：去除初始步态参数中值为空以及置信度低的数据点；
[0023]S23：对于筛选后的步态参数进行插值并据此计算步频、步速、步态参数统计数据。
[0024]可选地，步骤S21中，根据下述公式(1)对关节角度θ进行计算：
[0025][0026]其中，a,b表示由三维关键点构成的两个关节向量。
[0027]可选地，步骤S21中，根据下述公式(2)对关节角度及关节之间的距离d进行计算：
[0028][0029]其中，x,y，z表示表示三维关键点坐标。
[0030]可选地，步频为定义左臀至左膝盖向量与右臀至右膝盖向量之间夹角由最大值变为最小值再变为最大值的过程为一个步态周期，反应在该角度随时间变化图上则为连续两个角度值达到最大值的时间点之间的图像；根据下述公式(3)计算步频：
[0031]Stride_Frequency＝时间t内人走过的步数/时间t
ꢀꢀꢀꢀꢀꢀ
(3)。
[0032]可选地，定义时间t内人同一只脚脚跟移动距离为人走过的距离，跟踪计算左脚跟
或右脚跟在时间t内移动的距离，根据下述公式(4)计算步频：
[0033]Speed_Walking＝时间t内人走过的距离/时间t
ꢀꢀꢀꢀꢀꢀꢀ
(4)。
[0034]可选地，所述步骤S4中，处理后的步态参数的分析图谱包括：步态参数随时间变化图、步态参数统计数据条形图、预设时间内同一受试者步态参数统计数据随时间变化图。
[0035]一方面，提供了一种基于RGBD视频数据的实时步态分析装置，该装置应用于电子设备，该装置包括：
[0036]人体关键点提取模块，用于采用深度学习方法对实时图像进行人体各关节二维关键点提取，并通过RGBD三维重构技术获得人体各关节关键点三维坐标；
[0037]数据处理模块，用于根据人体关键点坐标计算初始步态参数，对采集到的初始步态参数进行数据统计处理，获得统计处理数据；
[0038]数据保存模块，用于保存数据处理模块计算得到的初始步态参数以及初始步态参数的统计处理数据；
...
【技术保护点】
【技术特征摘要】
1.一种基于RGBD视频数据的实时步态分析方法，其特征在于，包括以下步骤：S1：采用深度学习方法对实时图像进行人体各关节二维关键点提取，并通过RGBD三维重构技术获得人体各关节关键点三维坐标；S2：根据人体关键点三维坐标计算初始步态参数，对采集到的初始步态参数进行数据统计处理，获得统计处理数据；S3：保存计算得到的初始步态参数以及初始步态参数的统计处理数据；S4：根据所述初始步态参数以及初始步态参数的统计处理数据，生成处理后的步态参数的分析图谱，完成基于RGBD视频数据的实时步态分析。2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，采用深度学习方法对实时图像进行人体各关节二维关键点提取，并通过RGBD三维重构技术获得人体各关节关键点三维坐标，包括：S11：提取所述实时图像的浅层特征和深层特征，获得一组特征图；对所述特征图通过两分支多阶段CNN进行分支预测，获得预测结果；S12：根据预测结果生成图像中人的2D关键点；通过RGBD三维重构技术，根据同一场景下深度图与彩色图的映射关系获取人体各关节关键点三维坐标。3.根据权利要求2所述的方法，其特征在于，所述步骤S11中，提取所述实时图像的浅层特征和深层特征，获得一组特征图；对所述特征图通过两分支多阶段CNN进行分支预测，获得预测结果，包括：使用VGG
‑
19提取所述实时图像的浅层特征和深层特征，得到一组特征图；生成身体部位置信度图和二维向量亲和度图，对于得到的特征图，使用两分支多阶段CNN，其中一个分支预测一组身体部位位置的2D置信度图；另一个分支预测一组二维向量场的部分亲和度，它对身体部位之间的关联程度进行编码。4.根据权利要求1所述的方法，其特征在于，所述步骤S2中，根据人体关键点坐标计算初始步态参数，对采集到的初始步态参数进行数据统计处理，获得统计处理数据，包括：S21：利用提取出的人体关键点，计算反应人行走时的姿态和行为特征的初始步态参数；所述初始步态参数包括：关节角度及关节之间的距离信息；S22：对初始步态参数进行筛选，去除初始步态参数中值为空以及置信度低的数据点；S23：对于筛选后的步态参数进行插值并据此计算...
【专利技术属性】
技术研发人员：班晓娟，杨雪元，姚超，孙金胜，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。