一种基于VIO系统的下肢外骨骼运动模式预测方法及系统技术方案

本发明专利技术涉及一种基于VIO系统的下肢外骨骼运动模式预测方法及系统，预测方法包括根据输入的深度相机视野内环境信息和运动信息预估用户状态信息，并构建三维点云模型图，通过从深度相机当前视角下的深度图中提取平面信息映射至三维点云模型图上构建地形信息，并结合用户状态信息来判断用户当前所处的地形，精准预测下肢外骨骼的运动模式并发送切换指令。系统包括视觉集成穿戴模块、下肢传感模块以及VIO系统运算模块，分别用于收集视觉运动数据、步态循环阶段和执行外骨骼运动模式预测方法的步骤。本发明专利技术可以有效解决对地形识别精度不足，用户定位、运动状态估计不准确的问题，从而实现对下肢外骨骼运动模式的切换状态进行精确预测。确预测。确预测。

【技术实现步骤摘要】
一种基于VIO系统的下肢外骨骼运动模式预测方法及系统


[0001]本专利技术涉及下肢外骨骼运动
，具体涉及一种基于VIO系统的下肢外骨骼运动模式预测方法及系统。

技术介绍

[0002]为方便日常出行，生活场所中存在大量建设好的平地、楼梯、斜坡等地形。通过不同的发力和平衡控制方式，健康人可以自由顺畅地在这些地形之间运动。但是截肢、神经损伤、肌肉萎缩等下肢功能障碍使病人失去了行走能力，造成了极大的生活不便。受人行走发力方式的启发，下肢假肢、外骨骼等设备被广泛用来辅助下肢病人进行日常行走。为适应日常生活中的多种地形，上述设备通常保存许多预设的运动模式。因此如何检测用户状态并进行协同运动成为了下肢外骨骼的主要发展方向。
[0003]目前，下肢外骨骼等设备获取用户状态主要使用两类传感器，用户状态检测传感器和环境信息检测传感器。用户状态检测传感器主要包括惯性测量单元(InertialMotionUnit，IMU)、肌电信号(Electromyography，EMG)和脑电信号(electroencephalogram，EEG)等。环境检测传感器主要包括激光雷达、深度相机等。用户状态检测传感器可以直接获取用户状态，但缺乏预测功能；环境信息检测传感器具备预测潜力，但只能粗略估计或使用用户状态检测传感器检测状态。目前的研究及工程开发方向主要集中于使用上述传感器对地形步态进行分类，或利用一些预设参数，如固定环境采集视角等，对步态进行预测，从而实现对下肢外骨骼运动模式切换的指导。
[0004]但是上述方式用于下肢外骨骼运动模式精确切换时刻的预测仍会存在偏差，如检测延迟、状态估计误差等。因此本专利技术基于视觉惯性里程计(Visual
‑
InertialOdometry，VIO)对用户状态进行精确估计，通过构建环境地形信息精确预测下肢外骨骼运动模式。

技术实现思路

[0005]本专利技术的目的是提供一种基于VIO系统的下肢外骨骼运动模式预测方法及系统，以解决现有技术中对用户运动状态估计精度较低，用户运动和地形信息关联不足，并最终导致下肢外骨骼运动模式预测精度不高的问题。
[0006]为实现上述目的，本专利技术采取以下技术方案：
[0007]本专利技术提供一种基于VIO系统的下肢外骨骼运动模式预测方法，包括：
[0008]获取深度相机视野内环境信息和运动信息，基于VIO系统输入环境信息和运动信息预估用户状态信息，并对深度相机周围的场景进行三维点云模型图构建；
[0009]从深度相机当前视角下的环境信息中提取平面信息，将平面信息映射至三维点云模型图上重构地形，并结合用户状态信息在三维点云模型图上对用户当前的落脚点进行投影，判断用户当前所处的地形；
[0010]结合用户状态信息和用户当前所处的地形，判断用户未来一段时间内的落脚点，并预测下肢外骨骼的运动模式。
[0011]进一步地，还包括三维点云模型图的构建方法：VIO系统根据输入的环境信息和运动信息初始化世界坐标和用户的位姿，并计算深度相机时序上的关键帧，利用多个关键帧集合成点云数据，通过点云数据构建并更新深度相机周围场景的三维点云模型图。
[0012]进一步地，还包括环境信息和运动信息的获取方法：环境信息的获取包括通过深度相机获取一定数量的相机彩色图和深度图，运动信息的获取包括采用深度相机上固定的惯性测量单元获取用户的运动数据，其中，运动数据包括深度相机运动的加速度和角速度。
[0013]进一步地，用户状态信息包括用户的位姿、速度以及通过从用户足部测量压力的方式获取用户在步行循环中的运动阶段。
[0014]进一步地，还包括地形信息的构建方法：从深度相机当前视角下的深度图中提取并更新平面信息，将提取的平面信息映射至三维点云模型图上与已有的平面信息进行重合度匹配，根据匹配的平面信息重构并更新地形。
[0015]进一步地，还包括平面信息的提取方法：对深度相机当前视角下的深度图依次进行平面分割和过滤得到完整平面，从完整平面中提取平面信息并将其存储，其中，平面信息包括平面面积、平面中心点坐标以及平面法向量值。
[0016]一种下肢外骨骼运动模式预测的系统，包括视觉集成穿戴模块、下肢传感模块以及VIO系统运算模块；
[0017]所述视觉集成穿戴模块包括深度相机和固定在深度相机上的惯性测量单元，所述深度相机用于采集一定数量的相机彩色图和深度图，所述惯性测量单元用于检测用户运动时的用户的运动数据，运动数据包括深度相机运动的加速度和角速度；
[0018]所述下肢传感模块为压力鞋垫，所述压力鞋垫用于通过从用户足部测量压力的方式获取用户在步行循环中的运动阶段；
[0019]所述视觉集成穿戴模块和所述下肢传感模块的信号输出端分别与所述VIO系统运算模块的信号输入端相连接，用于并被配置为执行权利要求1
‑
6任意一项所述的下肢外骨骼运动模式预测方法的步骤。
[0020]进一步地，所述VIO系统运算模块包括传感和建图单元、平面提取和地形重构单元以及下肢外骨骼运动模式预测单元；
[0021]所述传感与建图单元用于获取深度相机视野内环境信息和运动信息，并通过输入的环境信息和运动信息预估用户状态信息，同时对深度相机周围的场景进行三维点云模型图构建；
[0022]所述平面提取和地形重构单元用于从深度相机当前视角下的环境信息中提取平面信息，将平面信息映射至三维点云模型图上重构地形，并结合用户状态信息在三维点云模型图上对用户当前的落脚点进行投影，判断用户当前所处的地形；
[0023]所述下肢外骨骼运动模式预测单元用于结合用户状态信息和用户当前所处的地形，判断用户未来一段时间内的落脚点，并预测下肢外骨骼的运动模式。
[0024]本专利技术由于采取以上技术方案，其具备以下有益效果：
[0025]基于VIO系统输入深度相机视野内环境信息和运动信息，完成VIO系统初始化、建图、地形重构等工作，通过从深度相机当前视角下的深度图中提取平面信息映射至三维点云模型图上构建地形信息，来判断用户当前所处的地形，并结合预估的用户状态信息，精准预测下肢外骨骼的运动模式并发送切换指令。本专利技术可以解决对地形识别精度不足，用户
运动状态估计不准确，运动模式切换时机判断不准确等问题，并且对不同穿戴者、不同穿戴位置、不同传感硬件、不同助力硬件具有较强的兼容性。
附图说明
[0026]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：
[0027]图1是本专利技术实施例提供的一种下肢外骨骼运动模式预测方法的流程示意框图；
[0028]图2是本专利技术实施例提供的一种下肢外骨骼运动模式预测系统的整体结构示意框图；
[0029]图3是本专利技术实施例提供的一种下肢外骨骼运动模式预测系统的VIO系统运算模块的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VIO系统的下肢外骨骼运动模式预测方法，其特征在于，所述下肢外骨骼运动模式预测方法包括：获取深度相机视野内环境信息和运动信息，基于VIO系统输入环境信息和运动信息预估用户状态信息，并对深度相机周围的场景进行三维点云模型图构建；从深度相机当前视角下的环境信息中提取平面信息，将平面信息映射至三维点云模型图上重构地形，并结合用户状态信息在三维点云模型图上对用户当前的落脚点进行投影，判断用户当前所处的地形；根据用户状态信息和用户当前所处的地形，判断用户未来一段时间内的落脚点，并预测下肢外骨骼的运动模式。2.根据权利要求1所述的一种基于VIO系统的下肢外骨骼运动模式预测方法，其特征在于，还包括三维点云模型图的构建方法：VIO系统根据输入的环境信息和运动信息初始化世界坐标和用户的位姿，并计算深度相机时序上的关键帧，利用多个关键帧集合成点云数据，通过点云数据构建并更新深度相机周围场景的三维点云模型图。3.根据权利要求2所述的一种基于VIO系统的下肢外骨骼运动模式预测方法，其特征在于，还包括环境信息和运动信息的获取方法：环境信息的获取包括通过深度相机获取一定数量的相机彩色图和深度图，运动信息的获取包括采用深度相机上固定的惯性测量单元获取用户的运动数据，其中，运动数据包括深度相机运动的加速度和角速度。4.根据权利要求3所述的一种基于VIO系统的下肢外骨骼运动模式预测方法，其特征在于：用户状态信息包括用户的位姿、速度以及通过从用户足部测量压力的方式获取用户在步行循环中的运动阶段。5.根据权利要求3所述的一种基于VIO系统的下肢外骨骼运动模式预测方法，其特征在于，还包括地形信息的构建方法：从深度相机当前视角下的深度图中提取并更新平面信息，将提取的平面信息映射至三维点云模型图上与已有的平面信息进行重合度匹配，根据匹配的平面信息重构并更新地形。6.根据权利要求5...

【专利技术属性】
技术研发人员：阮乐成，周志浩，赵顺意，余泽寰，王启宁，
申请(专利权)人：北京通用人工智能研究院，
类型：发明
国别省市：