光学和惯性体感数据融合的变电仿真人体运动捕捉方法技术

本发明专利技术涉及变电站仿真培训技术，具体是一种光学和惯性体感数据融合的变电仿真人体运动捕捉方法。本发明专利技术解决了现有运动捕捉系统数据处理算法复杂、计算量大、当标记点混淆或被遮挡时无法工作、无法进行人体定位和累计误差控制的问题。光学和惯性体感数据融合的变电仿真人体运动捕捉方法，该方法包括如下步骤：1)通过Kinect体感设备和惯性传感器各获取一组人体运动数据；2)利用卡尔曼滤波算法对两组人体运动数据进行数据融合，由此得到高质量的人体骨架模型；3)提取人体运动特征识别动作，然后驱动变电仿真虚拟环境中的虚拟人完成相应的动作。本发明专利技术适用于变电站仿真培训。

【技术实现步骤摘要】

本专利技术涉及变电站仿真培训技术，具体是一种光学和惯性体感数据融合的变电仿 真人体运动捕捉方法。
技术介绍
变电站是电力系统的重要组成部分，随着其自动化程度的提高，对运行维护人员 也提出了更高的要求。由于电力系统的特殊性，不能直接通过操作实际运行中的电力设备 来进行培训，因此进行仿真培训就很有必要。变电站培训仿真系统(Transformer Training Simulator)是变电站培训的一种有效手段，是对理论学习和现场实践学习的改进和补充。 目前的变电站仿真培训软件主要以接线图、设备照片和现场录像方式等常规多媒体方式作 为表现手段，其真实感、临场感和表现力都有待改进。由于变电站关键设备复杂、运行安全 性要求高，运行维护人员要在较短的时间内掌握操作规程有很大难度。 虚拟现实技术作为一种信息传递与交流的手段，可以直观、逼真地为用户提供设 备的结构、操作规程、异常表现等可视化信息。虚拟现实软件和硬件技术的迅速发展为其在 培训方面的应用提供了基本条件和有力保障。采用虚拟现实技术和计算机仿真技术构建合 适的可视化虚拟训练环境，代替物理样机进行训练，可有效克服利用实际设备进行培训所 带来的时间、场地和安全性上的限制，避免训练成本高和样机易损坏等弊端。随着虚拟现实 (VR)技术的发展，采用VR技术为变电站仿真系统构造虚拟环境，将大大提高变电站场景的 真实感和沉浸感，为变电站仿真培训工作带来飞跃。通过虚拟现实技术构建出逼真的变电 站三维场景及生产施工环境，通过虚拟化身在虚拟环境下完成动作进行任务训练，由沉浸 感环境充分体现变电站工作的难度和危险性，以此提高受训人员在复杂现场正确操控的能 力，强化受训人员操控技能，提升受训人员的专业水平和心理适应能力，提高应对复杂危险 工作时的效率，缩短上岗适应期。 沉浸式虚拟现实系统中，人体动作的识别和跟踪是人机交互的核心问题。运动捕 捉系统是一种用于准确测量运动物体在三维空间运动状况的高技术设备。运动捕捉 (motion capture)在国内也称动作捕捉，是一个通过在时域上跟踪一些关键点的运动来记 录生物运动，然后将其转换成可用的数学表达并合成一个单独的3D运动的过程。20世纪80 年代，西蒙?弗雷泽大学（Simon Fraser University)的教授Calvert等人、麻省理工学院 (MIT)的Carol等人以及学者Robertson和Walters对运动捕捉技术进行了深入的研究，推动 了该技术的发展。20世纪90年代，以Tardif等人为代表的学者进一步推动了运动捕捉技术， 使得该技术日趋发展成熟。运动捕捉技术取得了突飞猛进的发展，商业化的运动捕捉设备 相继被推向市场，已被广泛应用于游戏、动画、人体工程学研究、模拟训练、虚拟现实等研究 领域。 近年来，运动捕捉技术在训练和教育项目中得到了广泛的应用。冯利正等人分析 了运动捕捉技术在现代体育运动中的作用，提出可将该技术用于捕捉人体运动数据、运动 监控、技术诊断与分析、辅助裁判裁决、运动康复等方面，但未给出具体的应用实例。陈健等 人对采用运动捕捉技术获取运动的关键参数、对技术动作进行量化分析的方法进行了介 绍，并以刘翔的跨栏训练、高尔夫球辅助训练系统（GTRS-1)和举重运动为例加以说明。 Wright对利用运动捕捉技术进行高尔夫教学训练作了详细的调查研究，为教练及该领域研 究人员提供了理论参考。运动捕捉技术在其他训练和教学方面的应用研究主要有Covaci等 人利用运动捕捉技术开发了一个虚拟的篮球训练系统，用户可在没有教师的情况下学习投 篮训练课程;张晓丽将运动捕捉技术应用到了消防模拟训练，介绍了利用运动捕捉技术进 行消防模拟训练的方法，并给出了基于运动捕捉技术的虚拟消防员在油罐灭火救援仿真训 练中的应用案例。 从已有的研究情况来看，使用最多的是光学式运动捕捉设备，以Vicon(维康）、 Motion Analysis(魔神）、Polhemus和3DSuit公司的产品居多。由于设备精密复杂，专业性 强，基于光学的大范围运动捕捉系统造价高达几十万至数百万，沉浸式虚拟现实系统的应 用推广往往受限于价格高昂的动作捕捉设备。 美国微软公司在2010年11月推出了基于光学的体感游戏控制器Kinect。体感技术 的出现，被称为人机交互的革命。Kinect配备有三个镜头，中间的镜头是RGB VGA摄像头，左 右两边镜头则分别为红外线发射器和红外线CMOS摄像头所构成的3D深度感应器。另外， Kinect还带有一个马达，可以调整摄像头的上下角度，以适应不同的应用场合。传统的摄像 机仅能获取物体的RGB信息，而深度摄像机在获取色彩信息的同时，通过发射红外线，获取 往返的相位差获取深度信息。Kinect采用的是结构光技术的一种变种。 Dimitrios Alexiadis，Petros Daras等人将Kinect应用于舞蹈动作评估及编辑 系统，通过将演员骨骼关节点运动与事先记录的奥运冠军的骨骼关节点运动进行对比，来 指导纠正演员的舞蹈动作。John Stowers、Michael Hayes等人凭借Kinect可以廉价、精确 的获取物体在三维空间中位置信息的功能，将其用来控制小型环境探测飞机的高度，并取 得了较好的效果。K.Lothrop等利用获取的深度信息进行人体与背景的分割，可进行手语的 翻译。M.Skubic等人利用Kinect对老人进行监护，通过骨骼跟踪和深度图像的分割获取监 护老人的步伐数据，包括步长、步速、走路时间。广东电网有限责任公司教育培训评价中心 的陈永波研究了基于Kinect体态识别的场景漫游技术，实现了虚拟人物在仿真场景中的漫 游和转向控制。但Kinect的最佳捕捉范围在2-3.5m的范围内，动作识别率较高，在此范围之 外识别率急剧下降；同时kinect体感捕捉交互技术在手势和肢体旋转识别方面还存在一些 不足，识别的精度与速度也有待提高。随着技术的发展，在机械电动式的基础上出现了微传感器，它采用MEMS (Microelectro Mechanical Systems，微机电系统)技术，集成传感器和执行器等器件，灵 敏度高、误差小、价格低。将它放置在人体待测部位，配合无线传感器网络技术能可靠地获 取人体运动的全面数据。无线微传感器运动获取系统能够很好的突破光学动作捕捉系统的 缺点，为获取人体运动信息提供一种新的解决方案。惯性人体动作捕捉技术借助无线传感 器网络，人体的运动形式将更加丰富，极大地摆脱了光学器件对人体的约束，将获取更加全 面的人体运动数据。在基于惯性传感器的人体运动捕捉方面，2011年，北京理工大学的刘博开展了基 于惯性传感器动作捕捉系统开发设计;2012年，南京大学徐经炜开展了基于无线传感器的 人体行为识别研究；2013年山东大学李路进行了基于多传感器的人体运动模式识别研究； 2013年上海交通大学郭志虎进行了基于微惯性全姿态测量人体运动捕捉系统研究。惯性传 感器中的磁力计和加速度计在测量重力场和磁场的同时会受到高频随机噪声的干扰，此外 信号在测量和传输过程中也会有不同程度的脉冲噪声产生。陀螺仪主要用来测量载体的角 速度，积分运算中的误差会得到累积。 综上所述，目前应用广泛本文档来自技高网...

【技术保护点】
一种光学和惯性体感数据融合的变电仿真人体运动捕捉方法，其特征在于：该方法包括如下步骤：1)通过Kinect体感设备和惯性传感器各获取一组人体运动数据；2)对获取的两组人体运动数据进行时间对准和空间重投影，并利用卡尔曼滤波算法对两组人体运动数据进行数据融合，由此得到高质量的人体骨架模型；3)基于得到的人体骨架模型，计算关节相对角度、相对位置和运动速度，并提取人体运动特征识别动作，然后驱动变电仿真虚拟环境中的虚拟人完成相应的动作。

【技术特征摘要】

【专利技术属性】
技术研发人员：霍宇平，李兵，张秀娥，马霄龙，
申请(专利权)人：国网山西省电力公司技能培训中心，
类型：发明
国别省市：山西;14