一种基于增强现实技术和姿态识别技术的肢体康复方法技术

本发明专利技术一种基于增强现实技术和姿态识别技术的肢体康复方法，属于智能肢体康复技术领域，图像采集单元实时采集被试者的肢体动作，并通过姿态识别技术提取出被试者的骨骼关键点信息；通过姿态识别技术对被试者骨骼关键点信息进行实时识别，提取标准的肢体康复动作的骨骼关键点信息并进行特征的提取、形成康复动作特征库；通过姿态特征比对算法，实时对被试者的康复动作进行比对，并把比对结果进行评估；通过通信单元把评估结果从计算单元发送到显示单元完成信息反馈。本发明专利技术通过姿态识别技术和增强现实技术辅助使用者完成康复训练。术和增强现实技术辅助使用者完成康复训练。术和增强现实技术辅助使用者完成康复训练。

【技术实现步骤摘要】
一种基于增强现实技术和姿态识别技术的肢体康复方法


[0001]本专利技术属于智能肢体康复
，尤其涉及基于增强现实技术和姿态识别技术的肢体康复方法。

技术介绍

[0002]“康复”一词提出于医学界，按照世界卫生组织的定义，康复就是综合利用各种有效的科学理论、方法和技术手段，促使身心障碍者最大限度地恢复或重建其活动能力、生活自理能力以及职业劳动等社会参与能力。康复医学是现代医学“预防、临床治疗、康复”三位一体的重要组成部分，随着康复领域的不断研究和深入，康复的概念已经成为一个专门的学科。康复科学是以主动、积极和针对性的康复措施恢复患者功能障碍的学科，以消除和减轻人的功能障碍，弥补和重建人的功能缺失，设法改善和提高人的各方面功能为出发点，对相关功能障碍进行预防、诊断、评估、治疗、训练和处理。据统计，全国每年需要肢体康复人群大概3500万人，每年用于患者治疗康复的住院费、护工费、医药费以及其他各项相关的社会福利事业开支数目巨大，康复装备供应和临床需求存在巨大缺口。另外，现有肢体康复设备昂贵、个人承担不起专门的康复费用，康复设备的用户体验不好、导致患者不能坚持康复训练，造成康复效果差等很多矛盾，应市场需求，肢体康复己经成为现代康复医疗工程研究的热点。
[0003]传统肢体康复主要是康复训练师对患者进行一对一、手把手的训练，或者是利用康复医疗器械进行训练，存在很多问题。首先，人工训练或者器械训练强度不高，很难深刻影响中枢神经系统可塑性，这导致训练效果不理想。其次，由于主观性很强，很难对康复治疗方案的治疗效果进行客观评估，对进一步的深入研究神经康复规律不利；再次，由于需要进行康复训练的病人较多，这种人工训练往往难以满足数量和质量上的要求，这也导致了部分患者放弃康复训练，采取在家自我锻炼的方式，但往往难以取得较好的效果。针对传统的康复训练存在的问题，全球学者都积极地研究应用于康复训练的创新理论、方法和手段。增强现实技术发展与应用改善传统康复手段的效果，体感技术的融入更是提升了增强现实技术在肢体运动康复中的效果，两种技术的融合是以后肢体康复发展的一个重要方向。
[0004]增强现实技术是一种结合了计算机图形学、多媒体技术、人工智能、传感技术、人机接口技术以及计算机仿真技术的新兴
在康复医疗方面，其交互性、沉浸性、构想性的特征使其具有巨大的应用潜力。肢体康复目前的康复过程过于单调、乏燥，患者很难产生兴趣，因此康复效果不理想。另外一个方面，患者在身体运动机能患有障碍的同时，也会存在着巨大的心理上的障碍。单纯的康复手段虽然能够很好的解决生理障碍，但对心理障碍的解决却显得捉襟见肘。将虚拟现实技术应用于康复工程，可以使虚拟环境与治疗相结合，使患者置身于虚拟环境之中，增加治疗过程中的乐趣，提高患者乐观情绪，可以利用生理治疗与心理引导相结合的方式，通过声音、语言、文字等的沉浸对患者进行多样化的心理提示和诱导，充分调动患者的精神作用，从而达到强化生理治疗的作用。体感技术是指人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设
备，便可让人们身临其境地与内容做互动的一种技术。技术本身可分为通过体感传感器实现的人体姿态信息的提取方式，例如通过Kinect、Leapmotion等；一种是以深度学习方式通过普通摄像头提取人体姿态的方式，例如通过 Pytorch
‑
OpenPose、MobilePose、Lightweight OpenPose等框架即可实时提取人体的姿态信息。体感技术在虚拟现实、增强现实中的应用，使人机交互方式更为自然和快捷，因此将虚拟现实技术与体感技术应用于康复领域，能充分调动患者的主观能动性，是一种极有前景的技术形式。所以我们研究把体感技术和虚拟仿真技术融合在一起为用户提供廉价、体验好的肢体康复训练系统。
[0005]就目前行业推出AR设备来看，一般特征是拥有半透明的镜片用于观察现实，同时还能兼顾投影虚拟世界的影像。2006年，美国普渡大学虚拟现实实验室耗时3年虚拟重现了911事件，精确计算出撞击后产生的数以万计的碎片走向对于决策预案的矫正起到积极作用。北京华锐视点数字科技有限公司2015年推出虚拟消防演练系统，构建出一个具有信息显示、消防展厅、消防演练、灭火救援、火势评估等功能的消防安全应急虚拟系统。虚拟现实环境与体感技术的融合研究近几年主要集中在体感游戏和康复运动的研究，使用体感设备将生理数据实时地体现在可视化虚拟场景中，增强虚拟仿真的沉浸感，提升用户体验。陈浩等人针对老年人上肢运动设计了一个针对老年人的体感交互乒乓球游戏，采用智能体理论建立了虚拟人的情绪推理规则，从而实现虚拟人用表情和语音提示来反馈用户的操作结果。体感设备把人们之前的体感交互信息输入从二维提升到三维，许多研究者开始研究基于深度信息的人体姿态评估方法并取得了显著的成就，主要是从时间维度上研究基于三维深度图像序列的动作识别。OREIFE O等人通过对深度图像序列直方图的分析进行深度图像的分割和特征识别，时间复杂度低并取得了比较好的效果。孟明等人引入并改进ViBe算法处理深度图像进行人体运动检测，采用阈值法对分类结果进行了误检点消噪处理并取得了较好的效果。还有部分学者使用提取出来的人体骨骼关键点信息，用关节点的信息作为人体的特征表达，能提供更具鉴别性和直观性的特征。合理的力反馈算法亦是虚拟手术仿真系统的关键技术之一，力触觉反馈技术能够让医生感受到交互过程中的真实的触觉感受，增强了交互体验的沉浸感。
[0006]综上，体感技术与增强现实技术结合的肢体运动康复尚无成熟产品。建立一个现实与虚拟情境交融的肢体康复实际训练场，实现两者实时高效的交互，对参与康复的个体完成跟踪评估是康复设备未来发展方向。本专利通过爱普生BT
‑
300AR智能眼镜作为虚拟影像和反馈结果的显示载体，通过设计的人体姿态估计方法对被试者的康复动作进行实时识别，把拍摄的康复动作图像、计算的康复动作评估结果通过眼镜实时反馈到被试者眼前，融入预先设计的虚拟图像，形成虚实结合的镜像康复过程。

技术实现思路

[0007]本专利技术目的在于提供一种基于增强现实技术和姿态识别技术的肢体康复方法，以解决上述
技术介绍
中提到的技术问题。
[0008]为实现上述目的，本专利技术的基于增强现实技术和姿态识别技术的肢体康复方法的具体技术方案如下：
[0009]一种基于增强现实技术和姿态识别技术的肢体康复方法，包括以下步骤，且以下步骤顺次进行：
[0010]1)通过图像采集单元实时采集被试者的肢体动作信息及周围场景信息；
[0011]2)通过姿态识别技术对被试者骨骼关键点信息进行实时识别；
[0012]3)提取标准的肢体康复动作的骨骼关键点信息并进行特征的提取、形成康复动作特征库；
[0013]4)通过姿态特征比对算法，实时对被试者的肢体康复动作进行比对，并把比对结果进行评估；
[0014]5)通过通信单元把评估结果及虚拟对象信息从计算单元发送到显示单元；
[0015]6)被试者通过显本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实技术和姿态识别技术的肢体康复方法，其特征在于，包括以下步骤，且以下步骤顺次进行：1)通过图像采集单元实时采集被试者的肢体动作信息及周围场景信息；2)通过姿态识别技术对被试者骨骼关键点信息进行实时识别；3)提取标准的肢体康复动作的骨骼关键点信息并进行特征的提取、形成康复动作特征库；4)通过姿态特征比对算法，实时对被试者的肢体康复动作进行比对，并把比对结果进行评估；5)通过通信单元把评估结果及虚拟对象信息从计算单元发送到显示单元；6)被试者通过显示单元实时接收评估信息，计算单元进行实时的虚拟场景与真实场景的交互计算，图像采集单元通过通信单元实时接收计算单元的反馈结果。2.根据权利要求1所述的基于增强现实技术和姿态识别技术的肢体康复方法，其特征在于，所述步骤1)图像采集单元是与计算单元连接的一个AR眼镜，通过AR眼镜实时采集被试者的康复肢体动作信息和被试者周围场景内的信息。3.根据权利要求1所述的基于增强现实技术和姿态识别技术的肢体康复方法，其特征在于，所述步骤2)骨骼关键点的识别是通过热力图和神经网络通过训练得到模型，具体步骤如下：首先对带有完整肢体的图像进行热力图标注，被标注图像的采集通过摄像头拍摄完整的人体，每一个肢体康复动作需要从不同方向进行逐一拍摄；热力图进行标注的时候需要对所有骨骼关键点进行统一编码；其次对输入的肢体图片进行缩放，统一缩放，输出是带有所有标注的骨骼关键点高斯热图；最后把热力图输入到训练网络中进行训练，得到人体骨骼关键点热力图提取模型。4.根据权利要求1所述的基于增强现实技术和姿态识别技术的肢体康复方法，其特征在于，步骤3)具体包括以下步骤，且以下步骤顺次进行：(1)数据提取，将标准肢体康复动作视频图像以一定频率截取，将截取的视频图像生成骨骼关键点图；利用归一化和平移操作，得到标准统一化的骨架关键节点图；(2)数据预处理，分别对骨架关键点节点图中的每个节点在不同时间段的运动变化状态进行分析，生成骨骼关键点时序状态图，对节点时序状态图使用激活函数和高斯滤波算法进行阈值处理；(3)数据处理，去除节点时序状态图中无变化部分，只保留节点在不同时间下的变化状态，生成骨骼关键点时序变化三维数据；(4)将三维骨骼关键点时序变化特征数据存入文件中，作为标准康复动作特征。5.根据权利要求1所述的基于增强现实技术和姿态识别技术的肢体康复方法，其特征在于，所述步骤4)具体包括以下步骤，且以下步骤顺次进行：(1)使用改进的DTW时间序列相似性匹配算法SED_DTW算法对姿态特征进行比对；(2)获取被试者的节点时序变化特征图，通过SED_DTW算法计算被试者节点时序变化特征图与预设标准康复动作库中的节点时序变化特征图的相似度距离，距离越小，表明相似度越高。
6.根据权利要求1所述的基于增强现实技术和姿态识别技术的肢体康复方法，其特征在于，所述步骤5)通信单元是增强现实眼镜与计算单元进行通信的单元，采用普通无线路由器作为通信单元和计算单元的桥梁...

【专利技术属性】
技术研发人员：肖治国，李念峰，鲁光男，李强，王玉英，王春湘，丁天娇，于桦，杨永吉，
申请(专利权)人：长春大学，
类型：发明
国别省市：