混合现实全息头显四肢和脊柱运动康复系统及方法技术方案

本发明专利技术公开了一种混合现实全息头显四肢和脊柱运动康复系统及方法，系统包括：四肢及脊柱关节运动数据采集模块，采用体感设备；游戏场景图像引擎模块，采用Unity引擎；人机交互模块，采用混合现实全息头显设备；数据处理及反馈模块，采用PC计算机；采集模块采集追踪患者的四肢及脊柱骨骼关节位置及状态的运动数据，并传输至数据处理及反馈模块，经运动学算法处理所述采集运动数据，反馈至图像引擎，由图像引擎在所述人机交互模块采用的混合现实全息头显设备混合现实场景中产生游戏动态效果。本发明专利技术主要利用混合现实技术为是患者在康复评估和训练过程中并未与周围的真实世界相分离，提高患者的积极性，使被动训练变成主动训练。

The rehabilitation system and method of mixed reality holographic head display for limbs and spine movement

【技术实现步骤摘要】
混合现实全息头显四肢和脊柱运动康复系统及方法
本专利技术涉及康复医学中的虚拟现实技术，特备是涉及到一种混合现实全息头显四肢和脊柱运动康复系统及方法。
技术介绍
虚拟现实技术目前已经成为多种康复新技术的基础整合平台。虚拟现实技术是将人体置于一个虚拟出来的环境当中，随着技术的演进，虚拟现实技术被发展具有很强的兼容性，可以轻易的整合众多的检测技术和治疗技术，并且改变了以前的治疗模式，使得患者在训练的同时可以边练边评估。借助这个平台，以前专业性极高、操作极复杂的康复评估及康复治疗被傻瓜化了。预计未来虚拟现实设备将成为康复新技术的生力军，虚拟现实成为运动障碍康复手段。为了让康复训练更加便捷，人们将虚拟现实(VirtualReality，简称VR)技术引入康复训练领域。虚拟现实技术是由计算机构造一个与真实场景类似的虚拟环境，用户通过穿戴多种传感器设备，能让自身完全沉浸在虚拟的环境中，并能够实现与虚拟环境进行交互。基于虚拟现实的下肢康复还能带给用户实时的视觉、听觉等反馈，增加训练的兴趣，提高了用户参与康复训练的积极性和主动性。虽然虚拟现实技术能够模拟真实世界，但是构造的虚拟环境与真实场景完全分离。混合现实技术是将真实世界和虚拟世界混合在一起，来产生新的可视化环境，环境中同时包含了物理实体与虚拟信息，并允许用户与在真实世界中一样的方式与数字信息或对象进行交互，从而将环境将变得更加丰富且更接近现实，与其他虚拟现实技术相比，虚拟现实是纯虚拟数字画面，增强是虚拟数字画面加上裸眼现实，混合现实是通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
技术实现思路
根据上述提出现有技术针对四肢及脊柱康复训练在虚拟环境中脱离了现实环境的问题，而提供一种应用混合现实技术的四肢及脊柱运动康复评估及训练系统及方法。本专利技术采用以下技术方案：一种混合现实全息头显四肢和脊柱运动康复系统，包括：四肢及脊柱关节运动数据采集模块，采用体感设备；游戏场景图像引擎模块，采用Unity引擎；人机交互模块，采用混合现实全息头显设备；数据处理及反馈模块，采用PC计算机；所述四肢及脊柱关节运动数据采集模块采集追踪患者的四肢及脊柱骨骼关节位置及状态的运动数据，并传输至数据处理及反馈模块，经运动学算法处理所述采集运动数据，反馈至图像引擎，由图像引擎在所述人机交互模块采用的混合现实全息头显设备混合现实场景中产生游戏动态效果。所述体感设备追踪患者的骨骼关节动作状态，并且不用穿戴额外的其他部件。所述混合现实全息头显设备为无线设备，不需要连接与外部连接线缆，所创造的混合现实环境使身处其中的患者并未与周围的真实世界相分离，患者可以以更加自然的方式与真实世界及虚拟物体进行人机交互完成康复评估和训练。所述数据处理及反馈模块还包括用户服务模块，所述用户服务模块用于录入患者和所属医师的基础信息，用以患者登录系统运动并记录存储运动数据对患者进行评估并向患者给出康复建议。患者及医师可登录相应账号，根据账户权限，远程实时查看相应训练数据及评估结果。所述运动数据包括患者使用系统运动的时间、四肢及脊柱运动位移，次数，速度及力量。所述混合现实全息头显设备中有不同运动康复训练场景，所述运动康复训练场景依据患者康复阶段设置不同的难度阶段，所述难度阶段由动作幅度决定，由医师指导患者依据康复阶段进行选择。本专利技术还提供了一种混合现实全息头显四肢和脊柱运动康复训练方法，包括如下步骤：步骤S1：安装部署好四肢及脊柱追踪的体感设备，使体感设备可以正确追踪患者的骨骼关节位置及运动状态，并将采集的信息数据传输至数据处理及反馈模块。步骤S2：数据处理及反馈模块通过运动学算法计算评估患者，同时评定患者动作是否符合难度阶段的动作幅度标准，若达到难度阶段的动作幅度标准，所述数据处理及反馈模块反馈数据至图像引擎并在所述混合现实全息头显混合现实环境中产生动态效果，生成虚拟武器攻击混合现实场景中的虚拟生物。步骤S3：若患者完成了所述混合现实全息头显设备中选定的运动康复训练场景所设定的阶段训练目标，则当前康复训练难度阶段完成，后续可依据医嘱进行其他难度阶段的训练。步骤S4：患者及医师可登录相应账号，根据账户权限，远程实时查看相应训练数据及评估结果。有益效果本专利技术主要利用混合现实技术为是患者在康复训练过程中并未与周围的真实世界相分离，能够在场景中看到自己真实的肢体，同时可以以更加自然的方式与真实世界及虚拟物体进行人机交互，并为下肢康复训练提供了可以反复进行的运动，以日常生活中熟悉动作为基础，增加治疗的趣味性，提高患者参与康复训练的积极性，使得原来被动训练变成主动训练。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术系统流程图。图2是本专利技术的第一实施例的流程图。图3为本专利技术追踪四肢及脊柱关节运动状态图。图4位本专利技术混合现实场景示例。具体实施方式以下将配合附图及实施例来详细说明本申请的实施方式，由此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD－ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果本文档来自技高网...

【技术保护点】
1.一种混合现实全息头显四肢和脊柱运动康复系统，其特征在于：包括：/n四肢及脊柱关节运动数据采集模块，该采集模块采用体感设备；/n游戏场景图像引擎模块，采用Unity引擎；/n人机交互模块，采用混合现实全息头显设备；/n数据处理及反馈模块，采用PC计算机，所述体感设备使用有线电缆连接PC计算机进行数据通讯，混合现实全息头显设备使用无线网络与PC计算机进行数据通讯；/n所述四肢及脊柱关节运动数据采集模块采集追踪患者的四肢及脊柱骨骼关节位置及状态的运动数据，并传输至数据处理及反馈模块，经运动学算法处理所述采集运动数据，反馈至图像引擎，由图像引擎在所述人机交互模块采用的混合现实全息头显设备混合现实场景中产生游戏动态效果。/n

【技术特征摘要】
1.一种混合现实全息头显四肢和脊柱运动康复系统，其特征在于：包括：
四肢及脊柱关节运动数据采集模块，该采集模块采用体感设备；
游戏场景图像引擎模块，采用Unity引擎；
人机交互模块，采用混合现实全息头显设备；
数据处理及反馈模块，采用PC计算机，所述体感设备使用有线电缆连接PC计算机进行数据通讯，混合现实全息头显设备使用无线网络与PC计算机进行数据通讯；
所述四肢及脊柱关节运动数据采集模块采集追踪患者的四肢及脊柱骨骼关节位置及状态的运动数据，并传输至数据处理及反馈模块，经运动学算法处理所述采集运动数据，反馈至图像引擎，由图像引擎在所述人机交互模块采用的混合现实全息头显设备混合现实场景中产生游戏动态效果。


2.根据权利要求1所述的合现实全息头显四肢和脊柱运动康复系统，其特征在于：所述体感设备追踪患者的骨骼关节动作状态，并且不用穿戴额外的其他数据采集传感器部件。


3.根据权利要求1所述的混合现实全息头显四肢和脊柱运动康复系统，其特征在于：所述混合现实全息头显设备为无线设备，不需要连接与外部连接线缆，所创造的混合现实环境使身处其中的患者并未与周围的真实世界相分离，患者可以以更加自然的方式与真实世界及虚拟物体进行人机交互完成康复训练。


4.根据权利要求1所述的混合现实全息头显四肢和脊柱运动康复系统，其特征在于：所述混合现实全息头显设备中有不同运动康复训练场景，所述运动康复训练场景依据患者康复阶段设置不同的难度阶段，所述难度阶段由动作幅度决定，由医师指导患者依据康复阶段进行选择。


5.根据权利要求1至4中任意一项所述的混合现实全息头显四肢和脊柱运动康复系统，其特征在于：还包括：
用户服务模块，所述用户服务模块用于录入患者和所属医师的基础信息，用以患者登录系统运动并记录存储运动数据对患者进行评估并向患者给出康复建议。所述运动数据包括患者使用系统运动的时间、...

【专利技术属性】
技术研发人员：邢秋娟，赵芸，吴佶，黄春水，暴洁，陆虞荪，薛堃，杨颖，励莉，
申请(专利权)人：上海市长宁区天山中医医院，
类型：发明
国别省市：上海;31