一种基于混合现实技术的远程医疗系统及其操作方法技术方案

本发明专利技术涉及远程医疗技术领域，具体涉及一种基于混合现实技术的远程医疗系统及其操作方法。患者所在空间内的MR智能终端自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；MR智能终端将医疗资料以全息影像的形式投射到物理环境模型中，生成混合现实场景；MR智能终端佩戴者在混合现实场景中通过不同的控制方式实现对医疗资料的编辑处理。医院或医疗机构无需建立专门的远程会诊室及搭建复杂的硬件环境，只需要佩戴MR智能终端即可进行远程医疗。又具备无线、移动化等特征，使参会人员随时随地进行远程医疗，极大降低时间成本。使用全息投影技术，可以突破空间的限制，展示更多有效内容，避免扩充更多终端显示设备。

【技术实现步骤摘要】
一种基于混合现实技术的远程医疗系统及其操作方法
本专利技术涉及远程医疗
，具体涉及一种基于混合现实技术的远程医疗系统及其操作方法。
技术介绍
混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实(MR)(既包括增强现实和增强虚拟)指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。混合现实技术为人类生活带来了极大的便利，在医疗领域就获得的极大的体现，例如公开号为CN106109015A的专利技术专利公开了一种头戴式医疗系统及其操作方法，包括AR/MR头戴显示设备和激光发生器，AR/MR头戴显示设备佩戴在医生的头部，激光发生器架设在手术台的上方，在病患者体表做好人造骨性标志，激光发生器对准患者患病部位的体表进行照射，把CT扫描取得的患部3D模型输入AR/MR头戴显示设备中，医生佩戴并启动AR/MR头戴显示设备，视线对准人造骨性标志，佩戴AR/MR头戴显示设备内的摄像头对人造骨性标志进行观察和识别，把患部3D模型显示在患者身体的对应位置，佩戴AR/MR头戴显示设备的医生围绕手术台随意走动，观察患部3D模型，指导手术操作。本专利技术相对于现有手术技术有更高效、更直观、安全性更高、功能性更强的特点。虽然应用混合现实技术极大的提高了手术操作者的工作效率和准确性，更加高效直观，但是对于远程会诊的改造还未得到体现，现有的远程医疗系统的主要缺点有：需要建立远程会诊或医疗室，并配备各种硬件设备，各硬件之间的兼容性相对不稳定。搭建该系统的硬件成本及维护费用非常高。会诊地点受限于会诊室，这不仅使会诊组织者花更多精力进行参会协调，也使与会人员消耗了较多的时间成本。参会人员共同观看显示器所展示的内容，当专科医师需要了解病患在自身医学领域的检查检验报告或者相关医学资料时，无法尽数投射在显示器上，故只能扩充更多的终端显示设备。
技术实现思路
本专利技术为了解决上述技术问题，提供一种基于混合现实技术的远程医疗系统及其操作方法，使用全息投影技术，可以突破空间的限制，展示更多有效内容，避免扩充更多终端显示设备，极大的提高了远程医疗的便利性和高效性。为了达到上述技术效果，本专利技术包括以下技术方案：本专利技术提供了一种基于混合现实技术的远程医疗系统，包括服务器、医院信息系统、存储器和多个MR智能终端，所述服务器，分别连接所述医院信息系统、存储器和多个MR智能终端；所述医院信息系统包括EMR、PACS系统和LIS系统，用于存储患者的医疗资料，并将所述医疗资料通过服务器上传至MR智能终端，用于生成混合现实场景；所述存储器用于存储诊疗记录、诊疗建议及意见；所述MR智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并且将医疗资料投射到物理环境模型中，获得混合现实场景；所述MR智能终端还用于通过多种控制方式对混合现实场景中的医疗资料进行查阅、编辑、整理和统计分析；所述MR智能终端还用于各个佩戴者之间进行音频、视频沟通以及资料共享。进一步地，所述MR智能终端为MR智能眼镜，包括控制器，还包括与控制器连接的通信模块、光学投射模块、输入模块、输出模块和操作模块，所述控制器用于控制执行混合现实交互程序；所述通信模块用于各个MR智能眼镜之间的通信连接，还用于MR智能眼镜与服务器之间的通信连接；所述光学投射模块用于执行将医疗资料投射到物理环境模型中，形成混合现实场景；所述输入模块，用于输入用于控制MR智能眼镜的数据；所述输出模块包括扬声器和显示器，分别用于输出音频信号、视频信号；所述操作模块用于获取MR智能眼镜的状态、MR智能眼镜的周围事物的状态、MR智能眼镜穿戴者的状态和运动信息，并且将感测到的信息发送到控制器。一种上述远程医疗系统的操作方法，包括以下步骤：步骤一：患者或本地医师所在的空间内和远端医师所在诊疗空间内均设置MR智能终端，各MR智能终端之间建立通信连接；步骤二：各个空间内的MR智能终端自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；步骤三：患者或本地医师所在空间内的MR智能终端连接医院的EMR、PACS或LIS系统，进行数据同步，获取到该患者所需要的医疗资料；步骤四：MR智能终端将医疗资料经运算处理后以全息影像的形式投射到物理环境模型中，生成混合现实场景；步骤五：MR智能终端佩戴者在混合现实场景中通过多种的控制方式实现对医疗资料的查阅、编辑、整理和统计分析，可以使远端医生迅速了解病人详情，从而做出精准判断。步骤六：医生与患者之间、不同医生之间通过MR智能终端实时或以留言形式进行沟通交流。采用上述的方法，医院或医疗机构无需建立专门的远程会诊室及搭建复杂的硬件环境，只需要佩戴MR智能终端即可进行病历讨论和远程会诊。又具备无线、移动化等特征，使远端医师随时随地进行远程会诊和病历讨论，极大降低时间成本。使用全息投影技术，可以突破空间的限制，展示更多有效内容，避免扩充更多终端显示设备。进一步地，所述的物理环境信息包括墙壁、地面、天花板、桌椅和特殊标示。进一步地，所述的医疗资料包括患者个人信息、诊疗记录、病程记录、医学影像和检查报告。上述的各种信息可以在混合现实场景中呈现并提供给医生参考，方便医生查找医疗数据。进一步地，医生在查找资料后，可以对数据归类、统计、分析，把病人病情的变化与检查、检验等病理结果建立直观联系，找出更有效的治疗方案。进一步地，步骤五中的控制方式包括走动、视线凝视、手势操作和语音命令。通过多种多样易于实现的控制方式实现医生与混合现实场景的交互，服务于医疗诊断或治疗。进一步地，步骤五中对医疗资料的查阅、编辑、整理和统计分析形式包括浏览各种信息、将需要的信息分类集中，移动旋转缩放资料、复制备份资料、圈点标注资料、收藏分享资料和截屏录像录音。进一步地，所述的MR智能终端可呈现其他与其相连的智能终端的视角。在远程协助治疗或手术的过程中，各岗位指导医师，通过佩戴MR智能终端，查看手术过程中与自身科别相关的实时数据，并可呈现现场医师视角，与同岗位的医师进行实时指导交流。进一步地，MR智能终端连接有存储器，诊疗记录、诊疗建议及意见存储在存储器内。进一步地，处于同一空间内的多个MR智能终端看到的混合现实场景自动进行数据同步合并，各个佩戴者在感官上看到的混合现实场景相同。实现混合现实场景的一致性，避免多种混合现实场景对不同的医生诊疗判断带来干扰和影响。采用上述技术方案，包括以下有益效果：1)医院或医疗机构无需建立专门的远程会诊室及搭建复杂的硬件环境，成本得到极大的控制，MR智能终端在硬件上的高度集成，避免因各种硬件交互运行导致的兼容性问题，同时降低维护成本。2)MR智能终端具备无线、移动化等特征，使参与病例讨论和远程会诊医师随时随地开展工作，极大降低时间成本、提高效率。同时，本地医师与远端医师只需佩戴MR智能终端并连线，即可同时对患者进行面诊交流，本地医师与远端医师可以共享面诊画面，并相互交流。由此，可以使目前开展并不活跃但意义重大的远程医疗活动，成几何倍级的增长，从而造福广大患者。3)本方案使用全息投影技术，让指导医生身临其境，更直观的进行医疗指导，突破了空本文档来自技高网...

【技术保护点】
一种基于混合现实技术的远程医疗系统，其特征在于，包括：服务器(1)、医院信息系统(2)、存储器(3)和多个MR智能终端(4)，所述服务器，分别连接所述医院信息系统、存储器和多个MR智能终端；所述医院信息系统包括EMR、PACS系统和LIS系统，用于存储患者的医疗资料，并将所述医疗资料通过服务器上传至MR智能终端，用于生成混合现实场景；所述存储器用于存储诊疗记录、诊疗建议及意见；所述MR智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并且将医疗资料投射到物理环境模型中，获得混合现实场景；所述MR智能终端还用于通过多种控制方式对混合现实场景中的医疗资料进行查阅、编辑、整理和统计分析；所述MR智能终端还用于各个佩戴者之间进行音频、视频沟通以及资料共享。

【技术特征摘要】
1.一种基于混合现实技术的远程医疗系统，其特征在于，包括：服务器(1)、医院信息系统(2)、存储器(3)和多个MR智能终端(4)，所述服务器，分别连接所述医院信息系统、存储器和多个MR智能终端；所述医院信息系统包括EMR、PACS系统和LIS系统，用于存储患者的医疗资料，并将所述医疗资料通过服务器上传至MR智能终端，用于生成混合现实场景；所述存储器用于存储诊疗记录、诊疗建议及意见；所述MR智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并且将医疗资料投射到物理环境模型中，获得混合现实场景；所述MR智能终端还用于通过多种控制方式对混合现实场景中的医疗资料进行查阅、编辑、整理和统计分析；所述MR智能终端还用于各个佩戴者之间进行音频、视频沟通以及资料共享。2.根据权利要求1所述的远程医疗系统，其特征在于，所述MR智能终端为MR智能眼镜，包括控制器(401)，还包括与控制器连接的通信模块(402)、光学投射模块(403)、输入模块(404)、输出模块(405)和操作模块(406)，所述控制器用于控制执行混合现实交互程序；所述通信模块用于各个MR智能眼镜之间的通信连接，还用于MR智能眼镜与服务器之间的通信连接；所述光学投射模块用于执行将医疗资料投射到物理环境模型中，形成混合现实场景；所述输入模块，用于输入用于控制MR智能眼镜的数据；所述输出模块包括扬声器和显示器，分别用于输出音频信号、视频信号；所述操作模块用于获取MR智能眼镜的状态、MR智能眼镜的周围事物的状态、MR智能眼镜穿戴者的状态和运动信息，并且将感测到的信息发送到控制器。3.一种权利要求1或2所述的远程医疗系统的操作方法，其特征在于，包括以下步骤：步骤一：患者或本地医师所在的空间内和远端医师所在诊疗空间内均设置MR智能终端，各MR智能终端之间建立通...

【专利技术属性】
技术研发人员：韩敏，
申请(专利权)人：杭州古珀医疗科技有限公司，
类型：发明
国别省市：浙江,33