System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 远程手术机器人及对应的立体视觉效果生成方法和介质技术_技高网

远程手术机器人及对应的立体视觉效果生成方法和介质技术

技术编号:43427059 阅读:8 留言:0更新日期:2024-11-27 12:38
本申请公开了一种远程手术机器人及对应的立体视觉效果生成方法和介质,远程手术机器人包括患者手术平台、和设置有第一拍摄单元和第二拍摄单元图像采集装置,远程医生控制台和设置有第一显示单元和第二显示单元的图像显示装置;患者手术平台和远程医生控制台通信连接;该方法包括获取患者手术平台的第一设备信息、远程医生控制台的第二设备信息、以及用户交互数据;根据第一设备信息和第二设备信息,选取患者手术平台或远程医生控制台,基于用户交互数据分别在左视图像和右视图像中执行叠加操作,得到左视叠加图像和右视叠加图像,并分别在第一显示单元和第二显示单元中显示。本发明专利技术实现了在手术视野中显示用户交互图形的立体视觉效果。

【技术实现步骤摘要】

本专利技术属于医疗器械领域,特别是涉及一种远程手术机器人及对应的立体视觉效果生成方法和介质


技术介绍

1、在远程手术机器人中,影像系统的主要分为主手端的显示器(远程医生控制台)和从手端的内窥镜(患者手术平台)。影像系统的主手端显示器和从手端内窥镜需要高度协调,确保医生能在主手端显示器实时、精确地观察从手端内窥镜采集的患者手术区域,并进行手术操作。

2、主手端是医生进行手术操作的控制中心,影像系统提供了实时视觉反馈功能,显示器具有单路/双路、二维(2d)/三维(3d)、2k分辨率/4k分辨率的参数,通常包括单路3d2k显示器和双路2d4k显示器。从手端是手术机器人执行实际操作的位置,影像系统负责捕捉手术区域的实时图像并传输到主手端,内窥镜也具有单路/双路/三路、二维(2d)/三维(3d)、2k分辨率/4k分辨率的参数,通常包括双路2d4k内窥镜和双路2d2k内窥镜。

3、现有针对双路二维内窥镜、及双路二维显示器/单路三维显示器,通常是显示三维立体视觉效果的内窥镜图像(手术图像)+二维平面效果的用户交互图形,如ui图标(userinterface,用户界面)。用户交互图形在显示上存在视觉效果偏差,对手术过程中医生在ui交互操作和观察时可能存在影响,降低手术操作的沉浸体验从而影响手术操作。


技术实现思路

1、为了解决现有远程手术机器人在手术视野上存在视觉效果偏差,对手术过程中医生在ui交互操作和观察时可能存在影响,降低手术操作的沉浸体验从而影响手术操作的问题,本专利技术提出技术方案如下:

2、本专利技术的第一方面提供了一种应用于远程手术机器人的立体视觉效果生成方法,包括:相互连接的患者手术平台和图像采集装置,其中,所述图像采集装置设置有第一拍摄单元和第二拍摄单元,所述第一拍摄单元用于拍摄左视图像,所述第二拍摄单元用于拍摄右视图像;相互连接的远程医生控制台和图像显示装置,其中,所述图像显示装置设置有第一显示单元和第二显示单元;其中,所述患者手术平台和所述远程医生控制台通信连接;所述立体视觉效果生成方法包括:获取所述患者手术平台的第一设备信息、所述远程医生控制台的第二设备信息、以及用户交互数据;根据所述第一设备信息和所述第二设备信息,选取所述患者手术平台和所述远程医生控制台的至少一端,并基于所述用户交互数据分别在所述左视图像和右视图像中执行叠加操作,得到左视叠加图像和右视叠加图像;将所述左视叠加图像和所述右视叠加图像,分别在所述第一显示单元和所述第二显示单元中进行显示。

3、优选的,所述远程手术机器人还包括:第一远程主机和第二远程主机,所述第一远程主机与所述患者手术平台连接,所述第二远程主机和所述远程医生控制台连接;其中,所述患者手术平台和所述远程医生控制台通过所述第一远程主机和所述第二远程主机进行通信连接,所述第一远程主机包括第一远程端口和第二远程端口;根据所述第一设备信息和所述第二设备信息,选取所述患者手术平台和所述远程医生控制台的至少一端,并基于所述用户交互数据分别在所述左视图像和右视图像中执行叠加操作,得到左视叠加图像和右视叠加图像,包括:若所述第一设备信息和所述第二设备信息满足预设第一条件,则所述患者手术平台通过所述第一远程端口将所述左视图像、所述右视图像和所述用户交互数据传输至所述远程医生控制台;所述远程医生控制台基于所述用户交互数据分别在所述左视图像和右视图像中执行叠加操作,得到左视叠加图像和右视叠加图像;若所述第一设备信息和所述第二设备信息满足预设第二条件,则所述患者手术平台基于所述用户交互数据分别在所述左视图像和右视图像中执行叠加操作,得到左视叠加图像和右视叠加图像,并通过所述第二远程端口将所述左视叠加图像和所述右视叠加图像传输至所述远程医生控制台。

4、优选的,基于所述用户交互数据分别在所述左视图像和右视图像中执行叠加操作,得到左视叠加图像和右视叠加图像,包括:基于所述用户交互数据生成用户交互图形,以及提取所述第一设备信息中的第一装配信息和所述第二设备信息中的第二装配信息;根据所述第一装配信息,计算所述用户交互图形分别在所述左视图像和所述右视图像上叠加时的视差;根据所述第二装配信息校正所述视差,并基于校正后的视差确定所述用户交互图形在所述左视图像的第一叠加位置、以及在所述右视图像上的第二叠加位置;将所述用户交互图形叠加到所述左视图像的第一叠加位置,得到左视叠加图像,以及将所述用户交互图形叠加到所述右视图像的第二叠加位置,得到右视叠加图像。

5、优选的,在获取所述患者手术平台的第一设备信息、所述远程医生控制台的第二设备信息、以及用户交互数据之前,还包括:响应于所述远程医生控制台与所述患者手术平台之间的交互操作,所述患者手术平台确定与所述交互操作相对应的交互状态,所述用户交互数据包括所述交互状态;其中,所述用户交互图形包括所述交互状态对应的第一状态图标,所述交互状态包括:所述远程医生控制台和所述患者手术平台之间的连接状态、配对状态和网络状态。

6、优选的,所述患者手术平台还包括图形用户界面,所述图形用户界面包括至少一个触发控件;在获取所述患者手术平台的第一设备信息、所述远程医生控制台的第二设备信息、以及用户交互数据之前,还包括:响应于对所述触发控件的触控操作,所述患者手术平台确定与所述触控操作相对应的触控状态,所述用户交互数据包括所述触控状态;其中,所述用户交互图形包括所述触控状态对应的第二状态图标。

7、优选的,所述图形用户界面还包括标注区域,所述标注区域包含所述左视图像或者右视图像中的至少部分区域;响应于在所述标注区域上的滑动操作,确定所述滑动操作在所述左视图像和所述右视图像上的滑动轨迹,所述用户交互数据包括所述滑动轨迹;其中,所述用户交互图形包括所述滑动轨迹对应的轨迹图形。

8、优选的,所述远程手术机器人包括相互连接的第一远程医生控制台和左视图像显示装置、以及相互连接的第二远程医生控制台和右视图像显示装置;所述患者手术平台至少包括第一机械臂和第二机械臂,其中,所述第一远程医生控制台对所述第一机械臂具有控制权限,所述第二远程医生控制台对所述第二机械臂具有控制权限;所述用户交互图形包括第一用户交互图形和第二用户交互图形,所述第一用户交互图形在所述左视图像显示装置上显示,所述第二用户交互图形在所述右视图像显示装置上显示;在获取所述患者手术平台的第一设备信息、所述远程医生控制台的第二设备信息、以及用户交互数据之前,还包括:响应于所述第一远程医生控制台对所述第一机械臂的第一控制操作,所述患者手术平台确定与所述第一控制操作对应的第一控制状态,所述用户交互数据包括所述第一控制状态,其中,所述第一用户交互图像包括所述第一控制状态对应的第三状态图标;或者,响应于所述第二远程医生控制台对所述第二机械臂的第二控制操作,所述患者手术平台确定与所述第二控制操作对应的第二控制状态,所述用户交互数据包括所述第二控制状态,其中,所述第二用户交互图像包括所述第二控制状态对应的第四状态图标。

9、优选的,所述用户交互图形包括本文档来自技高网...

【技术保护点】

1.一种应用于远程手术机器人的立体视觉效果生成方法,其特征在于,所述远程手术机器人包括:

2.根据权利要求1所述的立体视觉效果生成方法,其特征在于,所述远程手术机器人还包括:第一远程主机和第二远程主机,所述第一远程主机与所述患者手术平台连接,所述第二远程主机和所述远程医生控制台连接;

3.根据权利要求2所述的立体视觉效果生成方法,其特征在于,基于所述用户交互数据分别在所述左视图像和右视图像中执行叠加操作,得到左视叠加图像和右视叠加图像,包括:

4.根据权利要求3所述的立体视觉效果生成方法,其特征在于,在获取所述患者手术平台的第一设备信息、所述远程医生控制台的第二设备信息、以及用户交互数据之前,还包括:

5.根据权利要求3所述的立体视觉效果生成方法,其特征在于,所述患者手术平台还包括图形用户界面,所述图形用户界面包括至少一个触发控件;

6.根据权利要求5所述的立体视觉效果生成方法,其特征在于,所述图形用户界面还包括标注区域,所述标注区域包含所述左视图像或者右视图像中的至少部分区域;

7.根据权利要求3所述的立体视觉效果生成方法,其特征在于,所述远程手术机器人包括相互连接的第一远程医生控制台和左视图像显示装置、以及相互连接的第二远程医生控制台和右视图像显示装置;

8.根据权利要求3-7中任一项所述的立体视觉效果生成方法,其特征在于,所述用户交互图形包括:与所述左视图像和所述右视图像叠加时发生重叠的第一部分、以及未发生重叠的第二部分,其中,所述第一部分包括轨迹图形,所述第二部分包括状态图标。

9.根据权利要求8所述的立体视觉效果生成方法,其特征在于,所述图像采集装置和所述第一远程端口以及所述第二远程端口连接,所述图形用户界面和所述第二远程端口连接,并至少用于从所述患者手术平台获取并显示所述左视图像和所述右视图像中的至少一项;

10.一种远程手术机器人,其特征在于,所述远程手术机器人包括:

11.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的应用于远程手术机器人的立体视觉效果生成方法的步骤。

...

【技术特征摘要】

1.一种应用于远程手术机器人的立体视觉效果生成方法,其特征在于,所述远程手术机器人包括:

2.根据权利要求1所述的立体视觉效果生成方法,其特征在于,所述远程手术机器人还包括:第一远程主机和第二远程主机,所述第一远程主机与所述患者手术平台连接,所述第二远程主机和所述远程医生控制台连接;

3.根据权利要求2所述的立体视觉效果生成方法,其特征在于,基于所述用户交互数据分别在所述左视图像和右视图像中执行叠加操作,得到左视叠加图像和右视叠加图像,包括:

4.根据权利要求3所述的立体视觉效果生成方法,其特征在于,在获取所述患者手术平台的第一设备信息、所述远程医生控制台的第二设备信息、以及用户交互数据之前,还包括:

5.根据权利要求3所述的立体视觉效果生成方法,其特征在于,所述患者手术平台还包括图形用户界面,所述图形用户界面包括至少一个触发控件;

6.根据权利要求5所述的立体视觉效果生成方法,其特征在于,所述图形用户界面还包括标注区域,所述标注区域包含所述左视图像或者右视图像中的至少部分区域;

【专利技术属性】
技术研发人员:王建辰高元倩张旭田军韩雨庆王野
申请(专利权)人:深圳市精锋医疗科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1