具有多模态图像显示的外科手术系统技术方案

一种具有多模态图像显示的外科手术系统。提供一种产生外科手术场景的多模态图像的方法，包括：捕获从外科手术场景反射的光；产生对应于第一模态图像的第一图像信息；产生对应于第二模态图像的第二图像信息；至少部分地基于选定部分内包括的解剖结构信息选择第二图像模态的一部分；和在显示器内同时产生外科手术场景的第一模态图像的至少一部分和第二模态图像的选定部分。图像的选定部分。图像的选定部分。

【技术实现步骤摘要】
具有多模态图像显示的外科手术系统
[0001]本申请是2017年11月10日提交的名称为：“具有多模态图像显示的外科手术系统”的中国专利申请201780072428.9(PCT/US2017/061151)的分案申请。
[0002]优先权
[0003]本申请要求2016年11月11日提交的美国专利申请No.62/421,095的优先权的权益，其通过引用整体并入本文。

技术介绍

[0004]图像引导的外科手术技术为外科医生提供了可视化外科手术场景内的解剖对象的内部结构的能力。改进的可视化能力允许外科医生更好地感知手术器械的实际位置及其与解剖学对象内的关键或隐藏解剖结构的物理关系，这可以导致更安全和更有效的微创外科手术程序。

技术实现思路

[0005]以下概述介绍了本专利技术主题的某些方面，以便提供基本的理解。该概述不是对本专利技术主题的全面综述，并且不旨在识别关键或重要元素或描绘本专利技术主题的范围。尽管该概述包含与本专利技术主题的各个方面和实施例相关的信息，但是其唯一目的是以一般形式呈现一些方面和实施例作为下面更详细描述的序言。
[0006]在一个方面，提供了一种用于产生外科手术场景的多模态图像的方法。相机捕获从外科手术场景反射的光。产生对应于外科手术场景的第一模态图像的第一图像信息。产生对应于外科手术场景的第二模态图像信息。至少部分地基于其包含的解剖结构信息来选择第二图像模态的一部分。计算机被配置为使用第一图像信息和第二图像信息在显示器内同时产生外科手术场景的第一模态图像的至少一部分和外科手术场景的第二模态图像的选定部分。
[0007]在另一方面，提供了一种产生外科手术场景的多模态图像的方法。相机捕获从外科手术场景反射的光。对应于外科手术场景的第一模态图像产生第一图像信息。对应于外科手术场景的第二模态图像产生第二图像信息。在显示器内跟踪用户眼睛焦点位置。至少部分地基于所跟踪的用户眼睛焦点来选择第二模态图像的一部分。计算机被配置为使用第一图像信息和第二图像信息在显示器内同时产生外科手术场景的第一模态图像的至少一部分和外科手术场景的第二模态图像的选定部分。
[0008]在又一方面，提供了一种产生外科手术场景的多模态图像的方法。相机捕获从外科手术场景反射的光。对应于外科手术场景的第一模态图像产生第一图像信息。对应于外科手术场景的第二模态图像产生第二图像信息。在外科手术程序的过程中跟踪外科手术阶段。至少部分地基于所跟踪的外科手术阶段来选择模态图像格式。计算机被配置为使用第一图像信息和第二图像信息以选择的格式在显示器内产生第一模态图像的至少一部分和第二模态图像的至少一部分。
附图说明
[0009]图1是微创远程操作外科手术系统的平面图。
[0010]图2是外科医生控制台的透视图。
[0011]图3是电子推车的透视图。
[0012]图4是远程操作外科手术系统的示意图。
[0013]图5A是远程操作外科手术系统的说明性图。
[0014]图5B是外科手术系统的患者侧推车的透视图。
[0015]图5C是表示外科手术场景的说明性视图，并且还示出了根据一些实施例的安装用于记录场景的相机和用于滤光光波长的滤光器的内窥镜。
[0016]图6是外科手术器械的正视图。
[0017]图7是器械操纵器的透视图。
[0018]图8是外科手术规划工具的示意图。
[0019]图9是表示根据一些实施例的存储在非暂时性存储设备内的外科手术信息图谱(atlas)的说明性图。
[0020]图10是示出根据一些实施例的存储在外科手术信息图谱内的示例性外科手术记录信息结构的某些细节的说明性图。
[0021]图11是表示根据一些实施例的外科手术场景的示例清晰图像的说明性图。
[0022]图12是表示图11的示例性外科手术场景的示例性窄带图像(NBI)模态图像的说明性图示，其中通过NBI显示模态增强第一解剖对象内的解剖结构的图像。
[0023]图13是表示图11的示例性外科手术场景的示例拉曼光谱模态图像的说明性图，其中通过拉曼光谱显示模态增强第二解剖对象内的解剖结构的图像。
[0024]图14是表示使用HIS成像显示模态显示的图11的示例性外科手术场景的示例高光谱(HIS)模态图像的说明性图。
[0025]图15是表示根据一些实施例的图11的示例性外科手术场景的计算机断层摄影切片显示模态的说明性图。
[0026]图16是根据一些实施例的使用多个显示模态结合使用拼接格式(stitch format)的图11的外科手术场景的说明性示例多模态显示。
[0027]图17是根据一些实施例的使用多个显示模态结合使用拼接格式的图11的外科手术场景的说明性替代示例多模态显示。
[0028]图18是根据一些实施例的使用多个显示模态结合使用画中画格式的图11的外科手术场景的说明性示例多模态显示。
[0029]图19是根据一些实施例的使用多个显示模态结合使用画中画格式的图11的外科手术场景的说明性替代示例多模态显示。
[0030]图20是根据一些实施例的使用来自使用注释格式的多个显示模态的信息的图11的外科手术场景的说明性示例显示。
[0031]图21A是表示根据一些实施例的动态呈现多模态手术图像的第一过程的说明性流程图。
[0032]图21B是表示存储在非暂时性存储设备中的可用于产生不同的图像模态图像的相应第一图像信息的说明性图。
[0033]图21C是表示存储在非暂时性存储设备中的可用于产生不同的图像模态图像部分的相应第二图像部分信息的说明性图。
[0034]图22是表示根据一些实施例的用于选择显示模态和所选显示模态的部分的子过程的细节的说明性流程图。
[0035]图23是表示根据一些实施例的用于接收用户对图像模态的选择的子过程的细节的说明性流程图。
[0036]图24是表示根据一些实施例的在外科手术系统的查看器(viewer)内显示的示例模态选择用户界面UI的说明性图。
[0037]图25A
‑
C是根据一些实施例的呈现二维眼睛跟踪(图25A
‑
25B)和深度眼睛跟踪(图25C)的说明性图。
[0038]图26是表示根据一些实施例的用于选择多模态显示格式的子过程的细节的说明性流程图。
[0039]图27是表示根据一些实施例的在外科手术系统的查看器内显示的示例格式选择用户界面UI的说明性图。
[0040]图28是表示根据一些实施例的用于确定外科手术阶段信息和对应的外科手术阶段规则是否一起指示显示模态的子过程的某些细节的说明性流程图。
[0041]图29是表示根据一些实施例的示例外科手术阶段签名(signatures)和对应模态的说明性图。
[0042]图30是表示根据一些实施例的用于生成图像模态部分的子过程的某些细节的说明性流程图。
[0043]图31是表示根据一些实施例的示例图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种产生外科手术场景的多模态图像的方法，包括：使用至少一个相机捕获从所述外科手术场景反射的光；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一模态图像的第一图像信息；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二模态图像的第二图像信息；至少部分地基于所述第二模态图像的选定部分内包括的解剖结构信息选择所述第二模态图像的一部分；和配置计算机以使用所述第一图像信息和所述第二图像信息在显示器内同时产生所述外科手术场景的所述第一模态图像的至少一部分和所述第二模态图像的所述选定部分。2.根据权利要求1所述的方法，其中，选择所述图像模态的所述一部分包括将所述第二图像信息与存储在非暂时性存储设备中的图像签名信息进行比较。3.根据权利要求1所述的方法，其中，选择所述图像模态的所述一部分包括将所述第二图像信息与存储在非暂时性存储设备中的多个图像签名进行比较。4...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：