用于外科手术干预的临床上重要的解剖标志的视觉跟踪和注释制造技术

一种用于外科手术干预的视觉跟踪和注释系统包括：图像获取和显示系统，该图像获取和显示系统被布置成获得关注的外科手术区域的图像流和与关注的外科手术区域接近的外科手术装置的图像流，并向用户显示获取的图像；跟踪系统，该跟踪系统被配置成相对于关注的外科手术区域跟踪外科手术装置；数据存储系统，该数据存储系统与图像获取和显示系统以及跟踪系统通信；以及数据处理系统，该数据处理系统与数据存储系统、图像获取和显示系统以及跟踪系统通信。数据处理系统被配置成响应于来自用户的输入信号对显示给用户的图像进行注释。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的当前要求保护的实施方式的领域涉及一种在外科手术过程中获取并显 示信息的系统及方法，更具体地涉及一种获取和显示信息的系统和方法，获取和显示信息包括对外科手术装置的视觉跟踪和对所显示信息的注释。2.
技术介绍
当前，外科医生使用用于对小组织区域进行手术的许多手术间诊断设备及外科手术设备和/或治疗设备，例如，腹腔镜超声设备和/或射频(RF)消融设备。外科医生通过视频馈送观察设备相对于解剖结构的位置。在诊断装置的情况下，外科医生必须记录该位置和成像结果并随时间推移利用解剖结构跟踪该位置。随时间推移，外科医生为了介入或检查会想要再访特定解剖结构。如果外科医生记不起或不确定与特定区相关联的先前诊断图像的位置或内容，则诊断设备可能必须被再引入到手术场，这会耗费时间。在外科手术设备的情况下，外科医生必须相对于一些可见标志给已经治疗的区绘图。这在治疗处于目标组织内部或不改变组织的外观时是困难的。要避免遗漏的治疗位置、过度治疗的治疗位置或不正确的治疗位置。外科医生可以选择检查或治疗可以稀疏地定位的多个解剖区域，例如10个标志。这在已具有挑战性的微创过程中给外科医生增加了认知负担。此外，解剖结构可能自然地或由于介入本身而扭曲或改变颜色，这增加了跟踪相关标志和相关联的手术间信息的困难。例如，在玻璃体视网膜外科手术的情况下，用眼内成像探针询问视网膜是非常罕见的。然而，在发现新的实时的手术间成像模态(自聚焦(GRIN)透镜内窥镜、光谱学、超声、光学相干断层扫描(0CT))、兼容探针和多功能装置的情况下，新的外科手术技术会是可能的。这些新的技术使组织以非常接近的距离和非常小的体积来成像。最终的数据被稀疏地定位，从而需要外科医生利用显微镜视图中的对应的解剖位置跟踪多扫描或图像，这给已具有挑战性的外科手术任务增加了明显的认知负担。这在由于外科手术处理、流血、生物标记、肿胀以及视场、照明方法和/或方向及眼内流体条件的内在变化而造成的改变的解剖结构的情况下会变得更困难。因此，仍需要用于外科手术干预的改善的视觉跟踪和注释系统及方法。
技术实现思路
根据本专利技术的一些实施方式的一种用于外科手术干预的视觉跟踪和注释系统具有图像获取和显示系统，该图像获取和显示系统被布置成获得关注的外科手术区域的图像流和与关注的外科手术区域接近的外科手术装置的图像流并向用户显示获取的图像；跟踪系统，该跟踪系统被配置成相对于关注的外科手术区域跟踪外科手术装置；数据存储系统，该数据存储系统与图像获取和显示系统以及跟踪系统通信；以及数据处理系统，该数据处理系统与数据存储系统、图像获取和显示系统以及跟踪系统通信。数据处理系统被配置成响应于来自用户的输入信号对显示给用户的图像进行注释。根据本专利技术的一些实施方式的一种用于外科手术干预的视觉跟踪和注释方法包括获取关注的外科手术区域的图像和与关注的外科手术区域接近的外科手术装置的图像，相对于关注的外科手术区域跟踪外科手术装置、以及显示关注的外科手术区域和外科手术装置。显示包括响应于来自用户的输入信号增加的注释。根据本专利技术的一些实施方式的一种计算机可读介质包括用于外科手术干预的视 觉跟踪和注释的软件的非瞬态存储器，当被计算机系统执行时，该软件包括处理关注的外科手术区域的图像数据和与关注的外科手术区域接近的外科手术装置的图像数据以提供关注的外科手术区域的图像和外科手术装置的图像；处理图像数据以相对于关注的外科手术区域跟踪外科手术装置；处理图像数据和来自用户的输入信号以对图像进行注释；以及显示具有该注释的关注的外科手术区域的图像和外科手术装置的图像。附图说明结合描述、附图和示例，另外的目的和优点将变得明显。图I是根据本专利技术的实施方式的用于外科手术干预的视觉跟踪和注释系统的示意图。图2示出了根据本专利技术的实施方式的用于外科手术干预的视觉跟踪和注释系统的显示的图像的示例。图3示出了根据本专利技术的实施方式的外科手术装置的实施方式。图4示出了根据本专利技术的实施方式的具有集成的光纤OCT探针的显微外科拣选器(pick)的CAD侧视图(左上)；实际原型的图片(左下)；使用原型的样本的A扫描数据(右)。图5左侧提供了根据本专利技术的实施方式的外科手术系统的示意图。右侧示出了轴向OCT扫描数据。图6是根据本专利技术的实施方式的外科手术装置的示意图。图7示出了根据本专利技术的实施方式的包括外科手术装置和手持机器人的外科手术系统。图8是根据本专利技术的实施方式的外科手术系统的示意图。具体实施例方式以下详细描述本专利技术的一些实施方式。在描述的实施方式中，为了清楚起见使用特定术语。然而，本专利技术不限于所选择的特定术语。相关领域内的技术人员将认识到，在不偏离本专利技术的广义概念的情况下可以使用其他的等同部件并研发其他的方法。在本说明书中任何地方列举的所有参考好像每个参考单独地被合并一样通过参引方式被合并。本专利技术的一些实施方式涉及用于将手术时采集的在外科手术上相关的数据显示为增加有覆盖注释的视频的系统和方法。手术时的成像信息和/或治疗信息可以被登记在外科手术进行时的视频中的对应的解剖标志位置，并且随时间推移在视频中以各种表示法被跟踪且被可视化。另外，根据本专利技术的一些实施方式也可以包括外部工具跟踪系统和/或机器人。在该情况下，它们也需要登记到视频系统。根据本专利技术的一些实施方式的系统可以与在外科手术视频视场中可见的任何装置一起使用。在简单的情况下，装置可以是被用来描绘接着在后续视频(远程图解(telestration))中被跟踪的关注的区域的点击设备。在较复杂的情况下，装置可以是外科手术进行时的任何诊断设备和/或成像设备，诸如超声设备、光谱学探针设备、氧化传感器设备、光学相干断层扫描设备、共焦显微镜设备、内窥镜设备、自聚焦(GRIN)内窥镜设备、神经功能测量设备、自发荧光设备或介入治疗设备，诸如射频(RF)肝脏消融激光器、电刺激装置、冷冻消融装置等等。来自这些设备的信息可以被链接至采集信息的位置或链接在应用信息的治疗的情况中。例如，信息可以作为画中画图像显示在与实时外科手术视频馈入的同一屏幕中或在单独的屏幕上显示。 各个注释可以被外科医生增加至集合或被移除。注释基于其时间性质可以具有多个状态注释的相关联的解剖结构是可见的(闭塞，来自工具)、过程导致的变形还是一定量的自然变化。这些状态可以用颜色、强度、可见度或文本注释来表示。注释本身可以是点、线、区域、体积、文本注释、与装置的形状对应的图像、或成像区或体积的形状的形式。这些注释可以基于标志、组织类型(从手术时成像本身被询问或治疗的组织的基本性能)、或设备类型产生或者是特定的或者是上下文的内在关系。在本专利技术的一些实施方式中，来自多设备的信息可以被注释在同一视频上。本专利技术的一些实施方式可以包括用户接口，诸如踏板、计算机鼠标、触摸屏、语音识别输入端，或者其可链接至被使用的装置上的传感器活动级别。在一些实施方式中，可以包括在视频中的装置的姿态识别。此外，根据本专利技术的实施方式，视频中的工具位置跟踪可以使系统能够从简单传感器提供较丰富的信息。本专利技术的实施方式可以包括手术时光学相干断层扫描(0CT)，其中系统根据A扫描产生B扫描图像并根据视频工具跟踪模块产生对应的姿势估计。例如另外的实施方式可以将这样的方法扩展至像立体C扫描这样的信息表/Jn 本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.10.30 US 61/256,5311.一种用于外科手术干预的视觉跟踪和注释系统，包括 图像获取和显示系统，被布置成获得关注的外科手术区域的图像流和与所述关注的外科手术区域接近的外科手术装置的图像流，并向用户显示获取的图像； 跟踪系统，被配置成相对于所述关注的外科手术区域跟踪所述外科手术装置； 数据存储系统，所述数据存储系统与所述图像获取和显示系统以及所述跟踪系统通信；以及 数据处理系统，所述数据处理系统与所述数据存储系统、所述图像获取和显示系统以及所述跟踪系统通信， 其中，所述数据处理系统被配置成响应于来自所述用户的输入信号对显示给所述用户的图像进行注释。2.根据权利要求I所述的用于外科手术干预的视觉跟踪和注释系统，还包括用户输入设备，所述用户输入设备与所述数据处理系统通信以提供所述输入信号。3.根据权利要求2所述的用于外科手术干预的视觉跟踪和注释系统，其中，所述输入设备包括以下中的至少一个踏板、小键盘、麦克风、眼睛跟踪系统、开关或外科手术装置。4.根据权利要求I所述的用于外科手术干预的视觉跟踪和注释系统，其中，所述数据处理系统被配置成对显示给所述用户的图像进行注释以包括所述外科手术装置相对于所述关注的外科手术区域的位置或轨迹中的至少一个。5.根据权利要求I所述的用于外科手术干预的视觉跟踪和注释系统，其中，所述数据处理系统被配置成对显示给所述用户的图像进行注释，存储注释用于以后检索，并显示从所述数据存储系统检索的与所述外科手术装置的位置对应的信息。6.根据权利要求I所述的用于外科手术干预的视觉跟踪和注释系统，还包括适于被所述跟踪系统跟踪的外科手术装置。7.根据权利要求6所述的用于外科手术干预的视觉跟踪和注释系统，其中，所述外科手术装置包括传感器系统，所述传感器系统被构造并布置成采集关于所述关注的外科手术区域的局部部分的数据，所述外科手术装置与所述数据存储系统通信以使得能够保存由所述外科手术装置获得的数据以用于以后检索。8.根据权利要求7所述的用于外科手术干预的视觉跟踪和注释系统，其中，所述传感器系统是光学传感器系统、超声传感器系统、或力感测系统中的至少一个。9.根据权利要求7所述的用于外科手术干预的视觉跟踪和注释系统，其中，所述传感器系统是光学相干断层扫描系统。10.根据权利要求6所述的用于外科手术干预的视觉跟踪和注释系统，其中，所述外科手术装置包括 具有近端和远端的外科手术工具；以及 至少一部分与所述外科手术工具附接的光学传感器， 其中，所述外科手术工具具有适合于提供所述外科手术工具的参考部分的部分，以及 其中所述光学传感器具有相对于所述外科手术工具的所述参考部分固定的端，使得所述外科手术工具的所述参考部分可以连同在使用时与所述外科手术工具的所述远端接近或接触的组织一起被检测。11.根据权利要求10所述的用于外科手术干预的视觉跟踪和注释系统，其中，所述光学传感器包括视觉成像系统。12.根据权利要求11所述的用于外科手术干预的视觉跟踪和注...

【专利技术属性】
技术研发人员：马尔钦·A·巴利茨基，拉塞尔·H·泰勒，格里戈里·D·黑格，彼得·L·吉尔巴赫，詹姆斯·T·汉达，拉杰什·库马尔，
申请(专利权)人：约翰霍普金斯大学，
类型：发明
国别省市：