使用方位和方向（P＆D）跟踪辅助的光学可视化的计算机化断层摄影（CT）图像校正制造技术

本发明专利技术公开了一种系统(11)，该系统包括用于插入到器官的腔中的医疗探头(36)，该医疗探头包括方位和方向传感器(60)以及相机(45)，这两者均在传感器坐标系(62)中操作。该系统还包括处理器(44)，该处理器被配置成：从在图像坐标系(28)中操作的成像系统(21)接收包括开放空间和组织的腔的三维图像；从医疗探头接收指示医疗探头在腔内的方位和相应方向的信号；从相机接收腔内的相应可视化位置；将图像坐标系与传感器坐标系配准，以便在可视化位置处识别图像中的一个或多个体素，并且当所识别的体素在所接收的图像中具有不对应于开放空间的密度值时，将所识别的体素的密度值更新以对应于开放空间。

【技术实现步骤摘要】
【国外来华专利技术】使用方位和方向（P＆D）跟踪辅助的光学可视化的计算机化断层摄影（CT）图像校正相关申请的交叉引用本专利申请要求2018年10月4日提交的美国临时专利申请62/741,403的权益，该美国临时专利申请的公开内容以引用方式并入本文。
本专利技术整体涉及医疗成像，并且具体地涉及在执行侵入式医疗规程期间更新过时的医疗图像。
技术介绍
在医疗规程期间，可将由医疗装置(诸如由方位跟踪系统所跟踪的探头)探测的解剖结构的实时表示叠加在预先采集的医疗图像上，以便改善解剖结构表示。例如，美国专利申请公布2018/0146883描述了方法、装置和计算机程序产品，该方法、装置和计算机程序产品包括从在图像坐标系中操作的成像系统接收包括开放空间和身体组织的体腔的三维图像，以及从具有位置传感器并插入体腔内的医疗探头接收指示医疗探头的远侧末端在传感器坐标系中的位置的信号。将图像坐标系与传感器坐标系配准，以便在所指示的位置处识别三维图像中的一个或多个体素，以及当所识别的体素在所接收的三维图像中具有不对应于开放空间的密度值时，将所识别的体素的密度值更新以对应于开放空间。又如，美国专利申请公布2014/0147027描述了一种成像校正系统，该成像校正系统包括被配置成从不同方位生成感兴趣区域的成像体积的跟踪超声成像探头。图像补偿模块被配置成处理来自与探头相关联的超声成像装置的图像信号，并且将一个或多个超声图像体积与参考诸如CT图像进行比较，以利用图像补偿模块确定超声成像中的畸变并且基于对畸变的补偿生成校正的超声图像以供显示。图像引导外科手术(IGS)诸如上文所述的外科手术为一种这样的技术：其中使用计算机来获得已经插入患者体内的器械的位置与手术前获得的图像集合(例如，CT或MRI扫描、3D标测图等)的实时相关性，使得计算机系统可在手术前获得的图像上叠加器械的当前位置。可用于IGS手术中的电磁IGS导航系统的示例为由Biosense-Webster,Inc.(Irvine,California)提供的3系统。在一些IGS规程中，在外科手术之前获得手术区的数字断层扫描(例如，CT或MRI、3D标测图等)。然后使用专门编程的计算机将数字断层扫描数据转化成数字标测图。在外科手术过程中，具有方位传感器(例如，发出电磁场和/或响应于外部生成电磁场的电磁线圈)的特殊器械用于执行规程，同时传感器向指示每个外科器械的当前方位的计算机发送数据。该计算机将从传感器接收的数据与由手术前断层扫描生成的数字地图相关联。断层扫描图像连同指示器(例如，十字准线或照亮点等)一起示于视频监视器上，从而示出每个外科器械相对于扫描图像中所示解剖结构的实时方位。即使外科医生不能直接在体内器械当前位置处目视查看其本身，但外科医生能够通过查看视频监视器而了解每个配备传感器的器械的确切方位。虽然IGS导航系统在外科规程期间提供有用的视图和信息，但是外科医生还可能期望正被操作的解剖结构的实时相片和视频。在此类情况下，内窥镜可借助于IGS导航部署到手术部位，以便采集解剖结构的图像；并且还可与其他外科器械诸如切割器械、消融器械、扩张导管等配对或以其他方式部署。以这种方式采集的摄影图像和视频可能比IGS导航图像更有用，该IGS导航图像可仅提供通用图像和模拟图像。另选地，以此方式采集的摄影图像和视频可为IGS导航图像提供有用的补充。相比于外科医生的直接视觉观察，由常规内窥镜采集的图像也可在一定程度上受到限制，因为利用常规内窥镜采集的图像可限于解剖结构的二维(2D)表示。诸如切割、消融、扩张等操作可使用2D内窥镜检查和IGS导航的组合来执行，这两者均不能提供可用于真实三维(3D)观察的深度感。在不借助于3D观察的情况下操纵和操作外科手术工具可增加定位工具所花费的时间；并且可增加出错的可能性。虽然存在一些3D内窥镜相机，但它们具有高复杂性和高成本；并且可具有使其难以或不可能用于一些规程的刚性和非柔性部分。具有柔性和3D特征两者的具体实施可需要昂贵且易碎的光纤部件以将所采集的图像从远侧相机传输到近侧观察者。因此，用于3D内窥镜检查的常规选择可能为昂贵的，具有有限的可用特征，并且不适用于大量使用和可处置性。尽管已研制出若干系统和方法并用于外科规程，但是据信，本专利技术人之前尚未有人研制出或使用所附权利要求书中所描述的专利技术。
技术实现思路
本专利技术的实施方案提供了一种系统，所述系统包括医疗探头、方位和方向传感器、相机和处理器。所述医疗探头被配置成插入到患者的器官的腔内。所述方位和方向传感器位于所述医疗探头中并且在传感器坐标系中操作。所述相机位于所述医疗探头的远侧边缘中并且在传感器坐标系中操作。所述处理器被配置成：(a)从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的所述腔的三维图像；(b)从所述医疗探头接收指示所述医疗探头的所述远侧边缘在所述腔内的方位和相应方向的信号；(c)从所述探头的所述相机接收所述腔内的相应可视化位置；(d)将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及(e)当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。在一些实施方案中，所述成像系统包括计算机断层摄影扫描仪。在一些实施方案中，所述方位和方向传感器包括磁场传感器。在一个实施方案中，所述处理器被配置成形成所述密度值与视觉效果之间的对应性，其中给定视觉效果对应于指示所述开放空间的给定密度值。在另一个实施方案中，所述视觉效果选自由颜色、阴影和图案组成的组。在一些实施方案中，所述处理器被配置成使用所述视觉效果在显示器上呈现所述三维图像。在其他实施方案中，所述给定视觉效果包括第一给定视觉效果，并且其中在更新所述密度值之前，所述处理器被配置成通过使用不同于所述第一给定视觉效果的第二给定视觉效果呈现所述一个或多个所识别的体素来呈现所述三维图像。在一个实施方案中，在更新所述密度值时，所述处理器被配置成通过使用所述第一给定视觉效果呈现所述一个或多个所识别的体素来呈现所述三维图像。在另一个实施方案中，所述处理器被配置成使用多视图三角形划分模型从所述视觉信号提取位置距所述相机的距离。根据本专利技术的实施方案，还提供了一种方法，所述方法包括从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的患者的器官的腔的三维图像。从具有方位和方向传感器以及相机的医疗探头接收指示所述医疗探头的远侧边缘在所述腔内的方位和相应方向的信号，其中所述探头在传感器坐标系中操作并插入到所述腔内。将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素。当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的密度值更新以对应于所述开放空间。根据本专利技术的实施方案，还提供了一种与探头结合操作的计算机软件产品，所述探头被配置用于插入到患者的器官的腔内并且包括在传感器坐标系中操作的方位和方向传感器以及本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n医疗探头，所述医疗探头配置成插入到患者的器官的腔中；/n位于所述医疗探头中的方位和方向传感器，所述方位和方向传感器在传感器坐标系中操作；/n位于所述医疗探头的远侧边缘中的相机，所述相机在传感器坐标系中操作；以及/n处理器，所述处理器配置成：/n从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的所述腔的三维图像；/n从所述医疗探头接收指示所述医疗探头的所述远侧边缘在所述腔内的方位和相应方向的信号；/n从所述探头的所述相机接收所述腔内的相应可视化位置；/n将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及/n当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。/n

【技术特征摘要】
【国外来华专利技术】20181004 US 62/741403;20190930 US 16/5889551.一种系统，包括：
医疗探头，所述医疗探头配置成插入到患者的器官的腔中；
位于所述医疗探头中的方位和方向传感器，所述方位和方向传感器在传感器坐标系中操作；
位于所述医疗探头的远侧边缘中的相机，所述相机在传感器坐标系中操作；以及
处理器，所述处理器配置成：
从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的所述腔的三维图像；
从所述医疗探头接收指示所述医疗探头的所述远侧边缘在所述腔内的方位和相应方向的信号；
从所述探头的所述相机接收所述腔内的相应可视化位置；
将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及
当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。


2.根据权利要求1所述的系统，其中所述成像系统包括计算机断层摄影扫描仪。


3.根据权利要求1所述的系统，其中所述方位和方向传感器包括磁场传感器。


4.根据权利要求1-3中任一项所述的系统，其中所述处理器配置成形成所述密度值与视觉效果之间的对应性，其中给定视觉效果对应于指示所述开放空间的给定密度值。


5.根据权利要求4所述的系统，其中所述视觉效果选自由颜色、阴影和图案组成的组。


6.根据权利要求4所述的系统，其中所述处理器配置成使用所述视觉效果在显示器上呈现所述三维图像。


7.根据权利要求6所述的系统，其中所述给定视觉效果包括第一给定视觉效果，并且其中在更新所述密度值之前，所述处理器配置成通过使用不同于所述第一给定视觉效果的第二给定视觉效果呈现所识别的一个或多个体素来呈现所述三维图像。


8.根据权利要求7所述的系统，其中在更新所述密度值时，所述处理器配置成通过使用所述第一给定视觉效果呈现所识别的一个或多个体素来呈现所述三维图像。


9.根据权利要求4所述的系统，其中所述处理器配置成使用多视图三角形划分模型从所述视觉信号提取位置距所述相机的距离。


10.一种方法，包括：
从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的患者的器官的腔的三维图像；
从具有方位和方向传感器以及相机的医疗探头接收，其中所述探头在传感器坐标系中操作并插入到所述腔中：
指示所述医疗探头的远侧边缘在所述腔内的方位和相应方向的信号；和
所述腔内的相应可视化位置；
将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及
当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。


11.一种计算机软件产品，所述计算机软件产品与探头结合操作，所述探头配置用于插入到患者的器官的腔中并且包括在传感器坐标系中操作的方位和方向传感器以及在传感器坐标系中操作的位于所述医疗探头的远侧边缘中的相机，并且所述产品包括其中存储程序指令的非暂态计算机可读介质，所述指令在由计算机读取时，致使所述计算机：
从在图像坐标系中操作的成像系统接收包括开放空间和器官组织的所述腔的三维图像；
从所述医疗探头接收指示所述医疗探头的所述远侧边缘在所述腔内的方位和相应方向的信号；
接收所述腔的壁的相应可视化位置；
将所述图像坐标系与所述传感器坐标系配准，以便在所述可视化位置处识别所述三维图像中的一个或多个体素；以及
当所识别的体素在所接收的三维图像中具有不对应于所述开放空间的密度值时，将所识别的体素的所述密度值更新以对应于所述开放空间。


12.一种三维(3D)成像系统，其包括：
(a)内窥镜，所述内窥镜包括：
(i)具有远侧末端的轴，所述轴适于插入到患者体内并定位在所述患者的手术部位处，
(ii)方位传感器，所述方位传感器靠近所述远侧末端并配置成基于所述内窥镜在使用期间的所述位置产生方位信号集，和
(iii)成像模块，所述成像模块定位在所述远侧末端处并能够操作以采集所述手术部位的图像数据集，其中所述图像数据集包括一个或多个二维(2D)图像；以及
(b)处理器，所述处理器与所述内窥镜通信地联接并配置成：
(i)从所述内窥镜接收所述图像数据集和所述方位信号集，
(ii)基于所述方位信号集确定视角数据集，其中所述视角数据集指示所述内窥镜在所述一个或多个2D图像中的每个图像的采集期间的所述位置，
(iii)执行图像深度分析以确定所述一个或多个2D图像中的每个图像的3D特征集，其中所述3D特征集包括像素深度，
(iv)基于所述一个或多个2D图像和所述3D特征集来创建3D图像数据集，以及
(v)将所述视角数据集与所述3D图像数据集相关联；
其中所述图像深度分析包括选自由以下项的组成的组的技术：
(i)对所述一个或多个2D图像中的单个图像执行的波前采样技术，以及
(ii)对所述一个或多个2D图像中的两个图像的集执行的被动立体视觉技术，其中所述两个图像的集中的每个图像与相同的视角数据相关联。


13.根据权利要求12所述的3D成像系统，其中所述成像模块包括：
(i)单个镜头，
(ii)光圈板，所述光圈板定位在所述单个镜头的第一侧与所述手术部位之间，所述光圈板包括从所述单个镜头的光轴偏移的一个或多个光圈，以及
(iii)图像窗格，所述图像窗格定位在所述单个镜头的第二侧以经由所述一个或多个光圈和所述单个镜头接收来自所述手术部位的反射光，其中所述图像窗格配置成基于所述反射光产生所述图像数据集。


14.根据权利要求13所述的3D成像系统，其中：
(i)所述一个或多个光圈包括至少两个光圈，所述至少两个光圈定位在所述光圈板上并且从所述单个镜头的所述光轴偏移，并且
(ii)所述光圈板相对于所述镜头具有固定方位和取向。


15.根据权利要求13至3中任一项或多项所述的3D成像系统，其中：
(i)所述一个或多个光圈包括定位在所述光圈板上的从所述单个镜头的所述光轴偏移的单个光圈，并且
(ii)所述光圈板能够操作以在图像采集期间相对于所述镜头围绕所述光圈板的圆形轴线旋转。


16.根据权利要求13至4中任一项或多项所述的3D成像系统，其中所述处理器配置成在执行所述图像深度分析时：
(i)在所述图像数据集内识别所述手术部位的两个或更多个非聚焦图像，
(ii)确定所述手术部位的所述两个或更多个非聚焦图像之间的空间关系，以及
(iii)基于所述两个或更多个非聚焦图像之间的所述空间关系来确定所述图像数据集中的所述像素深度。


17.根据权利要求12至5中任一项或多项所述的3D成像系统，其中所述成像模块包括两个或更多个相机，并且其中所...

【专利技术属性】
技术研发人员：B·埃布拉希米，E·沙梅利，F·阿卡巴里安，J·帕卢西，A·戈瓦里，V·格莱纳，Y·阿尔加维，
申请(专利权)人：伯恩森斯韦伯斯特以色列有限责任公司，阿克拉伦特公司，
类型：发明
国别省市：以色列;IL