用于成像设备的姿态估计以及用于确定医疗设备相对于目标的位置的系统和方法技术方案

技术编号:25718259 阅读:33 留言:0更新日期:2020-09-23 03:02
用于从通过荧光镜成像设备获取的二维荧光镜图像构建在患者体内目标区域的基于荧光镜的三维体数据的系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】用于成像设备的姿态估计以及用于确定医疗设备相对于目标的位置的系统和方法
技术介绍
本公开涉及成像领域,并且尤其涉及成像设备的姿态估计以及身体器官的三维成像。对于各种应用,包括不同的成像样式之间的配准或增强现实的生成,可能需要或使用诸如照相机或荧光镜设备之类的成像设备的姿态估计。成像设备的姿态估计的一种已知用途是从处于不同姿态下的由成像设备捕获的一组二维图像构建三维体积。这种三维构造在医学领域中普遍使用并且具有重大影响。存在几种常用的医学方法,例如内窥镜检查程序或微创程序,用于治疗各种影响器官的疾病,包括肝、脑、心脏、肺、胆囊、肾和骨骼。通常,临床医生采用一种或多种成像样式,例如磁共振成像、超声成像、计算机断层扫描(CT)、荧光检查以及其它成像样式,以识别和导航到患者内的感兴趣区域并且最终到达目标进行治疗。在一些程序中,手术前扫描可以用于目标识别和手术中引导。然而,通常可能需要实时成像以获得目标区域的更准确和当前的图像。此外,可能需要显示医疗设备相对于目标以及其周围的当前位置的实时图像数据,以更安全和准确的方式将医疗设备导航至目标(例如对其它组织和器官没有不必要的损害或没有损害)。
技术实现思路
根据本公开的一个方面,提供了一种用于根据经由荧光镜成像设备获取的二维荧光镜图像来构建患者体内目标区域的基于荧光镜的三维体数据的系统。该系统包括标记结构和计算设备。该目标区域和标记结构的图像序列是通过荧光镜成像设备获得的。该计算设备被配置为基于对标记结构整体上在多个图像的每个图像上的可能和最可能的投影的检测,估计图像序列的多个图像的荧光镜成像设备的姿态,并根据荧光镜成像设备的估计姿态构建该目标区域的基于荧光镜的三维体数据。在一方面,该计算设备还被配置为促进医疗设备接近目标区域,其中,在获取图像序列之前,将医疗设备定位在目标区域中,并根据基于荧光镜的三维体数据确定医疗设备与目标之间的偏移。一方面,该系统还包括定位系统,其指示医疗设备在患者体内的位置。另外,该计算设备可以进一步被配置为显示目标区域和医疗设备相对于目标的位置,促进经由定位系统和显示器将医疗设备导航到目标区域,并基于所确定的医疗设备与目标之间的偏移校正医疗设备相对于目标的位置的显示。在一方面,该计算设备还被配置为在显示器上显示目标区域的3D渲染,并将定位系统配准到3D渲染,其中,校正医疗设备相对于目标的位置的显示包括更新定位系统和3D渲染之间的配准。在一方面,该定位系统是电磁定位系统。在一方面,该目标区域包括肺的至少一部分,并且该医疗设备可通过腔网络的气道导航到目标区域。在一方面,该标记结构是周期性图案或二维图案中的至少一个。该目标区域可以包括肺的至少一部分,并且目标可以是软组织目标。在本公开的又一方面,提供一种用于从通过荧光镜成像设备获取的目标区域和标记结构的二维(2D)荧光镜图像的序列在患者内构建目标区域的基于荧光镜的三维体数据的方法。该标记结构位于患者和荧光镜成像设备之间。该方法包括使用至少一个硬件处理器用于基于标记结构整体在多个图像的每个图像上的可能的和最可能的投影的检测,至少针对二维荧光镜图像的序列的多个图像,估计荧光镜成像设备的姿态,并且基于估计的荧光镜成像设备的姿态,构建目标区域的基于荧光镜的三维体数据。在一方面,在获取图像的序列之前将医疗设备定位在目标区域中,并且其中该方法还包括使用所述至少一个硬件处理器根据基于荧光镜的三维体数据来确定医疗设备与目标之间的偏移。在一个方面,该方法还包括经由指示医疗设备的位置的定位系统和经由显示器,促进将医疗设备导航到目标区域,以及基于所确定的医疗设备与目标之间的偏移,校正医疗设备相对于目标的位置的显示。在一方面,该方法还包括在显示器上显示目标区域的3D渲染,以及将定位系统配准到3D渲染,其中,医疗设备相对于目标的位置的校正包括更新定位系统与3D渲染的配准。在一方面,该方法进一步包括使用至少一个硬件处理器基于先前获取的目标区域的CT体数据来生成目标区域的3D渲染。在一方面,该目标区域包括肺的至少一部分并且该医疗设备可通过腔网络的气道导航到目标区域。在一方面,该标记结构是周期性图案或二维图案中的至少一个。该目标区域可以包括肺的至少一部分并且目标可以是软组织目标。在本公开的又一方面,提供一种系统,该系统用于从经由荧光镜成像设备获取的二维荧光镜图像构建患者体内目标区域的基于荧光镜的三维体数据。该系统包括计算设备,其被配置为基于对标记结构整体在多个图像的每个图像上的可能和最可能的投影的检测,估计图像序列的多个图像的荧光镜成像设备的姿态,并根据荧光镜成像设备的估计姿态构建目标区域的基于荧光镜的三维体数据。在一方面,该计算设备还被配置为促进医疗设备接近目标区域,其中在获取图像序列之前将医疗设备定位在目标区域中,并根据基于荧光镜的三维体数据来确定医疗设备和目标之间的偏移。在一方面,该计算设备还被配置为显示目标区域和医疗设备相对于目标的位置,经由定位系统和显示器促进将医疗设备导航到目标区域,并基于所确定的医疗设备与目标之间的偏移校正医疗设备相对于目标的位置的显示。在一方面,该计算设备还被配置为在显示器上显示目标区域的3D渲染,并将定位系统配准到3D渲染,其中,校正医疗设备相对于目标的位置的显示包括更新定位系统和3D渲染之间的配准。附图说明在附图中示出了各种示范性实施例,目的在于这些实例不是限制性的。应理解的是,为了说明的简单和清楚,以下参考的附图中所示的元件不一定按比例绘制。此外,在认为适当的情况下,可以在附图中重复附图标记以指示相似、对应或类似的元件。这些附图在下面列出。图1是根据本公开的一个方面的利用标记结构估计成像设备的姿态的方法的流程图;图2A是根据本公开的一个方面的被配置为与图1的方法一起使用的系统的示意图;图2B是根据本公开的一个方面的球形标记的二维网格结构的示意说明;图3示出了由KyotoKagaku的多用途胸部幻影N1“LUNGMAN”的人造胸部体积的荧光镜设备捕获的、放置在图2B的不透射线标记的网格结构上的示例性图像;图4是根据本公开的一个方面的为图3的图像生成的概率图;图5A-5C示出了图2B的球形标记的二维网格结构在覆盖在图4的概率图上的图3图像上的投影的不同的示例性候选;图6A示出了根据公开的一个方面的图2B的球形标记的二维网格结构在覆盖在图4的概率图上的图3图像上投影的选定候选;图6B示出了根据本公开的一个方面的图2B的球形标记的二维网格结构在覆盖在图4的概率图上的图3图像上的投影的改进候选;图6C示出了根据本公开的一个方面的用于图2B的球形标记的二维网格结构在覆盖在图4的概率图上的图3的图像300上的投影的进一步改进候选;图7是根据本公开的一个方面的用于构建荧光镜三维体数据的示例性方法的流程图;和图8是根据本公开的用于构建基于荧光镜的三维体数据的示例性系统的一个说明性实施例的视图。...

【技术保护点】
1.一种用于根据通过荧光镜成像设备获取的二维荧光镜图像,构建患者体内目标区域的基于荧光镜的三维体数据的系统,其包括:/n标记结构,其中所述目标区域和标记结构的图像序列通过所述荧光镜成像设备获取;和/n计算设备,其被配置为:/n基于对标记结构整体上在多个图像的每个图像上的可能和最可能的投影的检测,估计图像序列的多个图像的荧光镜成像设备的姿态;和/n根据所述荧光镜成像设备的估计姿态,构建所述目标区域的基于荧光镜的三维体数据。/n

【技术特征摘要】
【国外来华专利技术】20180208 US 62/628,017;20180312 US 62/641,777;20181.一种用于根据通过荧光镜成像设备获取的二维荧光镜图像,构建患者体内目标区域的基于荧光镜的三维体数据的系统,其包括:
标记结构,其中所述目标区域和标记结构的图像序列通过所述荧光镜成像设备获取;和
计算设备,其被配置为:
基于对标记结构整体上在多个图像的每个图像上的可能和最可能的投影的检测,估计图像序列的多个图像的荧光镜成像设备的姿态;和
根据所述荧光镜成像设备的估计姿态,构建所述目标区域的基于荧光镜的三维体数据。


2.根据权利要求1所述的系统,其中所述计算设备被进一步配置成:
促进医疗设备接近所述目标区域,其中在获取所述图像序列之前将医疗设备定位在所述目标区域中;和
根据基于荧光镜的三维体数据确定所述医疗设备与目标之间的偏移。


3.根据权利要求2所述的系统,还包括定位系统,其指示所述医疗设备在患者体内的位置,其中所述计算设备包括显示器并且被配置为:
显示所述目标区域和所述医疗设备相对于目标的位置;
通过所述定位系统和所述显示器促进所述医疗设备到所述目标区域的导航;和
基于所述医疗设备与目标之间的所确定的偏移校正所述医疗设备相对于目标的位置的显示。


4.根据权利要求3所述的系统,其中所述计算设备被进一步配置为:
在所述显示器上显示所述目标区域的3D渲染;和
将所述定位系统配准到所述3D渲染,其中校正所述医疗设备相对于目标的位置的显示包括更新所述定位系统和所述3D渲染之间的配准。


5.根据权利要求3所述的系统,其中所述定位系统是电磁定位系统。


6.根据权利要求3所述的系统,其中所述目标区域包括肺的至少一部分,并且所述医疗设备可通过管腔网络的气道导航到所述目标区域。


7.根据权利要求1所述的系统,其中所述标记结构是周期性图案或二维图案中的至少一种。


8.根据权利要求1所述的系统,其中所述目标区域包括肺的至少一部分,并且所述目标是软组织目标。


9.一种用于从通过荧光镜成像设备获取的目标区域和标记结构的二维(2D)荧光镜图像的序列构建患者体内目标区域的基于荧光镜的三维体数据的方法,其中所述标记结构位于所述患者和所述荧光镜成像设备之间,所述方法包括使用至少一个硬件处理器:
基于检测到所述标记结构整体上在多个图像的每个图像上的可能和最可能的投影,至少针对所述2D荧光镜图像的序列中的多个图像,估计所述荧光镜成像设备的姿态;和
基于所述荧光镜成像设备的估计姿态,构建所述目标区域的基于荧光镜的三维体数据。


10.根据权利要求9所述的方法,其中在获取所述图像序列之前将医疗设备定位在所述目标区域中,并且其中所述方法还包括使用所述至少一个硬件处理器根据所述基于荧光镜的三维体数据确定所述医疗设备与所述目标之间的偏移。


11.根据权利要求10所述的方法,其进一步包括使用所述至少一个硬件处理器:
通过指示所述医疗设备位置的定位系统和通过显示器,促进所述医疗设备到所述目标区域的导航;和
基于所述医疗设备与所述目标之间的所确定的偏移,校正所述医疗设备相对于所述目标的位置的显示。


12.根据权利要求11所述的方法,其进一步包括使用所述至少一个硬件处理器:
在所述显示器上显示所述目标区域的3D渲染;和
配准所述定位系统到所述3D渲染,
其中校正所述医疗设备相对于所述目标的位置包括更新所述定位系统至所述3D渲染的配准。


13.根据权利要求12所述的方法,还包括使用所述至少一个硬件处理器,基于先前获取的所述目标区域的CT体数据,生成所述目标区域的所述3D渲染。


14.根据权利要求10所述的方法,其中所述目标区域包括肺的至少一部分,并且其中所述医疗设备可通过管腔网络的气道导航到所述目标区域。


15.根据权利要求11所述的方法,其中所述标记结构是周期性图案或二维图案中的至少一种。


16.根据权利要求11所述的方法,其中所述目标区域包括肺的至少一部分,并且所述目标是软组织目标。


17.一种用于从通过荧光镜成像设备获取的二维荧光镜图像构建患者体内目标区域的基于荧光镜的三维体数据的系统,其包括:
计算设备,其被配置为:
基于标记结构整体在多个图像的每个图像上的可能和最可能的投影的检测,估计图像序列的多个图像的所述荧光镜成像设备的姿态;和
根据所述荧光镜成像设备的估计姿态,构建所述目标区域的基于荧光镜的三维体数据。


18.根据权利要求17所述的系统,其中所述计算设备被进一步配置成:
促进医疗设备接近所述目标区域,其中在获取所述图像序列之前将医疗设备定位在所述目标区域中;和
根据所述基于荧光镜的三维体数据,确定所述医疗设备与所述目标之间的偏移。


19.根据权利要求18所述的系统,还包括定位系统,所述定位系统指示所述医疗设备在患者体内的位置,其中所述计算设备包括显示器并且被配置为:
显示所述目标区域和所述医疗设备相对于所述目标的位置;
通过所述定位系统和所述显示器,促进所述医疗设备到所述目标区域的导航;和
基于所述医疗设备与目标之间的所确定的偏移,校正所述医疗设备相对于所述目标的位置的显示。


20.根据权利要求19所述的系统,其中所述计算设备被进一步配置成:
在显示器上显示所述目标区域的3D渲染;和
配准所述定位系统到所述3D渲染,其中校正所述医疗设备相对于目标...

【专利技术属性】
技术研发人员:R·巴拉克A·比仁鲍姆G·阿莱克斯安德罗尼O·P·维加藤
申请(专利权)人:柯惠有限合伙公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1