【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、手术机器人系统目前用于包括微创医疗程序在内的各种手术程序。一些手术机器人系统包括控制手术机械臂的外科医生控制台和具有联接至机械臂并由机械臂致动的末端执行器(例如，夹钳或抓握器械)的手术器械。在操作中，机械臂移动到患者上方的位置，然后经由患者的手术端口或自然孔口将手术器械引导到小切口中，以将末端执行器定位在患者体内的工作部位处。需要一种用于将术前成像与术间成像(例如，内窥镜视频馈送)和另一种术间成像模态(例如，超声成像、伽马探头、拉曼光谱学等)组合以便向外科医生提供精确的器械放置和组织边缘识别的系统。
技术实现思路
1、根据本披露内容的一个实施例，披露了一种成像系统。该成像系统包括腹腔镜超声探头，该腹腔镜超声探头被配置为通过进入端口被插入并获得组织的多个2d超声图像。该系统还包括腹腔镜相机，该腹腔镜相机被配置为捕获组织的视频流。该系统进一步包括图像处理装置，该图像处理装置被配置为接收由第一模态图像形成的组织的体积图像、由多个2d超声图像产生超声体积、将超声体积与组织的体积图像配准、以及产生组织的体积图像和多个2d超声图像中的2d超声图像的叠加物。该系统另外包括屏幕，该屏幕被配置为显示视频流，该视频流示出腹腔镜超声探头和从腹腔镜超声探头延伸的叠加物。
2、除了2d术中超声成像之外，还考虑了其他术中成像模态，其他术中成像模态包括伽马辐射、拉曼光谱、多光谱、时间分辨荧光光谱(ms-trfs)、自体荧光等。对应的探头可以是嵌入式的或工具集成的。
3、以
4、根据上述实施例的一个方面，可以通过仅视觉途径在腹腔镜单目或立体相机的视野中定位腹腔镜或机器人超声探头，而无需修改腹腔镜或机器人超声探头以包括任何物理基准标记。图像处理装置可以进一步被配置为基于关键点或虚拟基准标记在视频流中定位腹腔镜超声探头。图像处理装置可以进一步被配置为基于关键点或基准标记从视频流中估计腹腔镜或机器人超声探头的多个dof(例如，6个)姿态和取向。
5、图像处理装置可以进一步被配置为估计固持超声探头的抓取器器械的铰接姿态和取向。最后，图像处理装置可以被配置为通过对探头的姿态和取向以及固持探头的抓取器的姿态和取向进行组合来估计超声探头的姿态和取向。
6、另外，图像处理装置可以进一步被配置为根据腹腔镜单目或立体相机产生手术部位的密集深度图，以估计器械、探头和解剖结构在腹腔镜相机参考系中的3d位置。此外，图像处理装置还可以被配置为实施可变形视觉同时定位和映射(dv-slam)流水线以相对于世界坐标系(wcs)在随时间推移的每个获取的图像帧处在3d空间中定位腹腔镜相机。wcs可以与套管针有关联，腹腔镜内窥镜相机从该套管针被插入，在这种情况下，套管针在患者解剖结构上的位置是根据安装在机器人推车或塔上的多个外部相机估计的。wcs还可以与器械之一(例如操纵腹腔镜超声探头的抓取器器械)有关联，在这种情况下，套管针在患者解剖结构上的位置是通过将抓取器器械的轴分割成从腹腔镜相机捕获的多个图像并且计算与轴拟合的线之间的交点来估计的，因此对抓取器器械套管针的远程运动中心(rcm)进行定位。图像处理系统可以被配置为相对于wcs在每个腹腔镜相机图像中设置超声探头的位置和取向，从而相对于固定参考系传输所有图像。
7、图像处理装置还可以被配置为通过计算每个超声体素的值、通过在将每个超声图像放置在世界坐标系中之后在与对应体素重叠的超声图像切片像素的值之间进行插值来产生超声体积。
8、如上所述，在超声体积产生之前，使用来自立体视觉或一对单目图像的深度映射和dv-slam来相对于wcs定位腹腔镜相机。特别地，对相机的定位包括来自立体对的深度映射，接着是随时间推移对连续立体图像对进行dv-slam。深度映射提供了对物体离相机多远的单帧快照，而dv-slam提供了对相机在wcs中的定位。
9、可以针对单目相机或立体相机执行深度映射。立体相机深度估计比单目相机深度估计更容易且更可靠。可以使用单目相机输入或立体相机输入来执行dv-slam。使用单目相机输入的dv-slam无法可靠地解析比例因子(相机离场景有多远)，因为沿着3d点的同一条线存在多个解。
10、可变形视觉slam与来自立体重建的深度图的组合提供了相对于wcs定位相机的最可靠的方法。默认操作模式可以包括：1)通过使用经校准的立体内窥镜的立体重建或者通过使用单目腹腔镜的单目深度估计(即，深度映射)进行深度估计；以及2)在每一帧处利用来自经校准的立体相机对图像中的立体对进行dv-slam。
11、可以使用依赖于根据经校准的立体内窥镜图像进行的6个自由度(dof)探头姿态估计的方法来产生超声体积。通过根据立体内窥镜图像在立体内窥镜参考系中进行6dof探头姿态估计来在3d空间中定位超声探头。立体内窥镜相机本身可以位于与相机插入的套管针有关联的参考wcs中的3d空间中。立体重建和dv-slam用于根据由相机本身提供的图像来更新相机的位置。一旦在内窥镜图像中定位超声探头，就在与标志(例如，一个或多个套管针)有关联的静止参考wcs中跟踪探头的3d位置。对于6dof超声探头定位，在每个时间步长(即，帧)处根据立体对的两个图像来估计探头上的虚拟基准标记。然后，通过深度学习模型运行对检测到的关键点的姿态回归。在运行时间处，基于深度学习模型的神经网络在立体视频流的每个通道上分别执行以从每个流估计dof姿态。使用立体校准来组合来自每个通道的估计姿态(即，图像对中的左图像或右图像)。在一个实施例中，可以直接在立体对上训练神经网络，以从经矫正的立体对图像直接估计探头的6dof姿态。这在3d中定位探头dof。此外，图像处理装置还可以被配置为通过匹配多个超声图像的每个2d超声图像中的多个关键点来增强超声体积。图像处理装置可以另外被配置为基于由第一模态图像形成的组织的体积图像来产生3d模型，并且使3d模型变形以符合超声体积。
12、3d模型可以如下变形：分割2d/3d解剖目标表面并跟踪器械以将器械的运动与解剖结构隔离；通过跟本文档来自技高网...
【技术保护点】
1.一种成像系统，包括：
2.根据权利要求1所述的成像系统，其中，该图像处理装置进一步被配置为使用深度学习图像处理算法在该腹腔镜超声探头上产生多个虚拟基准标记。
3.根据权利要求2所述的成像系统，其中，该图像处理装置进一步被配置为基于这些虚拟基准标记在该视频流中定位该腹腔镜超声探头。
4.根据权利要求3所述的成像系统，其中，该图像处理装置进一步被配置为基于这些虚拟基准标记从该视频流中估计该腹腔镜超声探头的姿态和取向。
5.根据权利要求1所述的成像系统，其中，该腹腔镜相机是立体相机，并且该视频流包括一对立体图像流。
6.根据权利要求5所述的成像系统，其中，该图像处理装置进一步被配置为基于该一对立体图像流使用可变形视觉同时定位和映射(DV-SLAM)流水线在该世界坐标系中定位该腹腔镜相机和该腹腔镜超声探头。
7.根据权利要求1所述的成像系统，其中，该图像处理装置进一步被配置为基于来自脉冲血氧计设备的呼吸数据来补偿该超声体积响应于呼吸运动的变形。
8.根据权利要求1所述的成像系统，其中，该图像处理装置进
9.根据权利要求1所述的成像系统，其中，该图像处理装置进一步被配置为基于由该第一模态图像形成的该组织的体积图像来产生3D模型；以及
10.根据权利要求9所述的成像系统，其中，该图像处理装置进一步被配置为使用神经网络将该3D模型的切片迁移到该超声体积的对应2D超声图像。
11.根据权利要求1所述的成像系统，进一步包括腹腔镜成像探头，该腹腔镜成像探头选自由以下各项组成的组：伽马辐射探头、拉曼光谱探头、多光谱探头、时间分辨荧光光谱(ms-TRFS)探头、以及自体荧光探头。
12.一种手术机器人系统，包括：
13.根据权利要求12所述的手术机器人系统，其中，该图像处理装置进一步被配置为基于该第一机械臂的运动学数据来定位该腹腔镜超声探头。
14.根据权利要求12所述的手术机器人系统，其中，该图像处理装置进一步被配置为使用深度学习图像处理算法在该腹腔镜超声探头上产生多个虚拟基准标记。
15.根据权利要求14所述的手术机器人系统，其中，该图像处理装置进一步被配置为基于这些虚拟基准标记在该视频流中定位该腹腔镜超声探头。
16.根据权利要求15所述的手术机器人系统，其中，该图像处理装置进一步被配置为基于这些虚拟基准标记从该视频流中估计该腹腔镜超声探头的姿态和取向。
17.根据权利要求12所述的手术机器人系统，其中，该腹腔镜相机是立体相机，并且该视频流包括一对立体图像流。
18.根据权利要求17所述的手术机器人系统，其中，该图像处理装置进一步被配置为基于该一对立体图像流使用可变形视觉同时定位和映射(DV-SLAM)流水线在该世界坐标系中定位该腹腔镜相机和该腹腔镜超声探头。
19.一种用于组织的术中成像的方法，该方法包括：
20.根据权利要求19所述的方法，进一步包括：
21.根据权利要求20所述的方法，进一步包括：
22.一种成像系统，包括：
23.根据权利要求22所述的成像系统，其中，该术中成像装置是腹腔镜超声探头，并且该术前成像模态是至少一个MRI或CT。
...【技术特征摘要】
【国外来华专利技术】
1.一种成像系统，包括：
2.根据权利要求1所述的成像系统，其中，该图像处理装置进一步被配置为使用深度学习图像处理算法在该腹腔镜超声探头上产生多个虚拟基准标记。
3.根据权利要求2所述的成像系统，其中，该图像处理装置进一步被配置为基于这些虚拟基准标记在该视频流中定位该腹腔镜超声探头。
4.根据权利要求3所述的成像系统，其中，该图像处理装置进一步被配置为基于这些虚拟基准标记从该视频流中估计该腹腔镜超声探头的姿态和取向。
5.根据权利要求1所述的成像系统，其中，该腹腔镜相机是立体相机，并且该视频流包括一对立体图像流。
6.根据权利要求5所述的成像系统，其中，该图像处理装置进一步被配置为基于该一对立体图像流使用可变形视觉同时定位和映射(dv-slam)流水线在该世界坐标系中定位该腹腔镜相机和该腹腔镜超声探头。
7.根据权利要求1所述的成像系统，其中，该图像处理装置进一步被配置为基于来自脉冲血氧计设备的呼吸数据来补偿该超声体积响应于呼吸运动的变形。
8.根据权利要求1所述的成像系统，其中，该图像处理装置进一步被配置为通过匹配该多个2d超声图像中的每个2d超声图像中的多个关键点来产生该超声体积；以及
9.根据权利要求1所述的成像系统，其中，该图像处理装置进一步被配置为基于由该第一模态图像形成的该组织的体积图像来产生3d模型；以及
10.根据权利要求9所述的成像系统，其中，该图像处理装置进一步被配置为使用神经网络将该3d模型的切片迁移到该超声体积的对应2d超声图像。
11.根据权利要求1所述的成像系统，进一步包括腹腔镜成像探头，该腹腔镜成像...
【专利技术属性】
技术研发人员：费萨尔·I·巴希尔，迈尔·罗森贝格，
申请(专利权)人：柯惠LP公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。