术中立体内窥视频与超声图像增强现实算法制造技术

一种术中立体内窥视频与超声图像增强现实算法，用以对待测部位进行多模态的图像配准，所述术中立体内窥视频与超声图像增强现实算法至少包括如下步骤：获取第一图像及所述第一图像的空间位置信息；获取第二图像及所述第二图像的空间位置信息；及将所述第一图像及所述第二图像进行叠加融合，生成第三图像。本发明专利技术实施例提供的术中立体内窥视频与超声图像增强现实算法，通过将实时的超声图像与立体内窥镜图像融合在一起，减少了手术过程中不同模态图像的融合过程，潜在的提高了手术效率。

【技术实现步骤摘要】

本专利技术涉及医学成像领域，尤其涉及一种。
技术介绍
图像引导外科(image-guidedsurgery, IGS)或手术导航(Surgical Navigation)是近些年迅速发展的微创外科(Minimally Invasive Surgery, MIS)技术之一。IGS技术运用多种医学成像设备为手术治疗制定有效的治疗方案、实施术中导航，可有效降低手术的创伤并提高治疗的精度。随着生物医学领域技术进步发展，从微创检测设备发展到无创检测设备，如内窥镜、超声，核磁，计算机断层扫描(Computed Tomography,CT)等设备,越来越多的成像设备出现，实现了不同模态的医学成像，从不同角度反映了人体信息。多模态图像引导外科(multimodal image-guided surgery, MIS)把术中图像与术前图像进行融合,或者省略掉术前成像，其可为医生提供了更多的辅助信息。因此，MIS是近年来IGS领域的研究热点之一。IGS的应用给外科手术带来了极大的便利，但其仍有不足，比如医生在手术中不得不一边看人体组织的3D显示，一边将3D显示与病人真实的解剖组织进行对应。近年来增强现实(Augmented Reality, AR)技术的出现,为IGS带来了更直观的方法。现有的腹腔镜手术的AR可视化方案,大多是把术前医学图像,如磁共振图像(Magnetic ResonanceImaging,MRDXT图像等医学图像，通过图像配准方法叠加到术中的内窥镜视频中。然而，现有的配准方法，如基于术前CT图像器官形变模型的实时非刚性配准方法，并不能反映气腹时器官的解剖学变化。此外还有其他的配准方法，但它们都存在缺陷，如:术前图像无法正确准确地描述手术时形变的解剖学结构；图像-视频配准主要是刚性，而软组织器官变形在整个手术过程中是非刚性的；手动或半自动带来的主观的配准误差。因此，上述配准方法都无法实现在手术过程中不同模态图像的融合，导致手术效率和成功率，无法满足使用要求。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种，其通过将实时的超声图像与立体内窥镜图像融合在一起，不但实现了手术过程中不同模态图像的融合，而且提高了手术效率和成功率。为了解决上述技术问题，本专利技术提供了一种，用以对待测部位进行多模态的图像配准，所述至少包括如下步骤:获取第一图像及所述第一图像的空间位置信息；获取第二图像及所述第二图像的空间位置信息；及将所述第一图像及所述第二图像进行叠加融合，生成第三图像。其中，所述第一图像为超声图像。其中，所述获取第一图像及所述第一图像的空间位置信息，包括:利用超声探头扫描标定模板，进行超声图像的标定；利用所述超声探头扫描所述待测部位，以获得所述待测部位对应的第一图像；及根据所述第一图像，构建出第一超声图像及第二超声图像，以获得所述第一超声图像及第二超声图像的空间位置信息。其中，所述超声图像的标定包括:通过变换矩阵，获取所述标定模板上的点与所述超声图像上的点的对应关系。其中，所述获取第二图像及所述第二图像的空间位置信息，包括:获取第二图像，所述第二图像包括左通道图像及右通道图像；及计算所述左通道图像及右通道图像的空间位置信息。 其中，所述第一超声图像具有与所述左通道图像相同的偏振方向，所述第二超声图像具有与所述右通道图像相同的偏振方向。其中，所述第一图像与所述第二图像叠加融合时，所述第一超声图像与所述左通道图像进行叠加融合，所述第二超声图像与所述右通道图像进行叠加融合。其中，在将所述第一图像及所述第二图像进行融和，以生成第三图像之后，还包括:将所述第三图像处理生成3D格式图像信号流，并传输至立体显示器。其中，在对所述第三图像进行打包格式化并处理生成三维格式图像信号流，并传输至立体显示器之后，还包括:在立体显示器上显示所述3D格式图像信号流，以处理并生成所需的图像。其中，所述第二图像为立体内窥镜图像。本专利技术实施例提供的，通过将所述超声探头10扫描获得的第一图像及所述立体内窥镜扫描获得的第二图像进行处理后叠加融合在一起并形成第三图像，所述第三图像经打包格式化并处理生成三维格式的图像信号流后，在所述立体显示器上显示出来，所述第三图像同时包括了所述第一图像及第二图像的信息，从而达到了增强现实的目的。本专利技术实施例提供的，所述超声图像及立体内窥镜图像都是实时的，因而能及时反应所述待测部位的准确信息，从而提高了手术的效率和精度。【附图说明】为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的的流程示意图。图2是腹腔镜系统的坐标变换示意图。图3(a)至图3(c)是将所述第一图像与所述第二图像融合得到第三图像的示意图。【具体实施方式】下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术实施例提供一种，用以对待测部位进行多模态的图像配准，以获得具有增强现实效果的图像信息。该至少包括如下步骤。S101，获取第一图像及所述第一图像的空间位置信息。请一并参阅图2，在本专利技术的实施例中，所述第一图像可为超声图像，所述步骤SlOl包括:首先，利用超声探头扫描标定模板，进行超声图像的标定；在本专利技术实施例中，可利用腹腔镜系统进行图像的采集和配准，所述图像可为但并不限于超声图像或立体内窥图像。所述腹腔镜系统包括超声探头10、标定模板20及定位跟踪器30，所述超声探头10在对所述待测部位，如人体或其他动物内部的器官，如肺、肝或其他器官，进行扫描前，需先利用所述标定模板20进行超声图像标定。其中，所述标定模板可为带有固定间距图案阵列的平板，如带有等间距实心圆阵列图案的平板或带有国际象棋盘图案的平板等，其可用以校正镜头畸变、确定物理尺寸和像素间的换算关系以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。在本专利技术实施例中，通过所述超声探头10拍摄所述标定模板20、经过标定算法的计算，所述腹腔将系统可以获得所述超声探头10的几何模型和位置信息，从而得到高精度的测量和重建结果。具体为，所述腹腔镜系统包括4个坐标系，分别为所述标定模板20的坐标系M (坐标原点为Om)，所述定位跟踪器30的坐标系C(坐标原点为O。)、所述超声探头10的坐标系D(坐标原点为Od)及超声图像的坐标系I (坐标原点为O1)。其中，所述坐标系C到所述坐标系M的变换矩阵为Tqi,所述坐标系D到所述坐标系C的变换矩阵为TD。，所述坐标系I到所述坐标系D的变换矩阵为TID。所述超声探头10发射超声声束至所述标定模板20并生成超声图像，超声声束平面与所述标定模板20的坐标系M三个坐标轴分别交于点F、G、H(与所述坐标系M的X轴交于点F，与所述坐标系M的Y轴交于点G，与所述坐标系M的Z轴交于点H)。在超声图像的标定过程中，所述坐标系M与所述本文档来自技高网...

【技术保护点】
一种术中立体内窥视频与超声图像增强现实算法，用以对待测部位进行多模态的图像配准，其特征在于，所述术中立体内窥视频与超声图像增强现实算法至少包括如下步骤：获取第一图像及所述第一图像的空间位置信息；获取第二图像及所述第二图像的空间位置信息；及将所述第一图像及所述第二图像进行叠加融合，生成第三图像。

【技术特征摘要】
1.一种术中立体内窥视频与超声图像增强现实算法，用以对待测部位进行多模态的图像配准，其特征在于，所述术中立体内窥视频与超声图像增强现实算法至少包括如下步骤: 获取第一图像及所述第一图像的空间位置信息； 获取第二图像及所述第二图像的空间位置信息；及 将所述第一图像及所述第二图像进行叠加融合，生成第三图像。2.根据权利要求1所述的算法，其特征在于，所述第一图像为超声图像。3.根据权利要求2所述的算法，其特征在于，所述获取第一图像及所述第一图像的空间位置信息，包括: 利用超声探头扫描标定模板，进行超声图像的标定； 利用所述超声探头扫描所述待测部位，以获得所述待测部位对应的第一图像；及 根据所述第一图像，构建出第一超声图像及第二超声图像，以获得所述第一超声图像及第二超声图像的空间位置信息。4.根据权利要求3所述的算法，其特征在于，所述超声图像的标定包括: 通过变换矩阵，获取所述标定模板上的点与所述超声图像上的点的对应关系。5.根据权利要求3所述的算法，其特征在于，所述获取第二图像及所述第二...

【专利技术属性】
技术研发人员：李凌，辜嘉，秦文健，羽家平，肖华，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44