一种用于内窥镜三维导航的图像融合系统和方法技术方案

本发明专利技术公开一种用于内窥镜三维导航的图像融合系统和方法。该系统包括图形工作站、光学定位标记、光学定位系统、内窥镜系统，其中图形工作站用于导入检查前三维图像并进行重建和后处理，提取病灶及其周围组织结构的图像点云数据和光学点云数据，基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；基于内窥镜的实时空间位置，实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示。利用本发明专利技术，将内窥镜视野二维图像与检查前三维图像相结合，为医生进行内窥镜检查提供丰富的图像信息用于辅助诊断。用于辅助诊断。用于辅助诊断。

【技术实现步骤摘要】
一种用于内窥镜三维导航的图像融合系统和方法


[0001]本专利技术涉及内窥镜图像的
，尤其涉及一种用于内窥镜三维导航的图像融合系统和方法。

技术介绍

[0002]CT/MR等三维图像数据提供了患者身体组织丰富的解剖信息，包括病灶及其与周围组织结构如血管的空间位置关系等。在医学图像引导的介入治疗过程中，医生通过参考患者的三维图像确定病灶与周围组织血管的相对空间位置关系，避免在检查和治疗过程中伤害患者重要的解剖组织结构。
[0003]内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，可以经口腔进入胃内或经其他天然孔道进入体内。因此可以看到X射线不能显示的病变，借助内窥镜医生可以观察如胃内的溃疡或肿瘤，据此为患者制定出最佳的治疗方案。
[0004]然而，内窥镜视野范围有限，很难看清楚病灶全貌，同时无法准确分辨病灶与周围组织血管的空间关系，另外，由于内窥镜在患者体内，医生无法准确分辨其当前在患者体内的具体位置，可能对病灶的定位引入误差。

技术实现思路

[0005]针对现有技术中存在的上述技术问题，本专利技术提供了一种用于内窥镜三维导航的图像融合系统，可以将检查前CT/MR等三维影像与内窥镜当前视野图像实时融合显示。通过在内窥镜上安装光学定位标记实时定位其空间位置，医生利用内窥镜多角度扫描查看病灶及其周围的组织结构，软件利用多帧内窥镜图像重建出病灶及其周围组织结构的空间点云，并与CT/MR等三维影像中提前分割重建完成的点云进行配准，完成人体空间与术前三维影像空间的配准，之后通过实时移动内窥镜，软件提供当前内窥镜视野中的三维影像并与内窥镜图像进行叠加显示。
[0006]本专利技术实施例提供了一种用于内窥镜三维导航的图像融合系统，包括图形工作站、光学定位标记、光学定位系统、内窥镜系统，其中，图形工作站用于导入检查前三维图像并进行重建和后处理，提取病灶及其周围组织结构的图像点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据，基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；基于内窥镜的实时空间位置，实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示；光学定位标记安装在内窥镜上；光学定位系统用于实时追踪光学定位标记的空间位置；内窥镜系统用于内窥镜检查。
[0007]本专利技术实施例还提供了一种用于内窥镜三维导航的图像融合方法，包括：将检查前三维图像导入图形工作站；图形工作站分割病灶及其周围组织结构，输出分割结果的二
维图像，将二维图像转换为只有轮廓的三角面片，进一步提取病灶及其周围组织结构的图像点云数据；在内窥镜上安装光学定位标记，设置光学定位系统用于实时追踪光学定位标记的空间位置；利用内窥镜捕捉病灶及其周围组织结构的多帧二维视野图像；基于多帧二维视野图像，图形工作站将多帧二维视野图像重建为光学定位标记所关联的光学定位空间的三维点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据；图形工作站基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；图形工作站计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；移动内窥镜，基于内窥镜的实时空间位置，图形工作站实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示。
[0008]在一些实施例中，所述光学定位标记为用于光学定位的反光小球或者黑白棋盘格。
[0009]在一些实施例中，基于内窥镜视角坐标系到光学定位标记坐标系的空间变换、光学定位标记坐标系到光学定位系统坐标系的空间变换、光学定位系统坐标系到检查前三维图像坐标系的空间变换来得到所述内窥镜视角坐标系到检查前三维图像坐标系的空间变换。
[0010]与现有技术相比，本专利技术实施例的有益效果在于：
[0011]1、将内窥镜视野二维图像与检查前三维图像相结合，为医生进行内窥镜检查提供丰富的图像信息用于辅助诊断；
[0012]2、检查前三维图像可提供病灶与周围组织结构清晰完整的3D地图，方便医生进行内窥镜检查时实时多角度观察病灶与周围组织结构三维空间的相对位置关系；
[0013]3、基于点云配准算法自动完成人体空间与术前三维影像空间的配准，节省手动配准时间。
附图说明
[0014]图1为本专利技术实施例的用于内窥镜三维导航的图像融合系统的结构框图。
[0015]图2为各坐标系的空间变换的示意图。
[0016]图3为本专利技术实施例的基于内窥镜图像重建三维场景的方法的流程图。
[0017]图4为内窥镜图像与当前视野三维影像叠加显示的示意图。
具体实施方式
[0018]下面，结合附图对本专利技术的具体实施例进行详细的描述，但不作为本专利技术的限定。通过参照附图对给定为非限制性实例的实施例的优选形式的描述，本专利技术的这些和其它特性将会变得显而易见。
[0019]本专利技术实施例提供了一种用于内窥镜三维导航的图像融合系统。
[0020]图1为本专利技术实施例的用于内窥镜三维导航的图像融合系统的结构框图。
[0021]用于内窥镜三维导航的图像融合系统包括图形工作站、光学定位标记、光学定位系统、内窥镜系统。
[0022]图形工作站用于导入检查前三维图像并进行重建和后处理，提取病灶及其周围组织结构的图像点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据，
基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；基于内窥镜的实时空间位置，实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示。
[0023]光学定位标记安装在内窥镜上，例如可以在输尿管镜末端安装用于光学定位的反光小球或者黑白棋盘格。
[0024]光学定位系统用于实时追踪光学定位标记的空间位置。例如可以使用双目相机基于双目定位原理实时追踪安装在内窥镜上的光学定位标记如反光小球或者黑白棋盘格的空间位置。
[0025]内窥镜系统用于常规内窥镜检查。内窥镜系统是现有常规的，因此不再赘述。
[0026]图3为本专利技术实施例的用于内窥镜三维导航的图像融合方法的流程图。本专利技术的用于内窥镜三维导航的图像融合方法的步骤为；
[0027]步骤S100，导入检查前三维图像。
[0028]在该步骤中，将患者检查前的三维图像数据导入图形工作站，三维图像数据例如CT图像、MR图像、三维超声图像、PET/CT图像等。
[0029]步骤S200，图形工作站可基于阈值分割、活动轮廓、稀疏场水平集、深度学习等算法自动分割病灶及其周围组织结构，输出分割结果的二维图像，利用等值面提取等算法将二维图像转换为只有轮廓的三角面片，进一步提取病灶及其周围组织结构的图像点云数据；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于内窥镜三维导航的图像融合系统，其特征在于，包括图形工作站、光学定位标记、光学定位系统、内窥镜系统，图形工作站用于导入检查前三维图像并进行重建和后处理，提取病灶及其周围组织结构的图像点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据，基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；基于内窥镜的实时空间位置，实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示；光学定位标记安装在内窥镜上；光学定位系统用于实时追踪光学定位标记的空间位置；内窥镜系统用于内窥镜检查。2.根据权利要求1所述的用于内窥镜三维导航的图像融合系统，其特征在于，所述光学定位标记为用于光学定位的反光小球或者黑白棋盘格。3.根据权利要求1所述的用于内窥镜三维导航的图像融合方法，其特征在于，基于内窥镜视角坐标系到光学定位标记坐标系的空间变换、光学定位标记坐标系到光学定位系统坐标系的空间变换、光学定位系统坐标系到检查前三维图像坐标系的空间变换来得到所述内窥镜视角坐标系到检查前三维图像坐标系的空间变换。4.一种用于内窥镜三维导航的图像融合方法，其特征在于，包括：将检查前三维图像导入图形工作站；图形工作站...

【专利技术属性】
技术研发人员：李冬瑞，杜成旭，冯文丰，张腾飞，
申请(专利权)人：河北医科大学第二医院，
类型：发明
国别省市：