可见光和近红外荧光3D融合图像内窥镜系统技术方案

本发明专利技术涉及一种可见光和近红外荧光3D融合图像内窥镜系统，属于内窥镜成像系统技术领域。解决了如何实现可见光彩色3D图像和近红外荧光3D图像的同时获取和显示的问题。本发明专利技术的3D融合图像内窥镜系统，包括可见光近红外激发光源、双目内窥成像系统、分束镜、可见光成像子系统、近红外荧光成像子系统、图像处理融合模块和3D图像显示系统。该3D融合图像内窥镜系统通过分束镜把双目内窥成像系统所成的双目图像分成两路，分别获取可见光彩色3D图像信息和近红外荧光3D图像信息，实现可见光彩色3D图像和近红外荧光3D图像的实时同时获取，经过适当的图像处理和融合，最终实现可见光彩色3D图像和近红外荧光3D图像的实时同时显示。

3D fusion image endoscope system of visible light and near infrared fluorescence

【技术实现步骤摘要】
可见光和近红外荧光3D融合图像内窥镜系统
本专利技术属于内窥镜成像系统
，具体涉及一种可见光和近红外荧光3D融合图像内窥镜系统，该内窥镜系统尤其适用于手术导航。
技术介绍
在临床外科手术中，如何准确判断肿瘤组织边缘进行精准的组织切除是手术成功与否的关键。当前的手术中，主要还是依靠医生的人眼判断，这需要医生有充足的经验，故对医生自身条件要求很高。虽然现有的2D图像内窥镜系统可以进行肿瘤组织边缘的实时显示，但是该类内窥镜系统不能实现可见光和近红外荧光的同时显示，需要进行工作状态的切换，为手术流程带来了不便，延长了手术时间。另外，随着内窥成像技术的发展，3D内窥成像逐渐成为微创手术中不可或缺的器械。3D内窥成像相比现有2D内窥镜，可以获取场景的深度信息，更能反映场景真实情况，使医生“身临其境”般感受到手术部位的状况，从而更好地掌控手术流程。但是，现有技术中没有能够实现可见光和近红外荧光3D图像的同时获取和显示的内窥镜系统。
技术实现思路
为了解决现有技术中存在的技术问题，实现可见光和近红外荧光3D图像的同时获取和显示，本专利技术提出一种可见光和近红外荧光3D融合图像内窥镜系统。本专利技术解决上述技术问题采取的技术方案如下。可见光和近红外荧光3D融合图像内窥镜系统，包括可见光近红外激发光源、双目内窥成像系统、分束镜、可见光成像子系统、近红外荧光成像子系统、图像处理融合模块和3D图像显示系统；所述可见光近红外激发光源为双目内窥成像系统同时提供可见光照明和近红外荧光激发光照明；所述双目内窥成像系统采集具有水平视差的双目图像；所述分束镜将双目图像分成两束，一束进入可见光成像子系统，另一束进入近红外荧光成像子系统；所述可见光成像子系统把经分束镜入射的双目图像中的可见光信息采样为数字图像并传输至图像处理融合模块；所述近红外荧光成像子系统把经分束镜入射的双目图像中的近红外荧光信息采样为数字图像并传输至图像处理融合模块；所述图像处理融合模块将可见光成像子系统输出的数字图像和近红外荧光成像子系统输出的数字图像分别进行预处理，将预处理后的可见光成像子系统输出的数字图像和近红外荧光成像子系统输出的数字图像进行图像融合，得到的3D融合图像，并对得到的3D融合图像进行3D编码后传输至3D图像显示系统；所述3D图像显示系统将接收的3D编码显示为3D图像。进一步的，所述可见光近红外激发光源为集成了可见光冷光源和近红外荧光激发光源的光源，可见光冷光源的工作波段为400-700nm，近红外荧光激发光源为785nm激光。进一步的，所述双目内窥成像系统的工作波段为400-1000nm。进一步的，所述双目内窥成像系统包括镜体外管、第二光纤、镜体内管、第一固定件和单管内窥镜；第一固定件为圆柱体，第一固定件上设有两个轴向通孔，在第一固定件的径向横截面上，两个轴向通孔相对于径向横截面的圆心中心对称；镜体内管和镜体外管从内至外依次套装在第一固定件外，且三者同轴设置，镜体内管的内壁固定在第一固定件的外壁上；第二光纤为多根，固定在镜体内管的外壁和镜体外管的内壁之间，且第二光纤的长度方向沿第一固定件轴向设置；单管内窥镜为两个，分别固定在第一固定件的两个轴向通孔内，单管内窥镜的工作波段为400-1000nm；镜体外管、第二光纤、镜体内管、第一固定件和单管内窥镜的后端水平对齐，前端位于同一个面上。更进一步的，该3D共成像内窥镜系统还包括第一光纤，镜体外管的后部的外壁上设有第一连接通孔，第一光纤的一端连接可见光近红外激发光源，另一端穿过第一连接通孔，与第二光纤连接。再进一步的，该3D共成像内窥镜系统还包括第二固定件，第二固定件为筒状结构，套装并固定在双目内窥成像系统后部的外壁外，第二固定件上设有与第一连接孔配合的第二连接孔，第一光纤的另一端依次穿过在第二连接孔和第一连接通孔，与第二光纤连接。进一步的，所述分束镜为全波段半反半透镜，反射光进入近红外荧光成像子系统，透射光进入可见光成像子系统。进一步的，所述分束镜为400-700nm透射800-1000nm反射的分束镜，或者为400-700nm反射800-1000nm透射的分束镜，400-700nm波段的分束光进入可见光成像子系统，800-1000nm波段的分束光进入近红外荧光成像子系统。进一步的，所述可见光成像子系统的工作波段在400-700nm；包括可见光中继光学系统和可见光彩色探测器，可见光中继光学系统把经分束镜入射的双目图像中的可见光信息成像到可见光彩色探测器上，可见光彩色探测器将接收的可见光中继光学系统的像采样为数字图像，并传输至图像处理融合模块。进一步的，所述近红外荧光成像子系统的工作波段在800-1000nm，包括近红外中继光学系统和近红外荧光探测器，近红外中继光学系统把经分束镜入射的双目图像中的近红外荧光信息成像到近红外荧光探测器上，近红外荧光探测器将接收的近红外中继光学系统的像采样为数字图像，并传输至图像处理融合模块。进一步的，所述3D图像显示系统为偏振3D显示器、3D头盔眼镜或快门式3D显示器。与现有技术相比，本专利技术的有益效果为：本专利技术的可见光和近红外荧光3D融合图像内窥镜系统，通过分束镜把双目内窥成像系统所成的双目图像分成两路，分别获取可见光彩色3D图像信息和近红外荧光3D图像信息，实现可见光彩色3D图像和近红外荧光3D图像的同时实时获取，经过适当的图像处理和融合，最终实现可见光彩色3D图像和近红外荧光3D图像的实时同时显示。本专利技术的可见光和近红外荧光3D融合图像内窥镜系统，无需工作状态切换，确保手术流程的连贯并提供实时有效的手术部位三维信息和荧光标记信息，帮助医生准确判断肿瘤组织边缘，辅助医生更好的掌控手术流程和对肿瘤组织的识别、切除，极大地提高肿瘤组织诊断识别率和切除手术的成功率，且不影响手术流程。附图说明为了更清楚地说明本专利技术具体实施方式中的技术方案，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些具体实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术的可见光和近红外荧光3D融合图像内窥镜系统的结构示意图；图2为本专利技术的可见光和近红外荧光3D融合图像内窥镜系统中双目内窥成像系统的俯视图；图3为本专利技术的可见光和近红外荧光3D融合图像内窥镜系统的分束镜工作原理图，(a)为全波段半反半透，(b)为400-700nm透射，800-1000nm反射；图4为本专利技术的可见光彩色探测器/近红外荧光探测器接收的双目图像的示意图(两个探测器接收双目图像模式相同)；图中，1、可见光近红外激发光源，2、双目内窥成像系统，2-1、镜体外管，2-2、第二光纤，2-3、镜体内管，2-4、第一固定件，2-5、单管内窥镜，3、分束镜，4、可见光成像子系统，5、近红外荧光成像子系统，6，图像处理融合模本文档来自技高网...

【技术保护点】
1.可见光和近红外荧光3D融合图像内窥镜系统，其特征在于，包括可见光近红外激发光源(1)、双目内窥成像系统(2)、分束镜(3)、可见光成像子系统(4)、近红外荧光成像子系统(5)、图像处理融合模块(6)和3D图像显示系统(7)；/n所述可见光近红外激发光源(1)为双目内窥成像系统(2)同时提供可见光照明和近红外荧光激发光照明；/n所述双目内窥成像系统(2)采集具有水平视差的双目图像；/n所述分束镜(3)将双目图像分成两束，一束进入可见光成像子系统(4)，另一束进入近红外荧光成像子系统(5)；/n所述可见光成像子系统(4)把经分束镜(3)入射的双目图像中的可见光信息采样为数字图像并传输至图像处理融合模块(6)；/n所述近红外荧光成像子系统(5)把经分束镜(3)入射的双目图像中的近红外荧光信息采样为数字图像并传输至图像处理融合模块(6)；/n所述图像处理融合模块(6)将可见光成像子系统(4)输出的数字图像和近红外荧光成像子系统(5)输出的数字图像分别进行预处理，将预处理后的可见光成像子系统(4)输出的数字图像和近红外荧光成像子系统(5)输出的数字图像进行图像融合，得到的3D融合图像，并对得到的3D融合图像进行3D编码后传输至3D图像显示系统(7)；/n所述3D图像显示系统(7)将接收的3D编码显示为3D图像。/n...

【技术特征摘要】
1.可见光和近红外荧光3D融合图像内窥镜系统，其特征在于，包括可见光近红外激发光源(1)、双目内窥成像系统(2)、分束镜(3)、可见光成像子系统(4)、近红外荧光成像子系统(5)、图像处理融合模块(6)和3D图像显示系统(7)；
所述可见光近红外激发光源(1)为双目内窥成像系统(2)同时提供可见光照明和近红外荧光激发光照明；
所述双目内窥成像系统(2)采集具有水平视差的双目图像；
所述分束镜(3)将双目图像分成两束，一束进入可见光成像子系统(4)，另一束进入近红外荧光成像子系统(5)；
所述可见光成像子系统(4)把经分束镜(3)入射的双目图像中的可见光信息采样为数字图像并传输至图像处理融合模块(6)；
所述近红外荧光成像子系统(5)把经分束镜(3)入射的双目图像中的近红外荧光信息采样为数字图像并传输至图像处理融合模块(6)；
所述图像处理融合模块(6)将可见光成像子系统(4)输出的数字图像和近红外荧光成像子系统(5)输出的数字图像分别进行预处理，将预处理后的可见光成像子系统(4)输出的数字图像和近红外荧光成像子系统(5)输出的数字图像进行图像融合，得到的3D融合图像，并对得到的3D融合图像进行3D编码后传输至3D图像显示系统(7)；
所述3D图像显示系统(7)将接收的3D编码显示为3D图像。


2.根据权利要求1所述的可见光和近红外荧光3D融合图像内窥镜系统，其特征在于，所述可见光近红外激发光源(1)为集成了可见光冷光源和近红外荧光激发光源的光源，可见光冷光源的工作波段为400-700nm，近红外荧光激发光源为785nm激光。


3.根据权利要求1所述的可见光和近红外荧光3D融合图像内窥镜系统，其特征在于，所述双目内窥成像系统(2)的工作波段为400-1000nm。


4.根据权利要求1所述的可见光和近红外荧光3D融合图像内窥镜系统，其特征在于，所述双目内窥成像系统(2)包括镜体外管(2-1)、第二光纤(2-2)、镜体内管(2-3)、第一固定件(2-4)和单管内窥镜(2-5)；第一固定件(2-4)为圆柱体，第一固定件(2-4)上设有两个轴向通孔，在第一固定件(2-4)的径向横截面上，两个轴向通孔相对于径向横截面的圆心中心对称；镜体内管(2-3)和镜体外管(2-1)从内至外依次套装在第一固定件(2-4)外，且三者同轴设置，镜体内管(2-3)的内壁固定在第一固定件(2-4)的外壁上；第二光纤(2-2)为多根，固定在镜体内管(2-3)的外壁和镜体外管(2-1)的内壁之间，且第二光纤(2-2)的长度方向沿第一固定件(2-4)轴向设置；单管内窥镜(2-5)为两个，分别固定在第一固定件(2-4)的两个轴向通孔内，单管内窥镜(2-5)的工作波段为400-1000nm；镜体外...

【专利技术属性】
技术研发人员：史成勇，张红鑫，王泰升，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林;22