【技术实现步骤摘要】
本专利技术属于医疗影像处理，尤其涉及一种基于计算机视觉的支气管镜图像处理方法。
技术介绍
1、目前，支气管镜图像处理技术在精确识别病变区域方面存在显著不足。例如，传统的支气管镜成像多依赖单一波段如可见光波段的成像数据，导致在遇到复杂的支气管内壁组织或病变区域时难以提供足够的图像细节。此外，现有的图像处理方法通常缺乏对多模态信息如近红外波段数据和组织反射特性的利用，导致图像中的深层组织信息和微小病变难以被准确识别，特别是在支气管内壁曲折、光照不均匀、纹理复杂的条件下，现有技术难以实现精确的三维分割和病变区域的检测，无法充分满足临床需求。因此，亟需一种能够在多模态成像条件下，融合可见光和近红外波段的信息，并结合先进的深度学习模型来处理支气管镜图像的方法。这种方法需要在复杂的支气管内环境中依然能够实现高精度的病变区域识别与三维分割，以提高支气管镜检查的准确性和效率，帮助医生更直观地观察病变部位。
技术实现思路
1、针对上述存在的技术不足，本专利技术的目的是提出一种基于计算机视觉的支气管镜图像处理方法，旨在解决现有技术中支气管镜图像处理对组织细节识别精度不足，尤其是在复杂的组织结构和多层次的光谱信息条件下，无法实现对病变区域的精准识别的技术问题。
2、为解决上述技术问题，本专利技术采用如下技术方案：本专利技术提供一种基于计算机视觉的支气管镜图像处理方法，
3、所述基于计算机视觉的支气管镜图像处理方法包括：
4、步骤s10：在支气管镜上安装k个微型结构光传
5、步骤s20：根据支气管镜的位姿数据和距离di，计算得到支气管内壁各点的三维坐标，采用公式：
6、
7、其中，(xi，yi，zi)为内壁表面第i个位置点的三维坐标；
8、将所有计算得到的点(xi，yi，zi)聚合，形成初步的三维点云数据，对初步的三维点云数据进行去噪和滤波处理得到三维点云数据；
9、步骤s30：在支气管镜上安装多波段光源和相应的成像传感器，分别在可见光波段400-700nm和近红外波段700-900nm进行成像，在不同波段下执行步骤s10至步骤s20，生成可见光波段下的三维点云数据和近红外波段下的三维点云数据，每个波段点云数据记录支气管内壁的内壁反射强度信息；
10、步骤s40：针对步骤s30中得到的可见光波段和近红外波段的三维点云数据，提取每个点的多波段反射特性，并构建多模态特征向量f＝[s可见光，s近红外]，多模态特征向量f用于生成多模态灰度特征向量h，其中s可见光为400-700nm波段的反射值，s近红外为700-900nm波段的反射值；
11、步骤s50：根据多模态灰度特征向量h生成可见光和近红外伪灰度图像，使用灰度共生矩阵glcm提取纹理特征信息，包括对比度c和熵e：
12、
13、其中，m和n是灰度级(0到255之间的整数)，表示灰度共生矩阵中的灰度级别，p(m,n)表示灰度级为m和n的像素对的联合概率，c为对比度，为熵；
14、将反射值、灰度值和纹理特征组合，形成最终的多模态特征向量
15、fmulti＝
16、[s可见光，s近红外，h可见光，h近红外，c可见光，c近红外，e可见光，e近红外]；
17、其中，h可见光为在可见光波段下，通过反射值映射生成的伪灰度值，h近红外为在近红外波段下，通过反射值映射生成的伪灰度值，c可见光为在可见光波段下，基于灰度共生矩阵提取的对比度特征值，c近红外为在近红外波段下，基于灰度共生矩阵提取的对比度特征值，e可见光为在可见光波段下，基于灰度共生矩阵提取的熵特征值，e近红外为在近红外波段下，基于灰度共生矩阵提取的熵特征值；
18、步骤s60：将步骤s50中生成的最终多模态特征向量fmulti输入到三维卷积神经网络3dcnn中，通过三维卷积核在特征向量的三维空间中滑动逐层提取特征以识别支气管内壁的异常区域；
19、经过多层卷积和池化处理后，对支气管内壁的异常区域进行分割，并输出每个体积像素的分类标签，标记为病变体积像素或正常体积像素；
20、将所有病变体积像素在三维空间中进行标记，并生成三维分割掩膜，所述三维分割掩膜用于将病变区域与正常区域区分开来。
21、优选地，步骤s40中，生成多模态灰度特征向量h的过程包括：
22、采用以下公式生成可见光波段和近红外波段的灰度值：
23、
24、其中，h波段为对应波段的灰度值，s波段为对应波段的灰度值，smin和smax分别为对应波段反射值的最小值和最大值；
25、并构建多模态灰度特征向量h＝[h可见光，h近红外]。
26、优选地，smin和smax根据当前支气管镜图像的光照条件和成像对比度动态调整。
27、优选地，步骤s30中，所述多波段光源为可调节光源。
28、优选地，步骤s30中，所述可调节光源包括多个波段的led阵列，根据不同场景选择不同波段的光源。
29、优选地，步骤s50中，采用滑动窗口方式在伪灰度图像上提取局部纹理特征。
30、优选地，步骤s60中，三维卷积神经网络3dcnn的模型训练数据为10000个样本以上规模的多模态特征向量样本数据和对应已标记的体积像素样本数据。
31、本专利技术还提供一种基于计算机视觉的支气管镜图像处理系统包括：
32、数据采集模块，用于在支气管镜上安装k个微型结构光传感器和1个微型姿态传感器，微型结构光传感器用于实时采集支气管镜至支气管内壁不同点位置的距离数据，将从支气管镜镜头到内壁表面第i个位置点的距离记为di；微型姿态传感器用于实时采集支气管镜的位姿数据，包括支气管镜位置数据(x0，y0，z0)和当前的视角方向数据
33、三维点云生成模块，用于根据支气管镜的位姿数据和距离di，计算得到支气管内壁各点的三维坐标，采用公式：
34、
35、其中，(xi，yi，zi)为内壁表面第i个位置点的三维坐标；
36、将所有计算得到的点(xi，yi，zi)聚合，形成初步的三维点云数据，对初步的三维点云数据进行去噪和滤波处理得到三维点云数据；
37、多波段成像模块，用于在支气管镜上安装多波段光源和相应的成像传感器，分别在可见光波段400-700nm和近红外波段700-900nm进行成像，在不同波段下执行步骤s10至步骤s20，生成可见光波段下的三维点云数据和近红外波段下的三维点云数据，每个波段点云数据记录支气管内壁的内壁反射强度信息；
38、多模态特征提取模块，用于针对步本文档来自技高网...
【技术保护点】
1.一种基于计算机视觉的支气管镜图像处理方法，其特征在于，方法包括：
2.如权利要求1所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，步骤S40中，生成多模态灰度特征向量H的过程包括：
3.如权利要求2所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，Smin和Smax根据当前支气管镜图像的光照条件和成像对比度动态调整。
4.如权利要求1所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，步骤S30中，所述多波段光源为可调节光源。
5.如权利要求4所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，步骤S30中，所述可调节光源包括多个波段的LED阵列，根据不同场景选择不同波段的光源。
6.如权利要求1所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，步骤S50中，采用滑动窗口方式在伪灰度图像上提取局部纹理特征。
7.如权利要求1所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，步骤S60中，三维卷积神经网络3DCNN的模型训练数据为10000个样本以上
8.一种基于计算机视觉的支气管镜图像处理系统，其特征在于，所述基于计算机视觉的支气管镜图像处理系统包括：
9.一种基于计算机视觉的支气管镜图像处理设备，其特征在于，所述基于计算机视觉的支气管镜图像处理设备包括：
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括基于计算机视觉的支气管镜图像处理程序，所述基于计算机视觉的支气管镜图像处理程序被处理器执行时实现权1至权7中任一项所述的基于计算机视觉的支气管镜图像处理方法。
...【技术特征摘要】
1.一种基于计算机视觉的支气管镜图像处理方法，其特征在于，方法包括：
2.如权利要求1所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，步骤s40中，生成多模态灰度特征向量h的过程包括：
3.如权利要求2所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，smin和smax根据当前支气管镜图像的光照条件和成像对比度动态调整。
4.如权利要求1所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，步骤s30中，所述多波段光源为可调节光源。
5.如权利要求4所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在于，步骤s30中，所述可调节光源包括多个波段的led阵列，根据不同场景选择不同波段的光源。
6.如权利要求1所述的一种基于计算机视觉的支气管镜图像处理方法，其特征在...
【专利技术属性】
技术研发人员：陈菲菲，方苏榕，陈玉宝，常立功，
申请(专利权)人：南京市第一医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。