用于实时内窥镜成像的图像去雾方法及内窥镜系统技术方案

本公开提供了用于实时内窥镜成像的图像去雾方法，包括：基于实时获取的原始内窥镜成像生成待处理图像序列，待处理图像序列包括原始内窥镜成像，且待处理图像序列中各个待处理图像具有互不相同的对比度；基于第一卷积神经网络提取原始内窥镜成像的原始成像特征图，基于第二卷积神经网络提取待处理图像序列的烟雾特征图序列；基于烟雾特征图序列生成对应于原始内窥镜成像的最终烟雾特征图；基于原始成像特征图及最终烟雾特征图获得去雾之后的成像特征图。本公开还提供了内窥镜成像系统、电子设备、可读存储介质及程序产品。可读存储介质及程序产品。可读存储介质及程序产品。

【技术实现步骤摘要】
用于实时内窥镜成像的图像去雾方法及内窥镜系统


[0001]本公开涉及图像处理
，本公开尤其涉及一种用于实时内窥镜成像的图像去雾方法、图像去雾装置、内窥镜系统、电子设备、存储介质及程序产品。

技术介绍

[0002]在腔内内窥镜手术，经常在烟雾环境中进行，例如超声刀切割等操作，会不断生成烟雾，这些烟雾会影响内窥镜成像的图像质量，甚至影响医生的手术进程。
[0003]为了去除内窥镜成像中的烟雾，提高成像质量，现有技术中出现了一些图像去雾算法。
[0004]例如中国专利文献CN114881896A公开了一种内窥镜图像实时去雾算法，其包括以下主要步骤：
[0005]获取内窥镜采集的原始图像；对原始图像作暗通道处理，得到暗通道图像；根据原始图像和暗通道图像计算三原色通道的大气亮度值和传输函数；根据大气亮度值和传输函数修正原始图像每个像素的三原色值，得到去雾图像；其中，暗通道处理的步骤包括：获取原始图像中以待处理像素为中心，预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶；统计固定窗内每个最小灰阶的出现频率；将待处理像素的灰阶更改为第一灰阶；第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个；更改每一待处理像素的灰阶得到暗通道图像。
[0006]再例如中国专利文献CN114638767B，其公开了基于生成对抗网络的腹腔镜影像除烟方法，通过利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。
[0007]再例如中国专利文献CN113066026B，其公开了基于深度神经网络的内窥镜图像烟雾净化方法，主要步骤为：采用Render模拟手术过程中烟雾出现的各种情况随机对腹腔镜图像加入烟雾得到模型的训练、测试和验证数据集；在编码器每一层加入拉普拉斯图像金字塔融合图像，将训练图像输入编码器提取高维特征；在解码器后五层加入CBAM注意力机制，将编码器部分提取到的图像特征通过解码器还原到输入图像尺寸；将包含烟雾的合成图像作为训练集、将原始图像作为训练集标签送入改进的U
‑
Net网络中进行训练，通过反向传播使得网络各层获得相应参数。
[0008]然而这些现有的图像去雾算法的去雾处理过程比较复杂，图像处理速度有待优化，去雾效果有待提高。

技术实现思路

[0009]本公开提供了一种新的用于实时内窥镜成像的图像去雾方法、图像去雾装置、内
窥镜系统、电子设备、存储介质及程序产品。
[0010]根据本公开的一个方面，提供了用于实时内窥镜成像的图像去雾方法，包括：
[0011]基于实时获取的原始内窥镜成像生成待处理图像序列，所述待处理图像序列包括所述原始内窥镜成像，且所述待处理图像序列中各个待处理图像具有互不相同的对比度；
[0012]基于第一卷积神经网络提取所述原始内窥镜成像的原始成像特征图，基于第二卷积神经网络提取所述待处理图像序列的烟雾特征图序列；
[0013]基于所述烟雾特征图序列生成对应于所述原始内窥镜成像的最终烟雾特征图；
[0014]基于所述原始成像特征图及所述最终烟雾特征图获得去雾之后的成像特征图。
[0015]根据本公开的至少一个实施方式的图像去雾方法，S102中，所述待处理图像序列中各个待处理图像具有相同的几何尺寸。
[0016]根据本公开的至少一个实施方式的图像去雾方法，所述待处理图像序列的原始内窥镜成像之外的各个待处理图像的对比度均高于所述原始内窥镜成像的对比度。
[0017]根据本公开的至少一个实施方式的图像去雾方法，所述待处理图像序列的各个待处理图像的对比度为等差数列。
[0018]根据本公开的至少一个实施方式的图像去雾方法，所述第一卷积神经网络及所述第二卷积神经网络均为经过训练的卷积神经网络。
[0019]根据本公开的至少一个实施方式的图像去雾方法，基于实时获取的原始内窥镜成像生成待处理图像序列，包括：
[0020]获取原始内窥镜成像的成像对比度(C1)；
[0021]基于所述成像对比度(C1)生成对比度递增量(
△
C)；
[0022]基于所述对比度递增量(
△
C)及预设的待处理图像数量生成待处理图像序列。
[0023]根据本公开的至少一个实施方式的图像去雾方法，所述对比度递增量(
△
C)不小于原始内窥镜成像的成像对比度(C1)的1/2，且不大于原始内窥镜成像的成像对比度(C1)。
[0024]根据本公开的至少一个实施方式的图像去雾方法，基于所述烟雾特征图序列生成对应于所述原始内窥镜成像的最终烟雾特征图，包括：
[0025]对所述烟雾特征图序列的各个烟雾特征图进行加权求和处理，以获得所述最终烟雾特征图。
[0026]根据本公开的至少一个实施方式的图像去雾方法，对所述烟雾特征图序列的各个烟雾特征图进行加权求和处理，包括：
[0027]基于各个烟雾特征图对应的待处理图像的图像对比度为各个烟雾特征图生成加权权重(Wn)；
[0028]基于各个烟雾特征图的加权权重(Wn)进行所述加权求和处理。
[0029]根据本公开的至少一个实施方式的图像去雾方法，基于以下等式为各个烟雾特征图生成加权权重：
[0030]Wn*Cn＝常数；
[0031]其中，Wn为各个烟雾特征图的加权权重，Cn为各个烟雾特征图对应的待处理图像的对比度。
[0032]根据本公开的至少一个实施方式的图像去雾方法，基于所述原始成像特征图及所述最终烟雾特征图获得去雾之后的成像特征图，包括：
[0033]对所述原始成像特征图与所述最终烟雾特征图进行基于像素值的减法操作，以获得所述去雾之后的成像特征图。
[0034]根据本公开的至少一个实施方式的图像去雾方法，所述第一卷积神经网络基于第一内窥镜有雾图像数据集进行第一阶段训练；
[0035]其中，所述第一内窥镜有雾图像数据集中的各个内窥镜有雾图像为内窥镜无雾图像与纯烟雾图像的合成图像；
[0036]其中，将相同的纯烟雾图像叠加至各个内窥镜无雾图像的随机区域以获得各个内窥镜有雾图像即获得所述第一内窥镜有雾图像数据集。
[0037]根据本公开的至少一个实施方式的图像去雾方法，各个内窥镜无雾图像至少包括不相同的内窥镜无雾图像，优选地，各个内窥镜无雾图像互不相同。
[0038]根据本公开的至少一个实施方式的图像去雾方法，所述第一卷积神经网络至少基于自注意力机制对所述第一内窥镜有雾图像数据集进行特征图提取以进行第一阶段训练。
[0039]根据本公开的至少一个实施方式的图像去雾方法，所述第一卷积神经网络基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于实时内窥镜成像的图像去雾方法，其特征在于，包括：基于实时获取的原始内窥镜成像生成待处理图像序列，所述待处理图像序列包括所述原始内窥镜成像，且所述待处理图像序列中各个待处理图像具有互不相同的对比度；基于第一卷积神经网络提取所述原始内窥镜成像的原始成像特征图，基于第二卷积神经网络提取所述待处理图像序列的烟雾特征图序列；基于所述烟雾特征图序列生成对应于所述原始内窥镜成像的最终烟雾特征图；以及基于所述原始成像特征图及所述最终烟雾特征图获得去雾之后的成像特征图。2.根据权利要求1所述的图像去雾方法，其特征在于，所述待处理图像序列中各个待处理图像具有相同的几何尺寸。3.根据权利要求1所述的图像去雾方法，其特征在于，所述待处理图像序列的原始内窥镜成像之外的各个待处理图像的对比度均高于所述原始内窥镜成像的对比度。4.根据权利要求3所述的图像去雾方法，其特征在于，所述待处理图像序列的各个待处理图像的对比度为等差数列。5.根据权利要求1至4中任一项所述的图像去雾方法，其特征在于，所述第一卷积神经网络及所述第二卷积神经网络均为经过训练的卷积神经网络；可选地，基于实时获取的原始内窥镜成像生成待处理图像序列，包括：获取原始内窥镜成像的成像对比度(C1)；基于所述成像对比度(C1)生成对比度递增量(
△
C)；以及基于所述对比度递增量(
△
C)及预设的待处理图像数量生成待处理图像序列；可选地，所述对比度递增量(
△
C)不小于原始内窥镜成像的成像对比度(C1)的1/2，且不大于原始内窥镜成像的成像对比度(C1)；可选地，基于所述烟雾特征图序列生成对应于所述原始内窥镜成像的最终烟雾特征图，包括：对所述烟雾特征图序列的各个烟雾特征图进行加权求和处理，以...

【专利技术属性】
技术研发人员：陈东，赵建，王伟，曹锐，
申请(专利权)人：新光维医疗科技苏州股份有限公司，
类型：发明
国别省市：