【技术实现步骤摘要】
本专利技术涉及内窥镜引导的人工或机器人辅助的微创手术领域，是一种基于烟雾注意力机制的内窥镜视频实时除烟雾方法。
技术介绍
1、随着微创手术的迅速发展，内窥镜微创手术已成为临床必不可缺少的治疗手段。在内窥镜微创手术过程中，由伽马刀、高频电灼刀、激光刀、超声手术刀等医疗器械在汽化组织蛋白和脂肪的过程中形成的烟雾会显著影响内窥镜视频质量，会遮挡医生的视线，从而对患者构成潜在的风险。烟雾的存还会对医生手术操作精度产生负面影响，并可能导致严重的手术并发症。本专利技术提出了一种内窥镜视频实时去除烟雾的方法。由于手术烟雾具有异源性，本专利技术建立了一个两阶段网络来估计烟雾分布，并利用混合嵌入引导重建相应的无烟雾场景，包括估计的烟雾图像和输入图像。该网络的设计遵循了经典的大气散射模型，使该网络更易于解释。
技术实现思路
1、本专利技术针对内窥镜微创手术涉及一种用于内窥镜视频烟雾去除的实时算法，在包含烟雾的图像中快速、准确的检测烟雾的位置并进行合理化去除。基于此，本专利技术提出一种基于烟雾注意力机制的内窥镜视频实时除烟雾方法。
2、需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为
3、本专利技术提供了一种基于烟雾注意力机制的内窥镜视频实时除烟雾方法，本专利技术提供了以下技术方案：
4、一种基于烟雾注意力机制的内窥镜视频实时除烟雾方法，所述方法包括以下步骤：
5、步骤1：在烟雾注意力评估模块中，编码器部分利用图像块嵌入层和图像块合并层对内窥镜视频进行降采样；解码器部分利用局部图像块扩展层(lpe)进行上采样；
6、步骤2：在混合引导重建模块中，使用纹理先验信息和引导残差项作为引导进行无雾图像的重建；
7、步骤3：在重建过程中，采用松弛约束的域变换将大气散射模型应用于内窥镜环境中的去雾过程，计算步骤2中纹理先验信息和引导残差项的权重。
8、优选地，所述步骤1具体为：
9、在局部图像块扩展层中，输入图像被分割成一系列的图像块，每个图像块被扁平化为一个向量表示，通过一个线性层进行处理，以获得深度特征，图像块合并层将图像块连接起来，并应用一个线性层将特征维数扩展到2倍，同时将分辨率降采样一半；
10、在解码器中，采用局部图像块扩展层(lpe)进行上采样，lpe的工作过程如下：
11、lpe(x)＝ln(ps(conv3×3((x))) (1)
12、其中ln为层归一化，ps为像素重排操作；
13、将预测的烟雾信息引入建模网络：
14、j(x)＝i(x)+k(x)i(x)+b(x)is(x)+ε (2)
15、其中，j(x)为要恢复的场景辐射，i(x)是输入图像，is(x)为烟雾图像，k(x)和b(x)为系数，k(x)＝1/t(x)-1,b(x)＝-1/t(x)，其中t(x)为介质透射率，ε表示用于合成烟雾图像的背景强度；
16、可分解为
17、is(x)＝εt(x)+a(1-t(x)) (3)
18、采用了场转换，以避免梯度爆炸：
19、
20、优选地，在直接学习策略中，为了避免消失梯度问题，提出了先验梯度差的信号相关噪声，引导残差在残差项中引入了一个额外的后验烟雾分布，为优化除烟网络提供了梯度。
21、优选地，混合引导重建模块(hge)将烟雾注意力图t^(x)作为输入，根据公式(4)和公式(3)计算残差和偏差，并对烟雾掩模和无烟图像进行预测；
22、在混合引导重建模块中，输入图像通过跳跃连接将输入图像集成到重建层中。
23、优选地，所述步骤3具体为：
24、考虑到k(x)和b(x)在应用公式(4)后的指数形式，直接处理场变换可能会妨碍模型的收敛，采用松弛约束的域变换(sft)：
25、
26、优选地，对于无烟像素，当t(x)＝1时，根据k(x)的定义，k(x)＝0，不存在烟雾，先验残差和引导残差都将为零，无烟像素将直接输出为最终结果，而不会有任何过度去除的风险；sft模块的构建过程如下：
27、
28、其中，^k和^b分别为k(x)和b(x)的估计值；
29、本算法的损失函数可以定义为：
30、ltotal＝lr+lg (7)
31、其中，重建损失lr是预测无烟雾图像与真实无烟雾图像之间的均方误差，引导损失lg是预测的烟雾图像与生成烟雾图像之间的均方误差。
32、一种基于烟雾注意力机制的内窥镜视频实时除烟雾系统，所述系统包括：
33、烟雾注意力评估模块(sae)和混合引导嵌入模块(hge)，烟雾注意力评估模块由5级u-net架构组成，以swin-transformer模块作为基本单元；两个连续的swin-transformer模块分别采用基于窗口的多头自注意模块；处于网络末端的swin-transformer模块专门集成了一个w-msa模块；烟雾注意力评估模块从输入图像中估计了烟雾的注意力图，混合引导嵌入模块将注意力图转换为烟雾图像，将其嵌入输入图像的重建过程中，实现烟雾检测与去除。
34、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现一种基于烟雾注意力机制的内窥镜视频实时除烟雾方法。
35、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种基于烟雾注意力机制的内窥镜视频实时除烟雾方法。
36、本专利技术具有以下有益效果：
37、本专利技术与现有技术相比：
38、为了定性和定量地评价该方法，本专利技术生成了一个合成的内窥镜数据集，并获得了一个真实的内窥镜数据集。实验结果表明，该方法的峰值信噪比比现有方法高1.9％，而运行时间短于40.9％以上。通过对比一系列关键参数(包括：信噪比psnr、结构相似性指数测量法ssim、学习感知图像图像块相似性lpips、盲/无参照图像空间质量评估brisque、自然度图像质量评估器niqe、基于感知的图像质量评估器piqe等)。该专利技术所代表的方法在设计质量和计算成本方面优于目前的主流方法，如asm模型，dcp模型等。
39、本专利技术解决了微创手术中，由于烟雾的产生对内窥镜视频中解剖结构或手术器械追踪，识别，分割等算法的准确性产生干扰的问题，实验结果表明，该方法的峰值信噪比比现有方法高出2.79％，同时运行时间也显著减少了38.2％。总的来说，与现有的最先进本文档来自技高网...
【技术保护点】
1.一种基于烟雾注意力机制的内窥镜视频实时除烟雾方法，其特征是：所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征是：所述步骤1具体为：
3.根据权利要求2所述的方法，其特征是：
4.根据权利要求3所述的方法，其特征是：
5.根据权利要求4所述的方法，其特征是：所述步骤3具体为：
6.根据权利要求5所述的方法，其特征是：
7.一种基于烟雾注意力机制的内窥镜视频实时除烟雾系统，其特征是：所述系统包括：
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-6任意一项所述的方法。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征是：所述处理器执行所述计算机程序时实现权利要求1-6任意一项所述的方法。
【技术特征摘要】
1.一种基于烟雾注意力机制的内窥镜视频实时除烟雾方法，其特征是：所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征是：所述步骤1具体为：
3.根据权利要求2所述的方法，其特征是：
4.根据权利要求3所述的方法，其特征是：
5.根据权利要求4所述的方法，其特征是：所述步骤3具体为：
6.根据权利要求5所述的方法，其特征是：<...
【专利技术属性】
技术研发人员：高文朋，刘子腾，张程鸿，付宜利，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。