基于深度学习模型的内窥镜图像的去雾方法、训练方法技术

一种基于深度学习模型的内窥镜图像的去雾方法、训练方法，所述深度学习模型包括特征提取模块、自注意力变换模块和特征还原模块；所述方法包括：将有雾内窥镜图像输入所述特征提取模块，得到浅层特征图；将包括至少一个浅层特征子图的所述浅层特征图输入所述自注意力变换模块，得到深层特征图；将所述浅层特征图和所述深层特征图进行融合，得到融合特征图；以及将所述融合特征图输入所述特征还原模块，得到无雾内窥镜图像。得到无雾内窥镜图像。得到无雾内窥镜图像。

【技术实现步骤摘要】
基于深度学习模型的内窥镜图像的去雾方法、训练方法


[0001]本专利技术涉及图像处理领域，特别涉及一种基于深度学习模型的内窥镜图像的去雾方法、训练方法。

技术介绍

[0002]随着外科手术技术的发展，微创手术得到了越来越广泛的应用。内窥镜是微创手术中一种广泛应用的医疗器械，在手术期间医生可以通过内窥镜来观察人体内的组织和器官来进行手术操作。因此，内窥镜图像显示是否清晰对手术的完成效果有着重要的作用。但是，手术过程中由于温度差、激光消融和烧灼产生的雾气会严重遮挡医生的视野，增加医生操作手术的风险。同时，烟雾也影响了后续的视觉任务处理，例如器械分割、三维场景重建、自动化手术等。因此，在手术过程中对内窥镜所拍摄的图像进行烟雾去除，可以有效的提高手术图像质量，为外科医生手术提供重要参考信息，以便提高微创手术的准确性、高效性以及安全性。
[0003]目前，内窥镜手术中去雾的方法主要分为两种。一种是基于机械方法，包括内窥镜透镜加热策略、防雾化材料和内窥镜镜头设备改造等方案。这些基于机械设计的方法增加了内窥镜研发的成本，需要采用特殊的内窥镜装置，不适合所有基于图像引导的内窥镜手术。另一种是基于视觉的去雾方法，通过计算机算法对内窥镜输出图像进行烟雾去除，但目前去雾算法主要是针对室外场景进行烟雾去除，针对内窥镜图像没有效果较为理想的去雾算法。

技术实现思路

[0004]鉴于上述技术问题，本专利技术提供了一种基于深度学习模型的内窥镜图像的去雾方法、训练方法。
[0005]为了实现上述目的，作为本专利技术的一个方面，提供了一种基于深度学习模型的内窥镜图像的去雾方法，所述深度学习模型包括特征提取模块、自注意力变换模块和特征还原模块；
[0006]所述方法包括：
[0007]将有雾内窥镜图像输入所述特征提取模块，得到浅层特征图；
[0008]将包括至少一个浅层特征子图的所述浅层特征图输入所述自注意力变换模块，得到深层特征图；
[0009]将所述浅层特征图和所述深层特征图进行融合，得到融合特征图；以及
[0010]将所述融合特征图输入所述特征还原模块，得到无雾内窥镜图像。
[0011]根据本专利技术的实施例，所述自注意力变换模块包括第一卷积层和M个变换子模块，第m个变换子模块包括第二卷积层和N个变换单元，第n个变换单元包括P个变换子单元，第p个变换子单元包括自注意力层，M、N和P均是大于或等于1的整数，m是大于或等于1且小于或等于M的整数，n是大于或等于1且小于或等于N的整数，p是大于或等于1且小于或等于P的整
数；
[0012]其中，在M＞1且N＞1的情况下，所述将包括至少一个浅层特征子图的所述浅层特征图输入所述自注意力变换模块，得到深层特征图，包括：
[0013]响应于1＜m≤M且1＜n≤N，
[0014]在p＝1的情况下，
[0015]将第m
n
‑
1,P
中间特征图输入第m
n,p
变换子单元，得到第m
n,p
中间特征图；
[0016]在1＜p≤P的情况下，
[0017]将第m
n,p
‑1中间特征图输入第m
n,p
变换子单元，得到第m
n,p
中间特征图；
[0018]将第m
n
‑
1,P
中间特征图和第m
n,P
中间特征图进行融合，得到第m
n,P
融合特征图；
[0019]将第m
n,P
融合特征图输入第m第二卷积层，得到第m
n,P
中间特征图；
[0020]将第M
N，P
中间特征图输入所述第一卷积层，得到所述深层特征图；
[0021]其中，所述将第m
n,p
‑1中间特征图输入第m
n,p
变换子单元，得到第m
n,p
中间特征图，包括：
[0022]将所述第m
n,p
‑1中间特征图划分为至少一个第m
n,p
‑1中间特征子图；
[0023]将所述至少一个第m
n,p
‑1中间特征子图输入第一m
n,p
自注意力层，得到第一m
n,p
自注意力特征图；以及
[0024]根据第一m
n,p
自注意力特征图，得到所述第m
n,p
中间特征图。
[0025]根据本专利技术的实施例，根据第一m
n,p
自注意力特征图，得到所述第m
n,p
中间特征图包括：
[0026]根据第一m
n,p
自注意力特征图和第m
n,p
‑1中间特征图，得到第一m
n,p
融合特征图；
[0027]将所述第一m
n,p
融合特征图进行循环位移，得到第二m
n,p
融合特征图；
[0028]将所述第二m
n,p
融合特征图输入第二m
n,p
自注意力层，得到第二m
n,p
自注意力特征图；
[0029]根据第一m
n,p
自注意力特征图和第二m
n,p
自注意力特征图，得到所述第m
n,p
中间特征图。
[0030]根据本专利技术的实施例，将所述第一m
n,p
融合特征图进行循环位移，得到第二m
n,p
融合特征图包括：
[0031]将所述第一m
n,p
融合特征图依次沿第一方向和第二方向按照预设长度进行循环位移，其中所述预设长度小于第m
n,p
‑1中间特征子图的划分大小，所述第一方向和第二方向相垂直。
[0032]根据本专利技术的实施例，在将所述至少一个第m
n,p
‑1中间特征子图输入第一m
n,p
自注意力层之前，所述将第m
n,p
‑1中间特征图输入第m
n,p
变换子单元，得到第m
n,p
中间特征图还包括：
[0033]对所述至少一个第m
n,p
‑1中间特征子图输入到第一m
n,p
层归一化层，以进行归一化处理。
[0034]根据本专利技术的实施例，所述根据第一m
n,p
自注意力特征图和第m
n,p
‑1中间特征图，得到第一m
n,p
融合特征图包括：
[0035]将第一m
n,p
自注意力特征图和第m
n,p
‑1中间特征图进行融合，得到第三m
n,p
融合特征图；
[0036]将所述第三m
n,p
融合特征图依次输入第二m
n,p本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习模型的内窥镜图像的去雾方法，所述深度学习模型包括特征提取模块、自注意力变换模块和特征还原模块；所述方法包括：将有雾内窥镜图像输入所述特征提取模块，得到浅层特征图；将包括至少一个浅层特征子图的所述浅层特征图输入所述自注意力变换模块，得到深层特征图；将所述浅层特征图和所述深层特征图进行融合，得到融合特征图；以及将所述融合特征图输入所述特征还原模块，得到无雾内窥镜图像。2.根据权利要求1所述的方法，其中，所述自注意力变换模块包括第一卷积层和M个变换子模块，第m个变换子模块包括第二卷积层和N个变换单元，第n个变换单元包括P个变换子单元，第p个变换子单元包括自注意力层，M、N和P均是大于或等于1的整数，m是大于或等于1且小于或等于M的整数，n是大于或等于1且小于或等于N的整数，p是大于或等于1且小于或等于P的整数；其中，在M＞1且N＞1的情况下，所述将包括至少一个浅层特征子图的所述浅层特征图输入所述自注意力变换模块，得到深层特征图，包括：响应于1＜m≤M且1＜n≤N，在p＝1的情况下，将第m
n
‑
1,P
中间特征图输入第m
n,p
变换子单元，得到第m
n,p
中间特征图；在1＜p≤P的情况下，将第m
n,p
‑1中间特征图输入第m
n,p
变换子单元，得到第m
n,p
中间特征图；将第m
n
‑
1,P
中间特征图和第m
n,P
中间特征图进行融合，得到第m
n,P
融合特征图；将第m
n,P
融合特征图输入第m第二卷积层，得到第m
n,P
中间特征图；将第M
N，P
中间特征图输入所述第一卷积层，得到所述深层特征图；其中，所述将第m
n,p
‑1中间特征图输入第m
n,p
变换子单元，得到第m
n,p
中间特征图，包括：将所述第m
n,p
‑1中间特征图划分为至少一个第m
n,p
‑1中间特征子图；将所述至少一个第m
n,p
‑1中间特征子图输入第一m
n,p
自注意力层，得到第一m
n,p
自注意力特征图；以及根据第一m
n,p
自注意力特征图，得到所述第m
n,p
中间特征图。3.根据权利要求2所述的方法，其中，根据第一m
n,p
自注意力特征图，得到所述第m
n,p
中间特征图包括：根据第一m
n,p
自注意力特征图和第m
n,p
‑1中间特征图，得到第一m
n,p
融合特征图；将所述第一m
n,p
融合特征图进行循环位移，得到第二m
n,p
融合特征图；将所述第二m
n,p
融合特征图输入第二m
n,p
自注意力层，得到第二m
n,p
自注意力特征图；根据第一m
n,p
自注意力特征图和第二m
n,p
自注意力特征图，得到所述第m
n,p
中间特征图。4.根据权利要求3所述的方法，其中，将所述第一m
n,p
融合特征图进行循环位移，得到第二m
n,p
融合特征图包括：将所述第一m
n,p
融合特征...

【专利技术属性】
技术研发人员：孙月海，王丰，王树新，马志康，孙希楠，
申请(专利权)人：天津大学医疗机器人与智能系统研究院，
类型：发明
国别省市：