一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法技术

本发明专利技术针对胶囊内窥镜(CE)检测中因摄像头分辨率低和检查环境的限制无法获得结构、细节等特征清晰的图像，提出了一种基于多尺度残差的超分辨率重建方法用于胶囊内窥镜图像的超分辨率重建，超分辨率重建网络主要由两个部分组成，一部分是由浅层特征提取模块、多尺度残差特征提取模块(MRCB)和层次特征处理模块(HFCA)组成的特征提取部分，用于对输入的低分辨率图像(LR)进行不同尺度下信息的提取和利用，并在避免信息丢失的同时对特征信息赋予相应的权重，以便后续的上采样重建，另一部分是由亚像素层上采样方法和卷积层组成的图像重建模块，用于生成最终的超分辨率图像(SR)。用于生成最终的超分辨率图像(SR)。用于生成最终的超分辨率图像(SR)。

【技术实现步骤摘要】
一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法


[0001]本专利技术涉及深度学习以及计算机视觉领域，具体涉及一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法。

技术介绍

[0002]胶囊内窥镜(CE)是一种用于消化道非侵入性检查的方式，是目前消化道疾病尤其是小肠疾病诊断的首选方法。胶囊内窥镜检查主要是通过病人吞咽的一种包含CMOS摄像头的如胶囊一般大小的电子设备，在进行一次胶囊内镜检查中一般会产生约6万多张图像，对于这6万多张图像，医生一般会使用特定的凝视模式来观察与病理相关的视觉线索，从而诊断来自CE图像中的病理。近年来，深度学习的快速发展，实现了内窥镜图像的自动化和客观分析，包括深度估计、息肉检测和特征描述，这在一定程度上减少了医生的工作量，提升了工作效率。然而，由于照明不佳、相机性能的有限以及肠道中的复杂环境等因素，CE捕获的图像往往是低分辨率(LR)的，这就造成了胶囊内窥镜检查的局限性。有研究表明，低分辨率图像会对此类诊断方法造成很大的影响，增强的图像质量可能会在病灶检测、区域分割、病理分析等方面有着更好的效果。因此，需要提高胶囊内窥镜分辨率的方法进行主客观分析。
[0003]为了获得高分辨率的内窥镜图像，最直接的方法是改进硬件设备，增加光学元件，但所需付出的成本很高，同时受限于胶囊内窥镜这一设备的空间大小的限制，这样的方法并不合理。为了解决这个问题，计算机视觉界一直在研究一系列被称为超分辨率的算法，使用信号处理技术从低分辨率图像重建出高分辨率图像。使用超分辨率技术克服基本分辨率的限制获得更好的图像质量，这是一个极具挑战性的重建过程。
[0004]超分辨率重建是一种能使受成像条件限制、传输介质等因素的影响而捕获的低分辨率图像重建成为拥有更丰富的纹理细节、更大的像素密度和更高的可信度的高分辨率图像的超分辨率重建(SR)技术。根据输入图像的多少，图像超分辨率重建可分为单图像超分辨率重建和多图像超分辨率重建。在实际研究中，单图像超分辨率重建(SISR)是研究的热点。
[0005]单图像超分辨率重建(SISR)共有两个大的类别，一种是基于传统的，另一种是基于深度学习的。目前，随着深度学习的快速发展以及其在图像处理方面所表现出来的良好性能，SR技术在计算机视觉领域已获得了很好的成就，医学影像、安全监控、卫星遥感、视频恢复等领域都有着广泛的应用，其发展速度和应用成果，已远超于传统的图像超分辨率重建方法。
[0006]由于医学图像的类别广泛以及医学图像数据集的获取困难。目前，在医学图像上的超分辨率重建主要是针对MRI、PET、CT、视网膜等医学图像，只有少数的研究者对胶囊内窥镜图像进行了超分辨技术的研究，研究效果并不理想。
[0007]基于深度学习的单图像超分辨率重建，关键问题是如何对输入的LR图像进行挖掘和利用，本专利技术设计了基于多尺度残差的图像超分辨率重建网络，通过结合残差块的优势，对不同尺度下的图像特征信息进行挖掘和利用。重建后的胶囊内窥镜图像的分辨率大于输
入的胶囊内窥镜图像。

技术实现思路

[0008]针对现有技术中的不足，本专利技术提供了一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法，以在此基础上实现胶囊内窥镜图像的超分辨率(SR)重建，生成结构、纹理等特征清晰的CE图像。
[0009]为了达到上述目的，本专利技术采用的解决方案是：一种用于胶囊内窥镜图像的超分辨率重建方法，具体方案和步骤如下：
[0010]1.获取待诊断患者的胶囊内窥镜图像，获取预先训练完成的超分辨率重建网络，该超分辨重建网络(MRCN)由两个部分组成，一部分是由浅层特征提取模块、多尺度残差特征提取模块(MRCB)和层次特征处理模块(HFCA)组成的特征提取部分，另一部分是由亚像素层上采样方法和一个3x3为大小的卷积核构成的卷积层所组成的图像重建模块；
[0011]2.将待重建的胶囊内窥镜图像输入浅层特征提取模块进行浅层特征提取，获得一级特征图；
[0012]3.将一级特征图顺次经过n个MRCB模块，生成获得二级特征图；
[0013]4.提取各个MRCB模块中生成的层级特征图，将二级特征图与各个MRCB模块中生成的层级特征图输入HFCA模块，利用HFCA模块将二级特征图与层级特征图进行融合，并对图像中重要的特征进行增强，然后输出得到三级特征图；
[0014]5.将三级特征图送入一个以3x3为卷积核的卷积层，进行进一步的特征提取，生成四级特征图；
[0015]6.将四级特征图输入图像重建模块，进行放大重建，得到超分辨率胶囊内窥镜图像，超分辨率胶囊内窥镜图像的分辨率大于待重建的胶囊内窥镜图像。
[0016]在上述步骤中所述的浅层特征提取模块为卷积核大小为3x3的卷积层。
[0017]MRCB模块，采用残差块为基本结构单元，每个残差块由两个卷积层和一个ReLU激活函数组成，对于残差块可采用如下数学模型进行表示：
[0018]B1＝φ2(σ1(φ1(B)))+B
[0019]B2＝φ4(σ2(φ3(B)))+B
[0020]其中B表示的输入残差块的信息，φ1(
·
)和φ2(
·
)表示的是以3x3为卷积核的卷积操作，φ3(
·
)和φ4(
·
)表示的是以5x5为卷积核的卷积操作，σ1(
·
)和σ2(
·
)表示的是以ReLU为激活函数的信息激活操作，B1和B2表示的是分别以3x3和5x5为卷积核的残差块的输出；
[0021]MRCB模块MRCB由8个并行分支组成，具体可以用如下数学模型进行表示：
[0022]Y1＝B
11
(X)
[0023]Y2＝B
21
(X)
[0024]Y3＝F3(concat(B
12
(F1(concat([Y1,Y2]))),B
22
(F2(concat([Y1,Y2]))),
[0025]B
13
(X),B
23
(X),X))
[0026]Y4＝B
14
(Y3)
[0027]Y5＝B
24
(Y3)
[0028]Y6＝F6(concat(B
15
(F4(concat([Y4,Y5]))),B
25
(F5(concat([Y4,Y5]))),
[0029]B
16
(Y3),B
26
(Y3),B
17
(X),B
27
(X),Y3))
[0030]Y＝F7(Y6)+X
[0031]其中X表示的是输入MRCB模块的信息，B
11
(
·
)、B
12
(
·
)、B
13
(
·
)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法，其特征在于，能够对胶囊内窥镜采集到的图像进行相应处理，得到结构、纹理等特征更加清晰的胶囊内窥镜超分辨率图像，具体包括以下步骤：步骤1、获取待诊断患者的胶囊内窥镜图像，获取预先训练完成的超分辨率重建网络，该超分辨重建网络由两个部分组成，一部分是由浅层特征提取模块、多尺度残差特征提取模块和层次特征处理模块组成的特征提取部分，另一部分是由亚像素层上采样方法和一个以3x3为大小的卷积核构成的卷积层所组成的图像重建模块；步骤2、将待重建的胶囊内窥镜图像输入浅层特征提取模块进行浅层特征提取，获得一级特征图，浅层特征提取模块是卷积核大小为3x3的卷积层；步骤3、将一级特征图顺次经过n个多尺度残差特征提取模块，生成获得二级特征图；步骤4、提取各个多尺度残差特征提取模块中生成的层级特征图，将二级特征图与各个多尺度残差特征提取模块中生成的层级特征图输入层次特征处理模块，利用层次特征处理模块将二级特征图与层级特征图进行融合，并对图像中重要的特征进行增强，然后输出得到三级特征图；步骤5、将三级特征图送入一个以3x3为卷积核构成的卷积层，进行进一步的特征提取，生成四级特征图；步骤6、将四级特征图输入图像重建模块，进行放大重建，得到超分辨率胶囊内窥镜图像，超分辨率胶囊内窥镜图像的分辨率大于待重建的胶囊内窥镜图像。2.根据权利要求1所述的胶囊内窥镜图像超分辨率重建方法，其特征是：所述多尺度残差特征提取模块，采用残差块为基本结构单元，每个残差块由两个卷积层和一个ReLU激活函数组成，对于残差块可用如下数学模型进行表示：B1＝φ2(σ1(φ1(B)))+BB2＝φ4(σ2(φ3(B)))+B其中B表示的输入残差块的信息，φ1(
·
)和φ2(
·
)表示的是以3x3为卷积核的卷积操作，φ3(
·
)和φ4(
·
)表示的是以5x5为卷积核的卷积操作，σ1(
·
)和σ2(
·
)表示的是以ReLU为激活函数的信息激活操作，B1和B2表示的是分别以3x3和5x5为卷积核的残差块的输出；多尺度残差特征提取模块由8个并行分支组成，具体可以用如下数学模型进行表示：Y1＝B
11
(X)Y2＝B
21
(X)Y3＝F3(concat(B
12
(F1(concat([Y1,Y2]))),B
22
(F2(concat([Y1,Y2]))),B
13
(X),B
23
(X),X))Y4＝B
14
(Y3)Y5＝B
24
(Y3)Y6＝F6(concat(B
15
(F4(concat([Y4,Y5]))),B
25
(F5(concat([Y4,Y5]))),B
16
(Y3),B
26
(Y3),B
17
(X)...

【专利技术属性】
技术研发人员：黄胜，陈贤龙，廖星，曹维俊，牟星宇，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：