【技术实现步骤摘要】
本专利技术属于计算机视觉和深度学习领域，属于超分辨率重建方向，具体设计一种基于多尺度残差结构神经网络与深度可分离空洞卷积融合的方法。
技术介绍
1、随着人口结构的转变，老龄化问题变得极其严峻，因此对疾病的预防变得更加迫切。生理性疾病的突发可能会导致眼底图像的变化，因此眼底医学图像检查是预防生理疾病恶化的重要手段之一。然而，大多数高精度眼底成像设备不便携带且造价昂贵，在紧急情况下只能依赖便携式设备，而这些设备呈现的图像质量令人担忧。在不增加经济负担的情况下，我们可以通过超分辨率技术来改善这些图像的成像效果和分辨率。
2、图像超分辨率重建是给定一张或多张低分辨率图像转换成对应的高分辨率图像的过程。尽管传统的插值方法能够简单快速地重构高分辨率图像，但性能指标和自然观感上往往难以达到理想效果。
3、在自然图像数据集上，基于深度学习的超分辨率方法已经取得显著成果。dong等人首次提出了基于深度学习的srcnn超分辨率神经网络，后人再将其应用于医学图像的超分辨率任务中。而vdsr通过使用大量参数和深层网络结构，并没有获得了显著的性能指标，还会经常导致梯度爆炸和消失等问题。imdn则采用了多个信息蒸馏模块，并引入了通道注意力机制，以更有效地利用深度图像信息特征，在不显著增加参数量和网络深度的前提下，提升了网络的运行速度和性能指标。
4、眼部图像在眼底视盘区域和毛细血管的高亮部分含有丰富的高频信息，而在视网膜眼底图像的暗部则包含更多低频信息。传统的超分辨率方法在自然图像上的应用，往往难以在使用较少参数的同时，
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，基于多级多尺度残差网络和空洞卷积的超分辨率医学图像重建技术，结合双路径残差网络和空洞卷积块，更好地处理医学图像中的高频和低频图像特征；引入空洞卷积块不增加参数量和不降低分辨率的前提下增大感受野，从而捕获更丰富的图像信息特征。设计了医学眼底图像超分辨率重建网络，以提高医学眼底图像超分辨率重建的质量和细节。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、专利技术公开了一种将多级多尺度残差结构神经网络与深度可分离空洞卷积融合的方法。该模型包括浅层图像特征提取网络、深层图像特征提取网络，以及上采样图像重建网络三部分组成。
4、浅层特征提取模块，用于提取医学眼底图像信息的浅层特征，使用一个3×3的卷积层对低分辨率文本图像进行特征提取，把rgb通道信息映射到特征空间中，并将这些信息传输到深层图像特征提取模块之中，这个特征提取模块仅从低分辨率图像中提取初始特征，以获取医学眼底图像的浅层特征；
5、深层图像特征提取模块，用于提取医学眼底图像的深层特征，将上一步提取的低分辨率医学眼底图像特征输入到深层特征提取，该模块包括6个dsmm残差块，每个dsmm残差块均使用上下两条路径以及数量不同的dcbk空洞卷积块和lka大核卷积注意力块，用于提取深层次的眼底医学图像纹理，并且使用了残差连接防止梯度消失；
6、上采样模块，将深层图像特征提取的特征输入到上采样层，对图像进行4倍放大，得到高分辨率医学眼底图像。再经过3×3卷积块，对图像进行最后的重建，输出最终的超分辨率医学眼底图像；
7、优选的，dsmm残差模块包括：
8、该模块采用多尺度交叉网络结构，其中一条路径专门提取图像的低频信息，另一条路径则负责高频信息的提取。dsmm的高频分支由两个空洞卷积块dcbk组成，而低频信息分支则由单个空洞卷积块构成。最终，这些融合的信息被输入到大核注意力块lka中。lka结合了局部空间卷积、空间长程卷积和通道卷积三个部分，能够实现21×21的感受野，既保留了大核卷积的优势，又克服了自注意力机制在计算复杂度和显存容量上的需求，更加细腻地提取图像的深层信息，从而在视觉任务中展现出卓越性能。
9、优选的，损失函数包括：
10、(1)均方误差损失
11、均方误差损失又称l1损失，是最常见的损失函数之一，它是通过计算生成的高分辨率图像与真实高分辨率图像像素之间的平方差的平均值来比较二者的差异：
12、
13、其中，m是样本数，yi是第i个样本的真实值，是第i个样本的预测值。
14、(2)总体损失函数可以表示如下：
15、在医学图像重建中，由于单一像素损失难以有效重建高频信息，我们引入了频率约束以规范网络训练，从而实现更佳的重建效果。本算法的总损失函数包括一个频率约束项，其公式如下：
16、
17、其中表示傅里叶变换，λ为权重，通常默认为0.1。引入频率约束的损失函数可以加速模型的收敛，并使生成图像的频谱更接近真实图像的频谱。
18、基于多级多尺度残差网络的医学眼底超分辨率重建方法，包括以下步骤：
19、s1.下载毛细血管分割算法的眼底数据集stare，训练时，该数据集包含397张视网膜图片，分辨率为700×605像素。由于数据集中的图像分辨率并非均为4的倍数，因此需要先对图片进行预处理。我们使用matlab将图像大小调整为696×600，以便将这些图像作为ground-truth图像。接着，我们对图像进行下采样，生成分辨率为4倍缩小的图片，并确保它们与原图一一对应。实验选取前100张图片作为训练集，剩余的297张作为测试集；
20、s2.将s1经过处理获得的图像输入到浅层特征提取模块中提取医学眼底超分图像的浅层特征，使用卷积层对低分辨率医学眼底图像进行特征提取，这个卷积层只能提取医学眼底图像的浅层特征，得到低分辨率图像isr；
21、s3.将s2中得到的低分辨率图像输入深层特征提取模块中，将提取的低分辨率医学眼底图像浅层特征输入到dsmm残差模块进行深层特征提取，该模块包括6个残差块。该模块采用多尺度交叉网络结构，其中一条路径专门提取图像的低频信息，另一条路径则负责高频信息的提取。dsmm的高频分支由两个空洞卷积块dcbk组成，而低频信息分支则由单个空洞卷积块构成。最终，这些融合的信息被输入到大核注意力块lka中；
22、s4.将s3中获得的深层图像特征输入到上采样网络中，将深层图像特征提取的特征输入到上采样层，对图像进行4倍放大，得到高分辨率医学眼底图像。再经过3×3卷积块，对图像进行最后的重建，输出最终的超分辨率医学眼底图像；
23、s5.将s4中生成的高分辨率图像输入到9×9的卷积核，对图像进行最后的重建，输出最终的超分辨率图像isr；
24、s6.设定医学眼底图像超分辨网络模型的超参数，batch size设置为16。优化器采用adam算法，其中β1＝0.9，β2＝0.99.初始学习率设置为0.002，学习率最小值为0.000本文档来自技高网...
【技术保护点】
1.一种将多级多尺度残差结构神经网络与深度可分离空洞卷积融合的方法。该模型包括浅层图像特征提取网络、深层图像特征提取网络，以及上采样图像重建网络三部分组成。
2.根据权利要求1所述的基于多尺度残差结构神经网络与深度可分离空洞卷积融合的方法，其残差模块具体为：
3.根据权利要求1所述的基于多尺度残差结构神经网络与深度可分离空洞卷积融合的方法，其特征在于：
4.根据权利要求1所述的基于多尺度残差结构神经网络与深度可分离空洞卷积融合的方法，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种将多级多尺度残差结构神经网络与深度可分离空洞卷积融合的方法。该模型包括浅层图像特征提取网络、深层图像特征提取网络，以及上采样图像重建网络三部分组成。
2.根据权利要求1所述的基于多尺度残差结构神经网络与深度可分离空洞卷积融合的方法...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。