眼底多类型病变的轻量化分类模型及分类方法技术

本发明专利技术公开了一种眼底多类型病变的轻量化分类模型及分类方法，分类模型包括主干网络

【技术实现步骤摘要】
S,JODEIRI A,HAJIZADEH F,et al.Multi
‑
scale convolutional neural network for automated AMD classification using retinal OCT images[J].Computers in biology and medicine,2022,144:105368”。
[0005]在不同网络组合中使用迁移学习也能提高分类精度
。Mesut
等使用九个迁移学习模型对每个病变种类进行分类，使用黏菌算法
(SMA)
从模型中选取针对单一目标分类中额度最好的网络进行结果输出，详见“M,ERGEN B,V.Use of dominant activations obtained by processing OCT images with the CNNs and slime mold method in retinal disease detection[J].Biocybernetics and Biomedical Engineering,2022,42(2):646
‑
666”。
[0006]经专利技术人研究发现，现有的基于深度学习的
OCT
图像分类效果不佳，主要有以下不足：
(1)
注意力机制的加入强化了对现有特征的提取，丰富了局部病变特征信息，但难以提取小目标特征的病变；
(2)
不同形式的多尺度网络不能解决边缘纹理信息在网络传递过程中丢失的问题；
(3)
现有网络的组合会导致算法模型参数量过大，网络运行速度减慢；如何强化对不同病变特征特有的小目标特征的提取能力，同时强化特征提取，减少病变特真正的丢失，降低模型参数量是当前需要解决的问题
。

技术实现思路

[0007]为了解决上述问题，本专利技术提供一种眼底多类型病变的轻量化分类模型，它在降低模型参数量的同时，能增加网络对眼底
OCT
图像的分类准确率，能解决现有技术中存在的运行速度慢
、
分类精度低等不足
。
[0008]本专利技术的第二目的是，提供了一种轻量化眼底多类型病变分类方法
。
[0009]本专利技术的第三目的是，提供一种电子设备
。
[0010]本专利技术的第四目的是，提供一种计算机存储介质
。
[0011]本专利技术所采取的技术方案是眼底多类型病变的轻量化分类模型，包括主干网络
L
‑
Resnet、
特征融合模块
FFM
和分类输出
。
[0012]所述主干网络，由1个
CBR(Conv+BN+Relu)
模块和4个不同阶段的卷积构成，负责减少模型参数
、
增加网络深度加强
OCT
图像深层语义信息提的取；
[0013]所述特征融合模块
FFM
，由上采样
(upsample)
模块和快速卷积空间金字塔模块
(CSPPF)
组成，负责网络浅层细节信息提取和深层语义信息的提取，使用上采样加强网络深浅层信息的融合，强化病变
OCT
图像的分类；
[0014]所述分类输出，由平均池化
、Concate
拼接
、
两个全连接层构成，负责输出对眼底病变的分类结果
。
[0015]进一步地，所述主干网络
L
‑
Resnet
的
CBR
模块负责对原始图像进行通道拓展，丰富图像特征表达；
[0016]所述通道拓展使用
64
个尺寸大小为3×3地卷积核对输入张量进行特征提取，同时生成新的张量，经卷积操作后将张量尺寸减半；
[0017]所述主干网络
L
‑
Resnet
的不同阶段的卷积通过输出特征张量大小进行划分，输入
OCT
图像大小尺寸为
224
×
224
，经过
CBR
模块处理后的输出大小尺寸为
112
×
112
；
[0018]所述4个不同阶段卷积的输出张量大小分别为
56
×
56、28
×
28、14
×
14、7
×7，其中
每个阶段使用的多尺度卷积块
MultiBlock
的数量分别为
2、2、6、2
，每个阶段每次卷积使用的卷积核数量分别为
64、128、192、256。
[0019]进一步地，所述多尺度卷积块
MultiBlock
由具有不同尺寸卷积核的深度卷积构成，使用4个不同尺寸的卷积核来提取图像中不同大小的病变特征，得到的4个不同子张量，通过拼接操作得到一个完整的张量，使用跳跃连接将同一卷积操作的输入和输出联系起来，使卷积操作能够学习到有用特征，消除网络退化；
[0020]所述深度卷积的每个卷积核负责一个通道，一个通道只被一个卷积核卷积，这个过程中产生的特征通道数和输入通道数相同；
[0021]所述不同子张量通过
Concat
操作按照通道维度拼接成一个张量；
[0022]所述跳跃连接将输入张量直接传递到卷积输出处，使输入张量核卷积后的张量相结合；
[0023]所述多尺度卷积块
MultiBlock
在同一卷积操作中使用4种不同尺寸的卷积核来完成卷积操作，在卷积操作过程中将输入张量进行4等分，使用尺寸大小分别为
1、3、5、7
的卷积核分别对4份输入子张量进行卷积操作，使用不同大小的卷积核来提取不同大小的病变纹理信息和病变边缘信息，不同卷积核得到的新的特征张量经通道混洗加强信息流通和特征表达能力，最后使用激活函数进行激活后传入到下一层；
[0024]所述网络退化是网络加深过程中网络训练精度出现下降的现象；
[0025]所述通道混洗将一组特征张量打乱后重新排序组成新的特征张量
。
[0026]进一步地，所述
FFM
模块通过
Upsample
模块对深层特征进行上采样，通过
CSPPF
模块再次进行不同尺寸特征的提取，丰富网络中
OCT
图像中病变几何信息和病变空间信息的表达，将浅层提取到的
OCT
图像中特异度不同的特征传递到深层，实现浅层纹理信息和深层语义信息的融合；
[0027]所述特征融合模块
FFM
的上采样先通过一个1×1的卷积将输入张量的通道维度拓展到
256
，然后使用双线性插值对特征尺寸进行拓展，使特征尺寸与上一层特征尺寸保持一致；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
眼底多类型病变的轻量化分类模型，其特征在于，包括主干网络
L
‑
Resnet、
特征融合模块
FFM
和分类输出；所述主干网络，由1个
CBR(Conv+BN+Relu)
模块和4个不同阶段的卷积构成，负责减少模型参数
、
增加网络深度加强
OCT
图像深层语义信息提的取；所述特征融合模块
FFM
，由上采样
(upsample)
模块和快速卷积空间金字塔模块
(CSPPF)
组成，负责网络浅层细节信息提取和深层语义信息的提取，使用上采样加强网络深浅层信息的融合，强化病变
OCT
图像的分类；所述分类输出，由平均池化
、Concate
拼接
、
两个全连接层构成，负责输出对眼底病变的分类结果
。2.
根据权利要求1所述眼底多类型病变的轻量化分类模型，其特征在于，所述主干网络
L
‑
Resnet
的
CBR
模块负责对原始图像进行通道拓展，丰富图像特征表达；所述通道拓展使用
64
个尺寸大小为3×3地卷积核对输入张量进行特征提取，同时生成新的张量，经卷积操作后将张量尺寸减半；所述主干网络
L
‑
Resnet
的不同阶段的卷积通过输出特征张量大小进行划分，输入
OCT
图像大小尺寸为
224
×
224
，经过
CBR
模块处理后的输出大小尺寸为
112
×
112
；所述4个不同阶段卷积的输出张量大小分别为
56
×
56、28
×
28、14
×
14、7
×7，其中每个阶段使用的多尺度卷积块
MultiBlock
的数量分别为
2、2、6、2
，每个阶段每次卷积使用的卷积核数量分别为
64、128、192、256。3.
根据权利要求2所述眼底多类型病变的轻量化分类模型，其特征在于，所述多尺度卷积块
MultiBlock
由具有不同尺寸卷积核的深度卷积构成，使用4个不同尺寸的卷积核来提取图像中不同大小的病变特征，得到的4个不同子张量，通过拼接操作得到一个完整的张量，使用跳跃连接将同一卷积操作的输入和输出联系起来，使卷积操作能够学习到有用特征，消除网络退化；所述深度卷积的每个卷积核负责一个通道，一个通道只被一个卷积核卷积，这个过程中产生的特征通道数和输入通道数相同；所述不同子张量通过
Concat
操作按照通道维度拼接成一个张量；所述跳跃连接将输入张量直接传递到卷积输出处，使输入张量核卷积后的张量相结合；所述多尺度卷积块
MultiBlock
在同一卷积操作中使用4种不同尺寸的卷积核来完成卷积操作，在卷积操作过程中将输入张量进行4等分，使用尺寸大小分别为
1、3、5、7
的卷积核分别对4份输入子张量进行卷积操作，使用不同大小的卷积核来提取不同大小的病变纹理信息和病变边缘信息，不同卷积核得到的新的特征张量经通道混洗加强信息流通和特征表达能力，最后使用激活函数进行激活后传入到下一层；所述网络退化是网络加深过程中网络训练精度出现下降的现象；所述通道混洗将一组特征张量打乱后重新排序组成新的特征张量
。4.
根据权利要求1所述眼底多类型病变的轻量化分类模型，其特征在于，所述
FFM
模块通过
Upsample
模块对深层特征进行上采样，通过
CSPPF
模块再次进行不同尺寸特征的提取，丰富网络中
OCT
图像中病变几何信息和病变空间信息的表达，将浅层提取到的
OCT
图像中特异度不同的特征传递到深层，实现浅层纹理信息和深层语义信息的融合；
所述特征融合模块
FFM
的上采样先通过一个1×1的卷积将输入张量的通道维度拓展到
256
，然后使用双线性插值对特征尺寸进行拓展，使特征尺寸与上一层特征尺寸保持一致；所述特征融合模块
FFM
的快速卷积空间金字塔
CSPPF
先通过一个1×1的卷积对通道进行拓展，而后使用三个级联的3×3卷积核实现卷积核大小为
3、5、7
所能实现的感受野，将得到的输出张量按通道维度进行拼接，进行通道打乱后再次使用1×1的卷积核进行通道调整，将输出张量通道限制在
256。5.
眼底多类型病变的轻量化分类方法，其特征在于，所述按照以下步骤进行：
S1、
将眼底病变图像进行预处理使图像尺寸转变为
224
×
224
，将处理好的眼底病变图像经
CBR
模块依次送入由多尺度卷积组成的4个不同阶段的卷积模块，加强网络对信息的提取能力，强化语义信息的提取，并输出；
S2、
特征融合模块使用上采样模块和快速卷积金字塔模块再次对病变特征进行提取，同时融合深浅层病变特征，并输出3种不同尺寸的特征张量；
S3、
融合主干网络的输出和特征融合模块的输出，得到对眼底病变的分类结果
。6.
根据权利要求5所述眼底多类型病变的轻量化分类方法，其特征在于，
S1
的图像尺寸转换以及不同阶段卷积所进行特征提取按照以下公式进行，并将不同卷积的到的输出传递到特征融合模块，
X
224
＝
R
e
(I
i
))))))))))
其中
I
i
为输入图像；
R
e
为图像尺寸设置；
X
224
经预处理之后尺寸大小为
224
×
224
的特征张量；为卷积核大小为3×3，卷积核数量为

【专利技术属性】
技术研发人员：贾晓芬，侯小虎，赵佰亭，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：