【技术实现步骤摘要】
本专利技术涉及一种医学图像分割方法，具体涉及一种基于transformer与cnn的视盘和视杯分割方法，属于深度学习。
技术介绍
1、青光眼是一种较为严重的眼部疾病，如果不及时治疗，可能会导致视力损失，甚至是失明。在早期治疗青光眼时，分割视盘和视杯是至关重要的步骤。视盘是视神经纤维的起始点，也是青光眼最常见的部位，它受损可能会导致视神经损伤和视力丧失。而视杯是视盘中的一个凹陷，青光眼患者通常会出现视杯扩大的情况，这也是早期诊断青光眼的重要指标之一。因此，精确分割视盘和视杯是至关重要的。
2、在分割视盘和视杯的过程中，可能会面临一些挑战。首先，视盘和视杯的边界并不总是清晰可见，特别是在患者的眼底结构不够规则或者有出血等情况下。这可能会导致在准确识别和分割这些结构时出现困难。其次，分割过程还可能受到图像质量、分辨率以及眼底结构的影响。因此，需要利用图像处理和数据增强技术来增强图像的清晰度和对比度，以便更准确地识别和分割这些结构。最后，由于视盘和视杯在形态和颜色上具有一定的变化，所以可能存在噪音和干扰，这会增加分割算法的复杂性。此外，由于眼底图像可能会受到光照条件、患者眼球运动等因素的影响，因此需要设计一种全新的分割视盘和视杯的方法，以解决分割结果的准确性低的问题。
3、在医学图像分割领域，卷积神经网络和transformer都各具优势，因此在视盘和视杯分割任务中，有效的结合两者能够取得更好的效果。首先，卷积神经网络以其在空间数据处理方面的优势，能够有效地提取局部特征和捕捉图像中的纹理信息。其次，transfo
技术实现思路
1、为了实现视盘和视杯的精确分割，本专利技术提出一种基于transformer与cnn的视盘视杯分割方法，本专利技术提供的技术方案是：
2、一种基于transformer与cnn的视盘和视杯分割方法，包括以下步骤：
3、s1.获取待分割的图像数据；
4、s2.将所述图像数据输入到训练好的基于transformer与cnn的视盘和视杯分割模型，其中，基于transformer与cnn的视盘和视杯分割模型的骨干网络为transunet网络，所述transunet网络包括编码器cnn模块、编码器transformer模块和解码器模块；
5、s3.根据所述图像数据以及所述基于transformer与cnn的视盘和视杯分割模型，得到视盘和视杯分割结果。
6、进一步地，基于transformer与cnn的视盘和视杯分割模型的训练过程包括以下步骤：
7、s2-1.获取视盘和视杯数据集；
8、s2-2.将所述视盘和视杯数据集中图片输入到编码器cnn模块，得到图像的局部特征图；
9、s2-3.将所述图像的局部特征图输入到编码器transformer模块，得到编码特征表示；
10、s2-4.将编码特征表示输入到解码器模块，得到视盘和视杯分割结果。
11、进一步地，所述步骤s2-1中视盘和视杯数据集为三个公开的视盘与视杯数据集，分别是rim-one-v3、refuge和drishti-gs数据集。
12、进一步地，所述步骤s2-2中的编码器cnn模块采用层级卷积融合模块代替cnn层中的传统卷积；
13、所述将所述视盘和视杯数据集中图片输入到编码器cnn模块，得到图像的局部特征图，具体包括：首先把编码器cnn模块接收到的原始特征图 x传入到一个卷积核大小为1×1的深度可分离卷积中进行卷积，同时把该原始特征图 x分别传入到卷积核大小为3×3和5×5的深度可分离卷积中进行卷积，得到三种卷积核处理的特征图，然后将三种卷积核处理的特征图进行相加，得到相加后的特征图 x1，再将相加后的特征图 x1分别传入到大小为1×1和3×3的深度可分离卷积中进行卷积，并把得到的特征图再进行相加，得到特征图 x2，最后把特征图 x2传入到一个1×1的深度可分离卷积中进行卷积，并与原始特征图 x进行相加，得到图像的局部特征 x3，层级卷积融合模块的具体操作公式如下：
14、（1）
15、（2）
16、（3）
17、其中， dw表示深度可分离卷积操作，下角标1、3、5表示卷积核的大小， conv表示一个1×1的普通卷积操作。
18、进一步地，所述步骤s2-3具体包括：
19、将所述图像的局部特征 x3输入到编码器transformer模块中分割成小块，然后为每个小块分配一个固定的位置编码，接着对位置编码和每个小块对应的特征向量进行自注意力计算和特征交互，得到每个小块的编码特征表示。
20、进一步地，所述步骤s2-4的解码器中采用多尺度通道交叉融合模块代替transunet网络中的传统跳跃连接，所述多尺度通道交叉融合模块中的操作具体包括：
21、多尺度通道交叉融合模块把编码器和解码器输出的特征图按照通道分成四份，编码器的每层输出的特征图分别为m1、m2、m3、m4，解码器每层输出的特征图分别为n1、n2、n3、n4,对解码器输出的特征图和编码器输出的特征图进行两两融合，然后把融合后的特征图分别传入膨胀因子为1、2、5、7的膨胀卷积中，将进行完膨胀卷积的特征图按通道进行拼接，得到拼接后的特征图 o，多尺度通道交叉融合模块具体操作公式如下：
22、（4）
23、（5）
24、（6）
25、（7）
26、其中,m表示解码器每一层的输出，fd表示解码器的输出特征，n表示编码器每一层的输出，fe表示编码器的输出特征，w代表对m和n进行交叉连接后的特征图，o代表最后该模块的输出，concat表示按通道拼接操作，d表示膨胀卷积操作，1、2、5、7表示膨胀因子。
27、进一步地，将步骤s2所述骨干网络transunet中的传统卷积本文档来自技高网...
【技术保护点】
1.一种基于Transformer与CNN的视盘和视杯分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于Transformer与CNN的视盘和视杯分割方法，其特征在于，所述步骤S2基于Transformer与CNN的视盘和视杯分割模型的训练过程包括以下步骤：
3.根据权利要求2所述基于Transformer与CNN的视盘和视杯分割方法，其特征在于，所述步骤S2-1中视盘和视杯数据集为三个公开的视盘与视杯数据集，分别是RIM-ONE-v3、REFUGE和DRISHTI-GS数据集。
4.根据权利要求2所述基于Transformer与CNN的视盘和视杯分割方法，其特征在于，所述步骤S2-2中的编码器CNN模块采用层级卷积融合模块代替CNN层中的传统卷积；
5.根据权利要求2所述基于Transformer与CNN的视盘和视杯分割方法，其特征在于，所述步骤S2-3具体包括：
6.根据权利要求2所述基于Transformer与CNN的视盘和视杯分割方法，其特征在于，所述步骤S2-4的解码器中采用多尺度通道交叉融合模块
7.根据权利要求1所述基于Transformer与CNN的视盘和视杯分割方法，其特征在于，将所述步骤S2中的骨干网络TransUNet中的传统卷积全部改为所述层级卷积融合模块。
...【技术特征摘要】
1.一种基于transformer与cnn的视盘和视杯分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于transformer与cnn的视盘和视杯分割方法，其特征在于，所述步骤s2基于transformer与cnn的视盘和视杯分割模型的训练过程包括以下步骤：
3.根据权利要求2所述基于transformer与cnn的视盘和视杯分割方法，其特征在于，所述步骤s2-1中视盘和视杯数据集为三个公开的视盘与视杯数据集，分别是rim-one-v3、refuge和drishti-gs数据集。
4.根据权利要求2所述基于transformer与cnn的视盘和视杯分割方法，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。