一种基于改进的Unet网络的皮肤病图像分割方法及系统技术方案

本发明专利技术公开了一种基于改进的Unet网络的皮肤病图像分割方法及系统，预先有关皮肤病的医学图像，构建基于改进的Unet网络的图像分割模型，包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；所述编码器由ResNext作为主干特征提取网络，SwinTransformer作为辅助特征提取网络；对图像分割模型进行训练，生成标签图；再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化，保存结果最好的一次权值，生成权值文件；图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割。本发明专利技术拥有更高的分割精度，提高对于皮肤病分割的准确度，可以更准确的辅助医生进行诊断。生进行诊断。生进行诊断。

【技术实现步骤摘要】
一种基于改进的Unet网络的皮肤病图像分割方法及系统


[0001]本专利技术涉及自动图像分割
，具体涉及一种基于改进的Unet网络的皮肤病图像分割方法及系统。

技术介绍

[0002]医学图像分割的目的是使图像中解剖或病理结构的变化更加清晰；它在计算机辅助诊断和智能医疗中发挥着至关重要的作用，极大地提高了诊断的效率和准确性。目前流行的医学图像分割任务包括肝脏和肝脏肿瘤分割，脑和脑肿瘤分割，视盘分割，细胞分割，肺分割和肺结节等。
[0003]2015年OlafRonneberger等提出了Unet网络模型，其基于编码器
‑
解码器结构，并应用长距离跳跃连接结合来自底层的细节，有效的弥补了因下采样操作过程中空间信息缺失，帮助网络恢复更加精确的定位，这对于医学图像分割、遥感图像分割以及抠图这种对细节非常看重的密集型分割任务来说是至关重要的。
[0004]现有的医学图像分割方法受到复杂的病灶表面以及病灶区域丰富组织和纹理的影响，如皮肤病图像可能包含毛发、血管、气泡等，病变区域与周围皮肤的边界模糊等因素会对分割和分类结果产生一定的影响，皮损周边的颜色分布不均、形状不规则，遮挡病灶区域在分割准确性和稳定性上难以满足临床需求，这都给皮肤病图像分割任务带来较大的挑战。为此需要一种更精准的分割模型来应对具有挑战性的医学图像问题。

技术实现思路

[0005]专利技术目的：本专利技术提供一种基于改进的Unet网络的皮肤病图像分割方法及系统，提高对于皮肤病分割的准确度，可以更准确的辅助医生进行诊断。
[0006]技术方案：本专利技术所述的一种基于改进的Unet网络的皮肤病图像分割方法，具体包括以下步骤：
[0007](1)预先有关皮肤病的医学图像，并对图像中待分割区域进行标记，将其作为标签，形成数据集；
[0008](2)构建基于改进的Unet网络的图像分割模型；所述改进的Unet网络包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；所述编码器由ResNext作为主干特征提取网络，SwinTransformer作为辅助特征提取网络；
[0009](3)对图像分割模型进行训练，将训练集的图像输入模型中，生成模型预测的标签图，再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化，保存结果最好的一次权值，生成权值文件；
[0010](4)图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割。
[0011]进一步地，步骤(2)所述SwinTransformer一共由五层编码层组成，分别为stage1，stage2，stage3，stage4，stage5，通过SwinTransformer对待分割图片进行编码，得到通道
数分别为48，128，256，512，1024的子特征图F1～F5；所述ResNext一共由五层编码层组成，分别为conv1，conv2，conv3，conv4，conv5，通过ResNext对待分割图片进行编码，得到通道数分别为64，256的特征图E1和E2；将F2与E2输入网络特征聚合机制得到E2
’
，再将E2
’
继续输入进编码层conv3得到通道数为512的特征图E3；将F3与E3输入网络特征聚合机制得到E3
’
，再将E3
’
继续输入进编码层conv4得到通道数为1024的特征图E4；将F4与E4输入网络特征聚合机制得到E4
’
，再将E4
’
继续输入进编码层conv5得到通道数为2048的特征图E5；将特征图E5输入进空洞空间卷积池化金字塔得到E5
’
；
[0012]子特征图E1通过卷积将通道数64变为128得到E1
’
；E1
’
～E4
’
分别输入至对应的边缘增强注意力机制通道中，分别得到子特征图E1”～E4”；E5
’
经过上采样得到M5，M5与E4”在通道维度上拼接，经过第四层解码层输出大小为M4的特征图，其再与E3”进行拼接，经过第三层解码层输出大小为M3的特征图，其与E2”进行拼接，经过第二层解码层输出大小为M2的特征图，其与E1”进行拼接，经过第一层解码层输出大小为M1的特征图，最后通过1
×
1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图P1。
[0013]进一步地，所述ResNext包括conv1，由一次7
×
7卷积块卷积得到，conv2～conv5分别由3，4，6，3个bottleneck构成。
[0014]进一步地，步骤(2)所述SwinTransformer包括stage1，由一次卷积得到，stage2～stage5分别由2，2，18，2个SwinTransformrt Block构成。
[0015]进一步地，步骤(2)所述网络特征聚合机制包括：SwinTransformer输入的特征图大小为H
×
W
×
C，在分别经过全局最大池化和全局平均池化之后，输出结果为两个1
×1×
C的特征图T1，T2，将它们分别输入进前置多层感知机，使通道数大小C变为C/16；再将得到两个特征图相加并输入进后置多层感知机中，将通道数大小C/16变为C，并且用Sigmoid激活函数进行激活，之后与ResNext输入的特征图进行相乘操作得到out1；接着对SwinTransformer输入的特征图在长、宽以及通道的维度上计算全局平均池化得到avg_out1,avg_out2,avg_out3，对SwinTransformer输入的特征图在长、宽以及通道的维度上计算全局最大池化得到max_out1,max_out2,max_out3；将avg_out3和max_out3在通道的维度上进行拼接并且进行一次7
×
7的卷积操作；将所得结果分别直接使用Sigmoid激活函数激活得到spatial_out1，取反使用Sigmoid激活函数激活得到spatial_out2；将两个spatial_out1相加减去spatial_out2得到的结果用Sigmoid函数激活加上spatial_out1，再乘以out1得到新的out1；将max_out1和max_out2相乘，avg_out1和avg_out2相乘，所得结果相加并用Sigmoid函数激活乘以SwinTransformer输入的特征图得到out2；将out1，out2，SwinTransformer输入的特征图，ResNext输入的特征图相加得到最终结果。
[0016]进一步地，步骤(2)所述边缘增强注意力机制包括：网络特征聚合机制输入的特征图大小为H
×
W
×
C，在分别经过全局最大池化和全局平均池化之后，输出结果为两个1
×1×
...

【技术保护点】

【技术特征摘要】
1.一种基于改进的Unet网络的皮肤病图像分割方法，其特征在于，包括以下步骤：(1)预先有关皮肤病的医学图像，并对图像中待分割区域进行标记，将其作为标签，形成数据集；(2)构建基于改进的Unet网络的图像分割模型；所述改进的Unet网络包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；所述编码器由ResNext作为主干特征提取网络，SwinTransformer作为辅助特征提取网络；(3)对图像分割模型进行训练，将训练集的图像输入模型中，生成模型预测的标签图，再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化，保存结果最好的一次权值，生成权值文件；(4)图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割。2.根据权利要求1所述的一种基于改进的Unet网络的皮肤病图像分割方法，其特征在于，步骤(2)所述SwinTransformer一共由五层编码层组成，分别为stage1，stage2，stage3，stage4，stage5，通过SwinTransformer对待分割图片进行编码，得到通道数分别为48，128，256，512，1024的子特征图F1～F5；所述ResNext一共由五层编码层组成，分别为conv1，conv2，conv3，conv4，conv5，通过ResNext对待分割图片进行编码，得到通道数分别为64，256的特征图E1和E2；将F2与E2输入网络特征聚合机制得到E2
’
，再将E2
’
继续输入进编码层conv3得到通道数为512的特征图E3；将F3与E3输入网络特征聚合机制得到E3
’
，再将E3
’
继续输入进编码层conv4得到通道数为1024的特征图E4；将F4与E4输入网络特征聚合机制得到E4
’
，再将E4
’
继续输入进编码层conv5得到通道数为2048的特征图E5；将特征图E5输入进空洞空间卷积池化金字塔得到E5
’
；子特征图E1通过卷积将通道数64变为128得到E1
’
；E1
’
～E4
’
分别输入至对应的边缘增强注意力机制通道中，分别得到子特征图E1”～E4”；E5
’
经过上采样得到M5，M5与E4”在通道维度上拼接，经过第四层解码层输出大小为M4的特征图，其再与E3”进行拼接，经过第三层解码层输出大小为M3的特征图，其与E2”进行拼接，经过第二层解码层输出大小为M2的特征图，其与E1”进行拼接，经过第一层解码层输出大小为M1的特征图，最后通过1
×
1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图P1。3.根据权利要求1所述的一种基于改进的Unet网络的皮肤病图像分割方法，其特征在于，所述ResNext包括conv1，由一次7
×
7卷积块卷积得到，conv2～conv5分别由3，4，6，3个bottleneck构成。4.根据权利要求1所述的一种基于改进的Unet网络的皮肤病图像分割方法，其特征在于，步骤(2)所述SwinTransformer包括stage1，由一次卷积得到，stage2～stage5分别由2，2，18，2个SwinTransformrt Block构成。5.根据权利要求1所述的一种基于改进的Unet网络的皮肤病图像分割方法，其特征在于，步骤(2)所述网络特征聚合机制包括：SwinTransformer输入的特征图大小为H
×
W
×
C，在分别经过全局最大池化和全局平均池化之后，输出结果为两个1
×1×
C的特征图T1，T2，将它们分别输入进前置多层感知机，使通道数大小C变为C/16；再将得到两个特征图相加并输入进后置多层感知机中，将通道数大小C/16变为C，并且用Sigmoid激活函数进行激活，之后与ResNext输入的特征图进行相乘操作得到out1；接着对SwinTransformer输入的特征图
在长、宽以及通道的维度上计算全局平均池化得到avg_ou...

【专利技术属性】
技术研发人员：王浩然，于坤，高宋宇衡，李强强，管乾钧，高市洪，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：