基于通道混合的编解码网络的医学图像分割方法技术

本发明专利技术特别涉及一种基于通道混合的编解码网络的医学图像分割方法，包括如下步骤：获取待分割的医学图像；将待分割的医学图像导入训练好的网络模型中进行识别得到分割后的医学图像；所述训练好的网络模型基础结构为对称U

【技术实现步骤摘要】
基于通道混合的编解码网络的医学图像分割方法


[0001]本专利技术涉及计算机图像识别
，特别涉及一种基于通道混合的编解码网络的医学图像分割方法。

技术介绍

[0002]目前，计算机视觉技术应用于多个场景，包括图像分类、目标检测、三维重建以及语义分割等领域。随着互联网通信快速发展，智能化产品的竞争力需要更高级的语义场景理解的技术突破。因此，语义分割作为计算机视觉的核心问题，能够帮助越来越多的产品自动高效地理解图像或影像中相关的知识或语义，从而达到智能化目标，减小人为的交互操作以及提升客户的舒适感。当前这些产品已广泛应用于自动驾驶、人机交互、计算摄影学、图像搜索引擎、增强现实等领域。
[0003]计算机视觉中语义分割问题本质上是从粗糙推理逐渐到精细化推理的过程。刚开始要追溯到分类问题，即粗略地预测输入样本中的物体类别，之后就是目标物体的定位与检测，这不仅预测物体的类别，并且给出关于各类别空间位置的额外信息，比如中心点或物体区域的边框。在此基础上，语义分割可以理解为在检测领域上的细粒度预测，将测试图像输入分割网络，使预测的热图大小和输入图片保持一致，通道数等于类别数，分别代表了各空间位置属于各类别的概率，即可以逐像素地进行分类。
[0004]全卷积网络FCN成为了深度学习技术应用于语义分割问题的基石，它可以接受任意尺寸的输入图像，通过若干个反卷积层对编码网络的最后一个卷积的特征图（feature map）进行上采样解码，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息。随后在FCN网络的基础上，衍生了多种语义分割模型，如编解码之间具有跳跃连接的对称网络U
‑
net,引入扩张卷积和使用条件随机场CRF进行后处理优化的DeepLab系列网络以及结合上下文信息进行特征融合的ParseNet。
[0005]医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。但是，采用常见的一些算法从医学图像中自动分割出目标依然是个艰巨的任务，因医学图像具有较高的复杂性以及缺少简单的线性特征，且部分容积效应、灰度不均匀性、伪影、软组织间不同灰度值等现象，导致分割的准确率不高。

技术实现思路

[0006]本专利技术的目的在于提供一种基于通道混合的编解码网络的医学图像分割方法，能够更好的实现复杂图像的分割。
[0007]为实现以上目的，本专利技术采用的技术方案为：一种基于通道混合的编解码网络的医学图像分割方法，包括如下步骤：获取待分割的医学图像；将待分割的医学图像导入训练好的网络模型中进行识别得到分割后的医学图像；所述训练好的网络模型基础结构为对称
U
‑
Net网络结构，且U
‑
Net网络结构中解码器部分的特征图由编码器中具有相同尺寸的特征图通过自注意力模块和最大上采样索引矩阵分别处理并融合后得到。
[0008]与现有技术相比，本专利技术存在以下技术效果：本专利技术中提出的医学图像分割方法，大部分分割算法借鉴U
‑
Net的跳转连接，来融合不同尺度下的信息，从而指导信息传递的目的；与传统的算法不同的是，本方法提出了一种通道混合的自注意力模块来代替skip
‑
connect结构以及最大索引上采样来代替转置卷积，实现解码网络的特征上采样；除此之外，还提出了分段训练的组合损失策略来达到训练速度和精度的权衡。
附图说明
[0009]图1是本专利技术中网络模型的结构框图；图2是本专利技术中网络模型的具体结构图；图3是本专利技术中自注意力模块的具体结构图；图4是最大上采样索引矩阵连接示意图。
具体实施方式
[0010]下面结合图1至图4，对本专利技术做进一步详细叙述。
[0011]参阅图1，一种基于通道混合的编解码网络的医学图像分割方法，包括如下步骤：获取待分割的医学图像；将待分割的医学图像导入训练好的网络模型中进行识别得到分割后的医学图像；所述训练好的网络模型基础结构为对称U
‑
Net网络结构，且U
‑
Net网络结构中解码器部分的特征图由编码器中具有相同尺寸的特征图通过自注意力模块和最大上采样索引矩阵分别处理并融合后得到。本专利技术中提出的医学图像分割方法，大部分分割算法借鉴U
‑
Net的跳转连接，来融合不同尺度下的信息，从而指导信息传递的目的；与传统的算法不同的是，本方法提出了一种通道混合的自注意力模块来代替skip
‑
connect结构以及最大索引上采样来代替转置卷积，实现解码网络的特征上采样。自注意力模块能够将大范围区域的全局特征信息编码后加入局部特征信息中，使得特征图的局部特征带有与全局空间特征依赖信息，进而增强了模块的表示能力。最大上采样索引矩阵用于保存对称的编码阶段的池化点位置信息，在解码阶段，对于上采样的操作，会根据对称的编码记录的索引矩阵，决定每一个池化后的1x1特征点来源于之前的2x2的哪个区域。通过自注意力模块和最大上采样索引矩阵的处理，保证对特征图进行图像语义还原时能够融合更多的信息，提高最后的分割精度。
[0012]基于自注意力模块和最大上采样索引矩阵的U
‑
Net网络结构有很多种设置方法，本专利技术中优选地采用图2所示的方案，由于本专利技术中的网络结构较为复杂，不便于直接从结构上进行表述，因此这里通过对图像处理的具体步骤进行描述的方式来展现该网络结构。具体地，所述的U
‑
Net网络结构按如下步骤将输入图像处理为分割后的医学图像：S100、将输入的图像进行卷积操作得到特征图a1，输入图像的通道数*高*宽记为C*H*W；S200、对特征图a
i
进行卷积和池化操作得到特征图a
i+1
，其中i∈{1,2,
…
,n
‑
1}，即：对特征图a1进行卷积和池化操作得到特征图a2，对特征图a2进行卷积和池化操作得到特征图a3，以此类推，最终得到特征图a
n
；S300、利用自注意力模块对特征图a
i
进行处理，利用最大上采样索引矩阵对特征图b
i+1
进行处理，并将两者的处理结果融合后得到特征图b
i
；S400、对特征图b1进行卷
积操作得到特征图c；S500、对特征图c进行softmax操作即可得到分割后的医学图像；以上步骤中，输入的图像与特征图c具有相同的宽高，特征图c的通道数为K，K就是类别数，每个类别中的特征值代表了各像素位置为该类别的概率。所述的步骤S500中，特征图c的通道数K为医学图像分割后的类别数；分割后的医学图像为热图，热图中K各类别分别显示为不同颜色。特征图a
i
和b
i
尺寸完全相同，尺寸完全相同即两者通道数、高度、宽度均相等。通过这些步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道混合的编解码网络的医学图像分割方法，其特征在于：包括如下步骤：获取待分割的医学图像；将待分割的医学图像导入训练好的网络模型中进行识别得到分割后的医学图像；所述训练好的网络模型基础结构为对称U
‑
Net网络结构，且U
‑
Net网络结构中解码器部分的特征图由编码器中具有相同尺寸的特征图通过自注意力模块和最大上采样索引矩阵分别处理并融合后得到。2.如权利要求1所述的基于通道混合的编解码网络的医学图像分割方法，其特征在于：所述的U
‑
Net网络结构按如下步骤将输入图像处理为分割后的医学图像：S100、将输入的图像进行卷积操作得到特征图a1；S200、对特征图a
i
进行卷积和池化操作得到特征图a
i+1
，其中i∈{1,2,
…
,n
‑
1}，a
n
即为最底层特征图b
n
；S300、利用自注意力模块对特征图a
i
进行处理，利用最大上采样索引矩阵对特征图b
i+1
进行处理，并将两者的处理结果融合后得到特征图b
i
；S400、对特征图b1进行卷积操作得到特征图c；S500、对特征图c进行softmax操作即可得到分割后的医学图像；以上步骤中，输入的图像与特征图c具有相同的宽高，特征图a
i
和b
i
尺寸完全相同。3.如权利要求1所述的基于通道混合的编解码网络的医学图像分割方法，其特征在于：所述的步骤S200中，特征图a
i
进行池化操作时生成最大上采样索引矩阵d
i
，步骤S300包括如下步骤：S310、特征图a
i
经过自注意力模块处理后得到特征图b
i,1
；S320、对特征图b
i+1
进行卷积操作得到特征图；S330、特征图根据最大上采样索引矩阵d
j
进行最大池化上采样得到特征图b
i,2
；S340、将特征图b
i,1
和特征图b
i,2
进行通道融合得到特征图b
i
；以上步骤中，特征图a
i
、...

【专利技术属性】
技术研发人员：田辉，刘其开，郭玉刚，张志翔，
申请(专利权)人：合肥高维数据技术有限公司，
类型：发明
国别省市：