一种基于类Transformer网络的医学图像分割方法技术

本发明专利技术属于图像分割领域，具体涉及了一种基于类Transformer网络的医学图像分割方法。首先，本发明专利技术利用隔像素采样的方式将原始分辨率图像切分为4相同尺寸的图像块；然后，本发明专利技术在U型网络的编解码结构中设计了类Transformer模块和DenseMLP模块，使得网络模型可以获得更大感受野并捕获多尺度特征信息；最后，本发明专利技术将公开数据集进行训练集与测试集的划分，并将数据输入网络模型，通进网络训练后，获得图像分割结果。本发明专利技术解决了现有的各类卷积神经网络在医学图像分割问题上存在的无法有效建立起远程依赖和感受野不足的问题。无法有效建立起远程依赖和感受野不足的问题。无法有效建立起远程依赖和感受野不足的问题。

【技术实现步骤摘要】
一种基于类Transformer网络的医学图像分割方法


[0001]本专利技术涉及图像分析领域的医学图像分割技术，特别涉及一种基于类Transformer网络的医学图像分割方法。

技术介绍

[0002]医学图像分割在医学图像分析领域具有越来越重要的临床价值，尤其在图像引导的外科手术和放射治疗等方面成为热点技术，目前所涉及的临床应用包括：病变分割、细胞分割、组织器官分割等。其目的在于细分医学图像中特征相同的组成部分或提取感兴趣区域，这为医生进行临床诊断起着至关重要的作用。
[0003]随着卷积神经网络(CNN)在计算机视觉领域的发展，CNN被广泛且快速地应用于医学图像分割。作为典型的CNN变体，U
‑
Net是一种基于编码器
‑
解码器结构的神经网络，通过编码器连续下采样进行特征提取，并通过跳跃连接解码器的输出特征进行上采样，此结构被证明了具有出色的分割性能。近几年，许多基于U
‑
Net结构的方法被提出用于解决医学图像分割问题，这些方法在多个数据集中被证实具有很好的性能。然而，由于此类方法存在固有的归纳偏差，卷积核只聚焦于图像的局部图像块，容易损失全局上下文，导致无法建立长程依赖关系。虽然有研究者提出基于注意力的方法来试图建模长期依赖关系，但这些方法并不是专门针对医学图像分割任务设计的，在全局上下文建模方面具有一定的局限性，并且严重依赖大规模的预训练模型，因此针对此方向上的改进是具有一定潜力的。
[0004]最近，Transformer在自然语言处理(NLP)领域取得了巨大成功，由于该框架中多头自注意力机制可以有效地在被标记的序列之间建立全局连接，具有远程依赖建模的能力，可用于改进纯CNN模型，因此研究人员将Transformer引入计算机视觉领域以出色地完成视觉任务。在医学图像分割领域，其中一些工作取得了令人满意的效果，有研究人员提出了一种具有兼容性的框架可用于多视觉任务，且作为视觉骨干具有一定潜力，但该方法仍然依赖于通过在大型图像数据集上训练获得的预训练权重。还有研究人员利用Transformer作为进医学图像分割的强大编码器，并结合U
‑
NET的结构来恢复局部空间信息实现细节增强，但该方法注重在单一尺度上使用自注意力机制来进行上下文建模，而忽略了跨尺度的依赖性。
[0005]综上所述，通过增强空间信息和建模长期依赖关系，可以用于精确的医学图像分割。减少特征信息的丢失，融合多尺度特征以及在较小数据集上表现出良好的性能是医学图像分割亟待解决的关键问题。

技术实现思路

[0006]针对上述问题，本专利技术的目的在于提供一种基于类Transformer网络的医学图像分割方法，通过类Transformer模块建模图像块之间的长期依赖关系，采用U型网络结构实现模块之间的多尺度信息融合。技术方案如下：
[0007]一种类Transformer网络的医学图像分割方法，包括如下步骤：
[0008]步骤1：选择公开的医学图像分割数据集，并对数据集中的训练集进行预处理；
[0009]步骤2：构建图像切片模块，用于输入图像分割网络的小尺寸图像块；
[0010]步骤3：构建跨流注意力模块和密集多层感知器模块，用于捕获多尺度特征；
[0011]步骤4：通过跨流注意力模块和密集多层感知器模块构建类Transformer模块，以此捕获图像块之间的重要全局上下文信息，提取丰富的局部信息和空间纹理信息；
[0012]步骤5：将所述类Transformer模块作为编码器、解码器的组成部分，结合桥接器构建U型分割网络框架。
[0013]进一步的，所述步骤1中的医学图像分割数据集为：GLAnd Segmentation；预处理时将所有图像调整为224
×
224像素大小的图像。
[0014]更进一步的，所述步骤2构建图像切片模块的具体过程如下：
[0015]步骤2.1：针对输入图像I的每个通道图像每隔一个像素取一个值，由此每个通道获得4张尺寸减半的图片，表达公式如下：
[0016]I＝{I1，I2，...，I
C
}
[0017][0018]其中，F(I
n
)表示图像切片操作，p
(i，j)
表示像素点，C为图像通道数量，n表示图像的第n通道，且n≤C；H和W分别为图像的高度和宽度，表示级联操作；
[0019]步骤2.2：将W、H维度的信息集中到通道空间，输入通道扩充了4倍，输出特征图为代表图像块尺寸高为H，宽为W，通道数量为C。
[0020]更进一步的，所述步骤3中跨流注意力模块和密集多层感知器模块设计过程如下：
[0021]步骤3.1：将图像切片模块的输出特征图作为跨流注意力模块的输入特征，跨流注意力模块包括三条分支，分别为大核注意力分支、空间注意力分支和通道注意力分支；
[0022]1)所述大核注意力分支包括三个子操作DW
‑
Conv、DW
‑
D
‑
Conv和1
×
1Conv，分别获得X
DW
‑
Conv
、X
DW
‑
D
‑
Conv
和X
Conv
三个特征图，大核注意力分支输出特征图表达公式如下；
[0023]X
sl
＝X
l
‑1⊙
(Conv1×1(DW
‑
D
‑
Conv(DW
‑
Conv(X
l
‑1))))
[0024]其中，
⊙
为逐像素相乘操作，DW
‑
Conv表示深度可分离卷积操作，DW
‑
D
‑
Conv表示深度可分离扩张卷积操作，1
×
1Conv表示卷积核为1的卷积操作；
[0025]2)所述空间注意力分支首先将特征图X
l
‑1和X
DW
‑
Conv
通过通道均值和重塑操作生成特征图和N＝H
×
W；将特征图X
′
l
和X
′
DW
‑
Conv
进行矩阵相乘得到特征图X
′
sn
，然后将特征图X
′
sn
经过softmax操作获得特征图最后特征图X
″
sn
和X
′
l
矩阵相乘获得空间注意力分支输出的特征图
[0026]3)所述通道注意力分支将特征图X
l
‑1和X
DW
‑
Conv
通过全局池化和重塑操作生成特征图和然后将特征图X
″
l
和X
″
DW<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类Transformer网络的医学图像分割方法，其特征在于，包括如下步骤：步骤1：选择公开的医学图像分割数据集，并对数据集中的训练集进行预处理；步骤2：构建图像切片模块，用于输入图像分割网络的小尺寸图像块；步骤3：构建跨流注意力模块和密集多层感知器模块，用于捕获多尺度特征；步骤4：通过跨流注意力模块和密集多层感知器模块构建类Transformer模块，以此捕获图像块之间的重要全局上下文信息，提取丰富的局部信息和空间纹理信息；步骤5：将所述类Transformer模块作为编码器、解码器的组成部分，结合桥接器构建U型分割网络框架。2.根据权利要求1所述的基于类Transformer网络的医学图像分割方法，其特征在于，所述步骤1中的医学图像分割数据集为：GLAnd Segmentation；预处理时将所有图像调整为224
×
224像素大小的图像。3.根据权利要求1所述的基于类Transformer网络的医学图像分割方法，其特征在于，所述步骤2构建图像切片模块的具体过程如下：步骤2.1：针对输入图像I的每个通道图像每隔一个像素取一个值，由此每个通道获得4张尺寸减半的图片，表达公式如下：I＝{I1，I2，...，I
C
}其中，F(I
n
)表示图像切片操作，p
(i，j)
表示像素点，C为图像通道数量，n表示图像的第n通道，且n≤C；H和W分别为图像的高度和宽度，表示级联操作；步骤2.2：将W、H维度的信息集中到通道空间，输入通道扩充了4倍，输出特征图为步骤2.2：将W、H维度的信息集中到通道空间，输入通道扩充了4倍，输出特征图为代表图像块尺寸高为H，宽为W，通道数量为C。4.根据权利要求3所述的基于类Transformer网络的医学图像分割方法，其特征在于，所述步骤3中跨流注意力模块和密集多层感知器模块设计过程如下：步骤3.1：将图像切片模块的输出特征图作为跨流注意力模块的输入特征，跨流注意力模块包括三条分支，分别为大核注意力分支、空间注意力分支和通道注意力分支；1)所述大核注意力分支包括三个子操作DW
‑
Conv、DW
‑
D
‑
Conv和1
×
1Conv，分别获得X
DW
‑
Conv
、X
DW
‑
D
‑
Conv
和X
Conv
三个特征图，大核注意力分支输出特征图表达公式如下；X
sl
＝X
l
‑1⊙
(Conv1×1(DW
‑
D
‑
Conv(DW
‑
Conv(X
l
‑1))))其中，
⊙
为逐像素相乘操作，DW
‑
Conv表示深度可分离卷积操作，DW
‑
D
‑
Conv表示深度可分离扩张卷积操作，1
×
1Conv表示卷积核为1的卷积操作；2)...

【专利技术属性】
技术研发人员：朱敏，高承睿，程俊龙，杨子元，陈迎语，王凤杰，
申请(专利权)人：四川大学，
类型：发明
国别省市：