一种基于池化Transformer的多任务全心脏CT分割方法技术

本发明专利技术提出一种基于池化Transformer的多任务全心脏CT分割方法，包括，获取全心脏CT图像训练数据集；构建全心脏CT图像分割模型，其中全心脏CT图像分割模型包括3D transformer编码器和3D卷积神经网络解码器，采用3D池化注意力机制计算图像块与图像块之间的关系；将全心脏CT图像训练数据集输入全心脏CT图像分割模型进行训练，得到完成的全心脏CT图像分割模型；其中分割损失函数由Dice损失函数和加权交叉熵损失函数组成；将测试数据集中的图像输入训练完成的全心脏CT图像分割模型，获取图像分割结果。通过本发明专利技术提出的方法，可以准确高效的进行心脏分割。的进行心脏分割。的进行心脏分割。

【技术实现步骤摘要】
一种基于池化Transformer的多任务全心脏CT分割方法


[0001]本专利技术属于医学图像处理和计算机视觉


技术介绍

[0002]心脏分割是分析和治疗心血管疾病的基础和关键，在医学领域发挥着重要作用。从心脏图像中提取出解剖结构，能够辅助医生提前进行手术规划，保证手术的顺利开展与实施。目前，准确高效的全心脏分割仍然是一项有挑战的任务。虽然全卷积神经网络(FCNNs)已在医学分割领取得了显著成就，涌现出一批优秀的算法。然而受感受野的限制，FCNNs往往难以捕获图像的全局信息，导致全局空间特征建模不足，分割性能有待进一步提高。
[0003]鉴于Transformer在自然语言处理中的出色表现，已经被广泛应用于视觉任务中并取得了显著成效，如图像识别，目标检测，图像生成等。作为一种基于自注意力机制的序列
‑
序列的模型，Transformer能够很好的建模图像块之间的关系，得到图像的全局特征。但是自注意力机制通常具有较大的计算复杂度，训练一个3D Transformer模型十分耗费资源。目前，许多研究致力于探索Transformer的自注意力机制，如Swin Transformer采用平移窗口操作，将自注意力机制的计算局限在窗口内，并通过跨窗口的方式实现了全局特征的交互，这种自注意力计算方式极大的降低了计算复杂度，在各种分割任务上效果显著，但是在3D Transformer中，对资源是一种很大的挑战。因此，寻求一种简单的自注意力机制用于全心脏分割任务是我们探索的重点。
[0004]此外，由于心脏图像受到噪声，低对比度等因素的影响，使得心脏结构边界模糊，不易于区分。因此，对心脏的边界施加额外约束是十分必要的。它可以加强模型对边界的学习能力，以进一步提升分割性能。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本专利技术的目的在于提出一种基于池化Transformer的多任务全心脏CT分割方法，用于准确高效的进行心脏分割。
[0007]为达上述目的，本专利技术第一方面实施例提出了一种基于池化Transformer的多任务全心脏CT分割方法，包括：
[0008]获取全心脏CT图像训练数据集；
[0009]构建全心脏CT图像分割模型，其中所述全心脏CT图像分割模型包括3D transformer编码器和3D卷积神经网络解码器，采用3D池化注意力机制计算图像块与图像块之间的关系；
[0010]将所述全心脏CT图像训练数据集输入所述全心脏CT图像分割模型进行训练，得到完成的全心脏CT图像分割模型；其中分割损失函数由Dice损失函数和加权交叉熵损失函数组成；
[0011]将测试数据集中的图像输入训练完成的全心脏CT图像分割模型，获取图像分割结果。
[0012]另外，根据本专利技术上述实施例的一种基于池化Transformer的多任务全心脏CT分割方法还可以具有以下附加的技术特征：
[0013]进一步地，在本专利技术的一个实施例中，所述3D transformer编码器与所述3D卷积神经网络解码器，采用跳层连接的方式。
[0014]进一步地，在本专利技术的一个实施例中，在将所述全心脏CT图像训练数据集输入所述全心脏CT图像分割模型之前，将模型转换为嵌入表示，具体包括：
[0015]设输入图像x∈R
W
×
H
×
D
×
C
，分别表示切片的宽，高，切片的数量和通道数，通道数为1；对所述输入图像进行分块，划分为互不重叠，大小一致的图像块，第i个图像块表示大小为P
×
P
×
P，通道数为C，所有的图像块组成X＝{x1,x2，
…
,x
N
,}的序列，N表示图像块的图像块的数量；
[0016]将X通过线性层映射为K维的嵌入表示，将位置编码与输入向量相加，输入到Transformer中，这个过程用公式化表示为:
[0017][0018]其中，E
pos
表示位置编码，表示空间映射。
[0019]通过Transformer提取图像特征，下采样操作将分辨率降低为原来的一半，形成多尺度的特征表，其中每个Transformer块的操作用公式表示为：
[0020]z
′
l
＝MSA(Norm(z
i
‑1))+z
i
‑1，
[0021]z
l
＝MLP(Norm(z
′
l
))+z
′
l
，
[0022]其中，MSA(
·
)表示多头自注意力，Norm(
·
)表示层归一化，MLP(
·
)表示多层感知机，z
i
‑1表示上一层的输出；具体的，上一层的输出信息首先经过层归一化调整为均值为0，方差为1的数据分布，接着对图像块之间的关系采用多头自注意力机制进行计算，通过残差连接的方式将得到的输出与z
i
‑1进行相加得到z
′
i
。
[0023]进一步地，在本专利技术的一个实施例中，所述采用多头自注意力机制计算图像块与图像块之间的关系，包括：
[0024]将输入特征与权重矩阵W
Q
，W
K
，W
V
相乘，得到Q，K，V的投影，将Q与K进行点乘得到图像块之间的注意力得分，将所述注意力得分除以一个常数，并将分数进行归一化处理，用来衡量两个图像块之间的相关程度，用计算公式表示为：
[0025][0026]该注意力得分作为权重系数，与V相乘得到输出，可以表示为：
[0027]SA(W,V)＝WV，
[0028]将多个单头自注意力机制进行拼接，组成多头自注意力机制：
[0029]MA(Q,K,V)＝Concat(h1,h2,
…
,h
h
)W
o
[0030]h
i
＝SA(W
i
,V
i
)；
[0031]将所述多头自注意力机制简化，采用3D池化操作替换上述复杂的多头自注意力计算按。
[0032]进一步地，在本专利技术的一个实施例中，对所述全心脏CT图像分割模型添加辅助任务对边界进行约束，通过以下公式实现由真实掩码标签向方向距离图的转换，
[0033][0034]其中S
in
,S
out
分别表示心脏内部区域，心脏边界以及心脏外部区域。
[0035]进一步地，在本专利技术的一个实施例中，所述全心脏CT图像分割模型的分割损失函数采用Dice损失函数L
dice
和加权交叉熵损失函数L
wce
组成。分别用计算公式表示如下：...

【技术保护点】

【技术特征摘要】
1.一种基于池化Transformer的多任务全心脏CT分割方法，其特征在于，包括以下步骤：获取全心脏CT图像训练数据集；构建全心脏CT图像分割模型，其中所述全心脏CT图像分割模型包括3D transformer编码器和3D卷积神经网络解码器，采用3D池化注意力机制计算图像块与图像块之间的关系；将所述全心脏CT图像训练数据集输入所述全心脏CT图像分割模型进行训练，得到完成的全心脏CT图像分割模型；其中分割损失函数由Dice损失函数和加权交叉熵损失函数组成；将测试数据集中的图像输入训练完成的全心脏CT图像分割模型，获取图像分割结果。2.根据权利要求1所述的方法，其特征在于，所述3D transformer编码器与所述3D卷积神经网络解码器，采用跳层连接的方式。3.根据权利要求1所述的方法，其特征在于，在将所述全心脏CT图像训练数据集输入所述全心脏CT图像分割模型之前，将模型转换为嵌入表示，具体包括：设输入图像x∈R
W
×
H
×
D
×
C
，分别表示切片的宽，高，切片的数量和通道数，通道数为1；对所述输入图像进行分块，划分为互不重叠，大小一致的图像块，第i个图像块表示大小为P
×
P
×
P，通道数为C，所有的图像块组成X＝{x1,x2，
…
,x
N
,}的序列，N表示图像块的图像块的数量；将X通过线性层映射为K维的嵌入表示，将位置编码与输入向量相加，输入到Transformer中，这个过程用公式化表示为:其中，E
pos
表示位置编码，表示空间映射。通过Transformer提取图像特征，下采样操作将分辨率降低为原来的一半，形成多尺度的特征表，其中每个Transformer块的操作用公式表示为：z
′
l
＝MSA(Norm(z
i
‑1))+z
i
‑1,z
l
＝MLP(Norm(z
′
l
))+z
′
l
，其中，MSA(
·
)表示多头自注意力，Norm(
·
)表示层归一化，MLP(
·
)表示多层感知机，z
i
‑1表示上一层的输出；具体的，上一层的输出信息首先经过层归一化调整为均值为0，方差为1的数据分布，接着对图像块之间的关系采用多头自注意力机制进行计算，通过残差连接的方式将得到的输出与z
i
‑1进行相加得到z
′
i
。4.根据权利要求1所述的方法，其特征在于，所述采用3D池化注意力机制计算图像块与图像块之间的关系，包括：将输入特征与权重矩阵W
Q
，W
K
，W
V
相乘，得到Q，K，V的投影，将Q与K进行点乘得到图像块之间的注意力得分，将所述注意力得分除以一个常数，并将分数进...

【专利技术属性】
技术研发人员：尹建芹，王君滢，殷若琪，齐超，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：