基于掩码建模的3D医学图像分割模型建立方法及其应用技术

本发明专利技术公开了基于掩码建模的3D医学图像分割模型建立方法及其应用，属于医学图像分割领域，包括：建立包括半监督学习网络，学生网络包括用于提取潜在特征的编码模块和用于预测分割结果的分割解码器，教师网络包括与学生网络结构一致的编码模块和分割解码器；对半监督学习网络进行训练，训练时，将每个图像进行两次随机掩码操作后分别输入两个网络，根据训练损失函数对学生网络的权重进行优化更新后，迁移至教师网络；训练损失函数包括原型表征损失，用于表征两个网络提取生成的原型之间的差异；学生网络中还可包括重建解码器以及辅助分割解码器。本发明专利技术能够在样本稀少的情况下提高三维医学图像分割模型的鲁棒性、泛化性以及准确性。确性。确性。

【技术实现步骤摘要】
基于掩码建模的3D医学图像分割模型建立方法及其应用


[0001]本专利技术属于医学图像分割领域，更具体地，涉及基于掩码建模的3D医学图像分割模型建立方法及其应用。

技术介绍

[0002]从三维医学图像中准确、鲁棒地分割器官或病变在诊断和治疗等临床应用中起着至关重要的作用。与传统的分割算法相比，基于深度学习的方法，如卷积神经网络，由于其具有学习高级语义图像特征的良好能力而被广泛应用于各种视觉任务中。然而，3D医学图像分割方法大多依赖大量标签数据进行全监督训练，人工标注劳动强度大且成本高，对全监督分割方法的性能产生负面影响。相比之下，半监督学习(SSL)方法直接从已标注和未标注图像中学习，达到比单独利用有标注数据更好的分割精度。
[0003]SSL通常使用标记图像来提供传统的监督损失，如交叉熵和Dice损失，而未标记图像提供无监督的损失，如一致性正则化和最小化熵。本质上，无监督损失都服务于一个共同的目标，即通过训练两个学习者并在某些扰动(例如，图像、模型等扰动)下最大化他们在同一任务上的决策一致性，从没标签的图像中吸收额外的知识。实际上，SSL方法通常涉及一个双模型架构，让这两个模型分别扮演教师和学生的角色。学生模型经过正常训练，每次更新时其权重通过同步机制(例如指数移动平均)合并到教师模型中。教师模型的预测是相对稳定和可靠的，因此可以用作学生模型的伪标签，即如果没有真正的标签，可让学生的预测与教师保持一致。
[0004]虽然SSL方法已经取得了很大的成功，但对于三维医学图像分割来说，存在两个主要的挑战：一方面，即使是未标记的三维医学数据量也非常稀少，而分割目标遵循清晰的解剖先验知识，这使得以一致性约束为目的任务缺乏多样性，因此教师和学生很快就达成一致，从一致性约束中获得的指导性知识也变少。另一方面，两个模型之间的同步使它们的知识紧密耦合，随着训练的进行，这种耦合必然会变得越来越严格，并且当学生网络学习到知识存在差错时，教师网络无法感知。这使得前面提到的一致性约束存在的问题变得更糟，从而无法为学生模型提供建设性的指导。以上两方面的挑战导致最终基于SSL方法训练得到的三维医学图像分割模型的鲁棒性和泛化性较差，分割准确性也得不到保证。

技术实现思路

[0005]针对现有技术的缺陷和改进需求，本专利技术提供了基于掩码建模的3D医学图像分割模型建立方法及其应用，其目的在于，通过随机掩码的方式使得半监督网络中学生网络和教师网络输入不同的、缺失部分信息的三维图像，提高任务的多样性，从而使两个网络能够鲁棒地学习相关且互补的特征，使得特征级的一致性约束在整个训练过程中产生有效的无监督指导，最终提高三维医学图像分割模型的鲁棒性、泛化性以及准确性。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种基于掩码建模的3D医学图像分割模型建立方法，包括：
[0007](S1)建立包括学生网络和教师网络的半监督学习网络；
[0008]学生网络包括：第一编码模块和解码模块；第一编码模块包括编码器，用于提取三维输入图像的不同尺度特征，得到潜在特征；解码模块包括第一分割解码器，第一分割解码器用于对潜在特征进行特征提取和上采样，得到分割结果；
[0009]教师网络包括：与第一编码模块结构一致的第二编码模块，以及与第一分割解码器结构一致的第二分割解码器；
[0010](S2)利用包括有标注图像和未标注图像的3D医学图像分割数据集对半监督学习网络进行训练，训练方式如下：冻结教师网络的权重，将每个图像进行两次随机掩码操作后，分别输入至学生网络和教师网络，根据预设的训练损失函数对学生网络的权重进行优化更新，并将更新后的权重迁移至教师网络；训练损失函数包括原型表征损失L
p1
，用于表征学生网络和教师网络提取的潜在特征V
s
和V
t
中分割目标对应区域的特征之间的差异；
[0011](S3)提取第一编码模块和第一解码器连接构成3D医学图像分割模型。
[0012]进一步地，对于学生网络或教师网络，其潜在特征中分割目标对应区域的特征p
fg
的计算方式如下：
[0013][0014]其中，V表示潜在特征，P表示分割结果；C表示潜在特征的通道数，V
j
表示V的第j个通道，P
j
表示P的第j个通道；UP()表示上采样操作；
[0015]并且，原型表征损失L
p1
的表达式为：
[0016][0017]其中，和分别表示潜在特征V
s
和V
t
中分割目标对应区域的特征，L
mse
表示均方根误差，N和M分别表示3D医学图像分割数据集中有标注图像和未标注图像的数量。
[0018]进一步地，训练损失函数还包括：潜在特征损失L
fea
；潜在特征损失L
fea
用于表征学生网络和教师网络提取的潜在特征之间的差异，其表达式为：
[0019][0020]其中，L
mse
表示均方根误差，N和M分别表示3D医学图像分割数据集中有标注图像和未标注图像的数量；V
is
和V
it
分别表示3D医学图像分割数据集中的第i个图像X
i
输入后，学生网络和教师网络提取的潜在特征。
[0021]进一步地，学生网络中，解码模块还包括K个辅助分割解码器；辅助分割解码器用于对潜在特征进行特征提取和上采样，得到分割结果；K个辅助分割解码器的上采样方式互不相同，且均不同于第一分割解码器；
[0022]并且，训练损失函数还包括：分割一致性损失L
mc
；分割一致性约束用于表征K个辅助分割解码器及第一分割解码器的分割结果之间的差异，其表达式为：
[0023][0024]其中，K为正整数，其中，K为正整数，和分别表示图像X
i
输入后，第m个分割解码器和第n个分割解码器预测的分割结果，表示经锐化处理后的结果；分割解码器为辅助分割解码器或第一分割解码器。
[0025]进一步地，学生网络中，解码模块还包括：重建解码器；重建解码器用于对潜在特征进行特征提取和上采样，以恢复原始图像信息，得到重建图像；
[0026]并且，训练损失函数还包括：重建损失L
sup1
；重建损失用于表征学生网络重建得到的重建图像与原始图像之间的差异，其表达式为：
[0027][0028]其中，表示图像X
i
输入后学生网络重建得到的重建图像，α表示平衡参数。
[0029]进一步地，第一编码模块中，编码器之后还包括：F个依次连接的HybridFormer模块；第二编码模块中，编码器之后还包括：F个依次连接的HybridFormer模块；
[0030]HybridFormer模块用于计算像素空间和样本维度的自注意力；
[0031]并且，学生网络提取的潜在特征为第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于掩码建模的3D医学图像分割模型建立方法，其特征在于，包括：(S1)建立包括学生网络和教师网络的半监督学习网络；所述学生网络包括：第一编码模块和解码模块；所述第一编码模块包括编码器，用于提取三维输入图像的不同尺度特征，得到潜在特征；所述解码模块包括第一分割解码器，所述第一分割解码器用于对潜在特征进行特征提取和上采样，得到分割结果；所述教师网络包括：与所述第一编码模块结构一致的第二编码模块，以及与所述第一分割解码器结构一致的第二分割解码器；(S2)利用包括有标注图像和未标注图像的3D医学图像分割数据集对所述半监督学习网络进行训练，训练方式如下：冻结所述教师网络的权重，将每个图像进行两次随机掩码操作后，分别输入至所述学生网络和所述教师网络，根据预设的训练损失函数对所述学生网络的权重进行优化更新，并将更新后的权重迁移至所述教师网络；所述训练损失函数包括原型表征损失L
p1
，用于表征所述学生网络和所述教师网络提取的潜在特征V
s
和V
t
中分割目标对应区域的特征之间的差异；(S3)提取第一编码模块和第一解码器连接构成3D医学图像分割模型。2.如权利要求1所述的基于掩码建模的3D医学图像分割模型建立方法，其特征在于，对于学生网络或教师网络，其潜在特征中分割目标对应区域的特征p
fg
的计算方式如下：其中，V表示潜在特征，P表示分割结果；C表示潜在特征的通道数，V
j
表示V的第j个通道，P
j
表示P的第j个通道；UP()表示上采样操作；并且，所述原型表征损失L
p1
的表达式为：其中，和分别表示潜在特征V
s
和V
t
中分割目标对应区域的特征，L
mse
表示均方根误差，N和M分别表示所述3D医学图像分割数据集中有标注图像和未标注图像的数量。3.如权利要求1所述的基于掩码建模的3D医学图像分割模型建立方法，其特征在于，所述训练损失函数还包括：潜在特征损失L
fea
；所述潜在特征损失L
fea
用于表征所述学生网络和所述教师网络提取的潜在特征之间的差异，其表达式为：其中，L
mse
表示均方根误差，N和M分别表示所述3D医学图像分割数据集中有标注图像和未标注图像的数量；V
is
和V
it
分别表示所述3D医学图像分割数据集中的第i个图像X
i
输入后，所述学生网络和所述教师网络提取的潜在特征。4.如权利要求3所述的基于掩码建模的3D医学图像分割模型建立方法，其特征在于，所述学生网络中，解码模块还包括K个辅助分割解码器；所述辅助分割解码器用于对潜在特征进行特征提取和上采样，得到分割结果；所述K个辅助分割解码器的上采样方式互不相同，
且均不同于所述第一分割解码器；并且，所述训练损失函数还包括：分割一致性损失L
mc
...

【专利技术属性】
技术研发人员：张旭明，周权，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：