基于对抗训练的半监督CT图像分割方法技术

本发明专利技术涉及图像处理技术领域，具体涉及一种基于对抗训练的半监督CT图像分割方法，包括以下步骤：首先获取肺部的三维CT图像，建立体素级标注的患病数据集、未标注的患病数据集及健康数据集；接着将三种数据集中的CT图像依次输入给生成器和分割器，分别得到合成的健康图像和分割掩码。然后将合成的健康图像的掩码区域和输入图像的反掩码区域拼接得到恢复的健康图像；合成的健康图像的掩码区域的值设为0得到反掩码图像。最后以对抗训练的方式让两个判别器分别监督恢复的健康图像和反掩码图像，来提高分割器的分割和生成器的效果。本发明专利技术实现了使用少量体素级标记样本来得到性能准确的分割模型，特别设计的分割器有效地提高了特征表示能力。征表示能力。征表示能力。

【技术实现步骤摘要】
基于对抗训练的半监督CT图像分割方法


[0001]本专利技术涉及计算机
，特别涉及一种基于对抗训练的半监督CT图像分割方法。

技术介绍

[0002]
技术介绍
涉及：肺部CT图像分割和注意力机制。
[0003]1)肺部CT图像分割
[0004]肺部CT在诊断肺部疾病方面具有更高的准确性，已有不少工作使用深度学习技术用于肺部医学图像。但是之前的不少工作针对的是肺部图像的分类任务，他们不能像分割任务一样体现出病变区域的位置和大小。应用CT图像对感染区域进行分割可以帮助放射科医生更好地对病变区域进行定量分析。对病灶区域的分割掩码进行定量分析可以得到肺部相关的一系列有意义的诊断结果。
[0005]目前，深度学习已被初步应用于肺部的CT分割任务，但是该方法需要大量的训练数据。在临床上，肺部的三维CT图像数据标注十分困难，放射科医生注释一个肺部CT体积品均需要花费3个小时以上。所以，带体素级标签的肺部CT图像的稀缺是一个重要的问题。图像合成和数据增强能够缓解体素级别标签缺失的问题。主动学习和自学习可以为未标注的数据提供伪标签来优化分割模型。生成对抗网络(GAN)和类激活图(CAM)通过使用弱标签，如带有CT的切片级标签或体积级标签的数据来训练分割模型，以此来应对像素级或体素级标签的缺失。但是，使用伪标签来训练模型可能会引入噪声，影响模型的性能，并且模型仅仅在带有弱标签数据上被训练，往往失败得到一个令人满意的分割掩码。
[0006]2)注意力机制
[0007]计算机视觉中注意力机制的基本思想是让系统学会注意并能够忽略不相关的信息而专注于关键信息。近年来，注意力模型被广泛应用于图像处理、语音识别、自然语言处理等各个领域。随着深度学习发展到今天，构建一个具有注意力机制的神经网络开始变得越来越重要。一方面，这个神经网络可以自主学习注意力机制，另一方面，注意力机制又可以帮助理解神经网络所看到的世界。近年来，关于深度学习和视觉注意力机制结合的研究工作大多集中在使用掩码形成注意力机制。掩码的原理是通过另一层新的权重来识别图像数据中的关键特征。通过学习和训练，深度神经网络可以学习到每张新图像中需要注意的区域。

技术实现思路

[0008]本专利技术的目的是解决体素级别CT图像数据标签短缺的问题，提出了一种基于对抗训练的半监督CT图像分割方法。
[0009]实现本专利技术目的的具体技术方案是：
[0010]一种基于对抗训练的半监督CT图像分割方法，该方法包括如下步骤：
[0011]步骤1)获取肺部三维CT图像，建立体素级标注的患病数据集V、未标注的患病数据
集D及健康数据集H，设标注的患病图像为I
v
∈V，未标注的患病图像为I
d
∈D，健康图像I
h
∈H；
[0012]步骤2)对于数据集中的任意一张输入图像，对其进行包括图像裁剪、重采样和标准化的图像预处理操作后得到图像I
i
，将其输入给生成器得到生成器的重构结果I
g
，生成器的目标是将I
i
重构成健康图像I
g
；将I
i
输入给分割器得到分割掩码对于体素级标注的患病数据集V，使用数据集V中的真实标签Y来监督分割掩码
[0013]步骤3)对分割掩码取反得到反掩码
[0014]步骤4)取生成器结果I
g
的掩码预测区域即为1的部分，和输入图像I
i
的反掩码预测区域即为1的部分，将两个图像按元素相加，得到合成图像I
p
；
[0015]步骤5)取生成器结果I
g
的反掩码预测区域，即和输入图像I
i
的反掩码预测区域，即分别得到图像I
gh
和图像I
ih
；
[0016]步骤6)构建半监督CT图像分割模型，模型包括生成器G、分割器S、判别器D1和判别器D2；模型的输入被同时输入到生成器G和分割器S，分割器S得到CT图像的分割掩码，值为1的体素代表病变区域，值为0的体素代表健康区域；生成器G的作用是输入一个CT图像，生成其恢复健康后的CT图像，然后将生成的图像结合分割掩码和模型输入的图像来生成恢复的健康图像和反掩码图像，以近似真实图像来欺骗判别器D1和判别器D2；判别器D1和D2的作用是判断输入的图像是否来自真实图像；通过互相竞争，生成器G和判别器D1和D2以迭代的方式优化权重，提高性能；
[0017]所述半监督CT图像分割模型包括四种损失，即监督损失，重构损失，判别损失1和判别损失2；监督损失在输入CT图像属于体素级标注的患病数据集时生效；重构损失是模型输入和生成器G结果之间的均方误差MSE损失，以监督生成器G产生更真实的健康CT图像；判别损失1是对抗损失，判断输入图像是真实图像还是合成的图像，以监督恢复的健康图像的质量；判别损失2是对抗损失，判断输入的图像来自真实的模型输入图像还是生成器G生成的图像，以监督反掩码图像的质量；使用基于对抗训练的模型优化方法不断优化所述损失，直到损失收敛；
[0018]步骤7)当模型训练完成后，给定待分割的三维CT图像，输入给分割器S，即可得到图像的体素级的三维分割掩码。
[0019]所述步骤1)具体包括：
[0020]步骤a1：对通过专业设备采集三维CT图像样本得到原始数据集；
[0021]步骤a2：将原始数据集分为患病数据集和健康数据集，随机采样患病数据中五分之一的数据，由人工专家进行标注，作为体素级标注的患病数据集V；其余图像数据作为未标注的患病数据集D，所有的健康图像数据构成健康数据集H；
[0022]步骤a3：依次将体素级标注的患病数据集V、未标注的患病数据集D和健康数据集H中的图像输入给分割器和生成器，模型的输入CT图像记为I
i
。
[0023]所述步骤2)中的图像预处理操作具体包括：
[0024](1)图像裁剪
[0025]图像裁剪将三维的医学图像裁剪到它的非零区域，即在图像中寻找一个最小的三维边界框，该边界框区域以外的值为0，使用这个边界框对图像进行裁剪；
[0026](2)重采样
[0027]重采样可以解决在三维CT数据集中，不同的体素图像所代表的实际空间大小不一致的问题。为了统一所有CT图像的分辨率大小，使用重采样对不同CT图像分辨率进放缩，以将分辨率统一为0.5mm
×
0.5mm
×
0.5mm；
[0028](3)标准化
[0029]为了使每张图像具有相同的分布的灰度值，将CT图像灰度值的最小值和最大值设置为300和3000；灰度值小于300的值被提高为300，而灰度值大于3000的值被减小为3000；接着对CT图像的体素值进行归一化，得到[0,1]之间的值，然后将这些值放缩到[0,255]区间。
[0030]步骤6)所述的生成器G和判别器D1和D2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗训练的半监督CT图像分割方法，其特征在于，该方法包括如下步骤：步骤1)获取肺部三维CT图像，建立体素级标注的患病数据集V、未标注的患病数据集D及健康数据集H，设标注的患病图像为I
v
∈y，未标注的患病图像为I
d
∈D，健康图像I
h
∈H；步骤2)对于数据集中的任意一张输入图像，对其进行包括图像裁剪、重采样和标准化的图像预处理操作后得到图像I
i
，将其输入给生成器得到生成器的重构结果I
g
，生成器的目标是将I
i
重构成健康图像I
g
；将I
i
输入给分割器得到分割掩码对于体素级标注的患病数据集V，使用数据集V中的真实标签Y来监督分割掩码步骤3)对分割掩码取反得到反掩码步骤4)取生成器结果I
g
的掩码预测区域即为1的部分，和输入图像I
i
的反掩码预测区域即为1的部分，将两个图像按元素相加，得到合成图像I
p
；步骤5)取生成器结果I
g
的反掩码预测区域，即和输入图像I
i
的反掩码预测区域，即分别得到图像I
gh
和图像I
ih
；步骤6)构建半监督CT图像分割模型，模型包括生成器G、分割器S、判别器D1和判别器D2；模型的输入被同时输入到生成器G和分割器S，分割器S得到CT图像的分割掩码，值为1的体素代表病变区域，值为0的体素代表健康区域；生成器G的作用是输入一个CT图像，生成其恢复健康后的CT图像，然后将生成的图像结合分割掩码和模型输入的图像来生成恢复的健康图像和反掩码图像，以近似真实图像来欺骗判别器D1和判别器D2；判别器D1和D2的作用是判断输入的图像是否来自真实图像；通过互相竞争，生成器G和判别器D1和D2以迭代的方式优化权重，提高性能；所述半监督CT图像分割模型包括四种损失，即监督损失，重构损失，判别损失1和判别损失2；监督损失在输入CT图像属于体素级标注的患病数据集时生效；重构损失是模型输入和生成器G结果之间的均方误差MSE损失，以监督生成器G产生更真实的健康CT图像；判别损失1是对抗损失，判断输入图像是真实图像还是合成的图像，以监督恢复的健康图像的质量；判别损失2是对抗损失，判断输入的图像来自真实的模型输入图像还是生成器G生成的图像，以监督反掩码图像的质量；使用基于对抗训练的模型优化方法不断优化所述损失，直到损失收敛；步骤7)当模型训练完成后，给定待分割的三维CT图像，输入给分割器S，即可得到图像的体素级的三维分割掩码。2.如权利要求1所述的基于对抗训练的半监督CT图像分割方法，其特征在于，所述步骤1)具体包括：步骤a1：对通过专业设备采集三维CT图像样本得到原始数据集；步骤a2：将原始数据集分为患病数据集和健康数据集，...

【专利技术属性】
技术研发人员：孙仕亮，丁超越，赵静，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：