一种乳腺癌病灶图像分割数据集的小样本扩增方法技术

本发明专利技术属于医学影像生成领域，具体涉及一种乳腺癌病灶图像分割数据集的小样本扩增方法，步骤如下：数据集的制作与分割模型的训练、构建对抗生成网络、训练对抗生成网络、对生成网络生成的图像进行处理、分割网络再训练。相较于原始stylegan3生成模型申请人引入adaptive discriminator augmentation判别器，这使得本申请所提出模型在小数据集上生成效果优于原始stylegan3网络，并且经过扩充之后的数据集所训练的网络比原始数据集所训练的网络具有更高的分割精度。的网络具有更高的分割精度。的网络具有更高的分割精度。

【技术实现步骤摘要】
一种乳腺癌病灶图像分割数据集的小样本扩增方法


[0001]本专利技术属于医学影像生成领域，具体涉及一种乳腺癌病灶图像分割数据集的小样本扩增方法。

技术介绍

[0002]乳腺癌是女性常见的恶性肿瘤之一，早期诊断和治疗至关重要。近年来深度学习在医学图像处理领域取得了显著的成果，语义分割技术能够准确地标记图像中的病灶区域，有助于医生更快速地做出诊断和制定治疗计划。
[0003]然而，基于深度学习的语义分割模型通常需要大量的标记数据来获得高准确度。对于乳腺癌病灶图像，由于受到患者个人隐私的保护，获取足够规模的标记数据变得异常困难。此限制导致当前可用的乳腺癌病灶数据集的规模相对较小，进而影响了分割模型的性能。
[0004]为了克服这一挑战，近年来，对抗生成网络(GAN)作为一种强大的生成模型被引入到医学图像处理领域。GAN可以学习从潜在空间中生成高质量的图像样本，这些图像样本在视觉上与真实图像非常相似。通过使用GAN，我们可以生成合成的乳腺癌病灶图像，从而扩充现有的数据集。
[0005]这种使用对抗生成网络生成乳腺癌病灶图像分割数据集的方法具有以下优势：
[0006]1)数据增强，生成的合成图像能够有效地扩充有限的真实数据集，增加了训练样本的数量，从而提高了分割模型的泛化能力。
[0007]2)隐私保护，由于合成图像是通过GAN从潜在空间生成的，并不是真实的患者图像，因此无需担心泄露患者隐私。
[0008]3)真实性，GAN能够生成高质量的合成图像，这些图像在视觉上与真实图像相似，从而使得分割模型可以在更真实的情况下进行训练。
[0009]但是传统生成模型在面对高分辨率图像时效果并不理想，因此本专利技术所使用的对抗生成网络为当前最为先进的无条件生成网络stylegan3，但是stylegan3在面对小数据集时生成效果并不理想。

技术实现思路

[0010]为了解决这一问题本专利技术使用adaptive discriminator augmentation判别器，通过在训练判别器和生成器时加入数据增强，同时通过一个自适应参数
p
来控制数据增强的强度，最终使得本专利所设计的图像生成模型，可以在很小的数据集上生成高分辨率的图像，最终使用本专利所设计的生成网络生成图像与原始数据集一起训练语义分割网络。
[0011]为实现上述目的，本专利技术提供一种乳腺癌病灶图像分割数据集的小样本扩增方法包括如下步骤：
[0012]步骤一，广泛搜集乳腺癌病灶的超声波图像数据。收集的数据集经过专业医生的精细标注，将其划分为训练集、验证集和测试集，以确保训练、验证和评估过程的科学可靠
性。
[0013]步骤二，使用划分好的训练集对语义分割网络进行预训练。为了克服过拟合和提高网络的泛化能力，本专利采用批归一化、Dropout和数据增强等技术，确保模型对不同病灶样本有良好的适应性。在训练过程中，定期保存模型的最佳权重文件，以备后续步骤使用。
[0014]步骤三，构建对抗生成网络，包括生成网络和判别器网络。生成网络的核心是Mapping network和Synthesis network，Mapping network将潜在图像特征向量映射为图像特征，为后续的生成过程提供图像特征；Synthesis network将图像特征转换为与训练集相似的高分辨率图像。通过这两个网络的联合作用，最终可以生成具有高度真实性的合成图像。
[0015]步骤四，将生成网络生成的合成图像与划分好的训练集中的真实图像一同输入到adaptive discriminator augmentation中。在此过程中，采用自适应的训练策略，根据不同的图像数据进行优化。
[0016]步骤五，通过对抗训练的方式来优化对抗生成网络。具体而言，保持生成网络的参数不变，对判别器网络进行参数更新，并随后保持判别器网络参数不变，对生成网络进行参数更新。通过这种交替训练的方式，逐步优化生成网络和判别器网络，使其在整个训练过程中达到平衡。
[0017]步骤六，使用labelme为生成的图像制作相应的标签图片。将生成网络生成的图像和标签图片与原始训练集进行结合，形成新的训练集。此过程增加了样本的多样性和数量，提高了分割模型对各种病灶形态和特征的学习能力。
[0018]步骤七，将步骤二中预训练权重文件加载到语义分割网络中，并使用步骤六中新训练集进行再次训练。在这一过程中，语义分割网络将在更加丰富的数据集上进行训练，进一步优化模型的性能。这样，获得的分割模型在乳腺癌病灶超声波图像分割任务中将具备更高的准确性、鲁棒性和泛化能力。
[0019]优选的，步骤一中数据集的制作可以使用现有公开的乳腺癌病灶超声波图像数据，如kaggle比赛中的Breast Ultrasound Images Dataset数据集，也可与医院进行合作，收集数据集并且在医生的指导下进行标签数据集的制作，之后在进行训练集、验证集和测试集的划分以及数据增强。
[0020]优选的，步骤一中，在数据集的制作过程之中可以根据自己设备的计算性能，扩
[0021]大特征图的尺寸到256
×
256或者512
×
512甚至更大，在更大的图像数据集中所训练出的网络性能更好。
[0022]与现有技术相比，本专利技术的有益技术效果：
[0023]本专利技术针对乳腺癌病灶图像分割数据集的小样本扩增设计了一种无条件乳腺癌病灶图像生成模型算法，此算法的生成网络使用当前最为先进的无条件生成网络stylegan3，针对乳腺癌病灶数据集规模较小的问题，本专利在判别网络中使用adaptive discriminator augmentation，这使得本专利所设计的对抗生成网络可以在小型乳腺癌病灶数据集上生成大量高质量、高分辨率的乳腺癌病灶图像，可以在保护病人隐私的情况下扩充乳腺癌病灶图像分割数据集的数量，同时还能保证扩充数据集的真实性和准确性，最终使得乳腺癌病灶图像分割网络的分割准确度变得更高。
附图说明
[0024]图1为本专利技术的一种乳腺癌病灶图像分割数据集的小样本扩增方法的流程图；
[0025]图2为本专利技术的一种乳腺癌病灶图像分割数据集的小样本扩增方法的生成网络结构图；
[0026]图3为本专利技术的一种乳腺癌病灶图像分割数据集的小样本扩增方法的判别网络结构图；
[0027]图4为本专利技术的一种乳腺癌病灶图像分割数据集的小样本扩增方法的生成结果对比图；
[0028]图5为本专利技术的一种乳腺癌病灶图像分割数据集的小样本扩增方法的分割结果对比图。
具体实施方式
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0030]一种乳腺癌病灶图像分割数据集的小样本扩增方法流程分为：收集并处理乳腺癌病灶超声波图像数据集、使用处理完的数据集对分割网络进行预训练、构建对抗生成网络并进行训练、使用生成网络生成图像并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，包括以下步骤：步骤一，制作乳腺癌病灶超声波图像数据集，将收集到的数据集划分成训练集、验证集和测试集；步骤二，将步骤一中划分完成的训练集用于语义分割网络的预训练，保存预训练网络最佳分割效果的权重；步骤三，构建生成网络，包括生成潜在图像特征向量，将生成的图像潜在特征向量输入到解耦合网络Mapping network，生成与潜在图像特征向量维度相同的解耦合图像特征，将图像特征输入到生成网络Synthesis network，将图像特征向量恢复成与训练集图像同分布的高分辨率图像；步骤四，构建判别网络，将生成网络生成的图片与步骤一中划分的训练集中的图片，共同输入到adaptive discriminator augmentation判别器网络中；步骤五，进行对抗生成网络的训练，具体来说使保持生成网络权重不变对判别网络进行权重更新，保持判别网络权重不变对生成网络进行权重更新；步骤六，将对抗生成网络生成的图片使用labelme制作标签图片，并将生成的图片和标签图片分别与步骤一中的训练集制作成新训练集；步骤七，将语义分割网络加载步骤二中保存的预训练权重，使用步骤六所制作的新训练集进行训练。2.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤一中数据集为kaggle上所收集的Breast Ultrasound Images Dataset数据集中benign部分。3.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤二使用语义分割网络Encnet，其主干网络选用Resnet50，使用步骤一中的数据集对语义分割网络进行预训练，并保存网络预训练权重。4.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤三中Mapping network由两层全连接层组成，将潜在图像特征向量进行解耦合，将解耦合完成的特征分别经过不同的仿射变化被输入到Synthesis network的不同层中。5.根据权利要求1所述的一种乳腺癌病灶图像分割数据集的小样本扩增方法，其特征在于，所述步骤三中Synthesis network由14层神经网络和ToRGB层组成，神经网络的输入为Fourier向量而不是stylegan2中常数向量，向量经由14层变换网络最后经由ToRGB层恢复成三通道图像，其中14层网络的输入为上一层网络的输出，每层Synthesis network在接收到上层输入后，经由EMA处理输入图像，将Mapping network的特征经仿射变换后作...

【专利技术属性】
技术研发人员：高存正，宋博，
申请(专利权)人：权利要求书二页说明书四页附图四页，
类型：发明
国别省市：