基于cGAN的乳腺超声图像肿瘤分割方法技术

本发明专利技术公开了一种基于cGAN的乳腺超声图像肿瘤分割方法，包括乳腺超声图像数据预处理、超声图像的生成、构建深度神经网络模型、定义损失函数、模型训练及结果生成。在数据预处理中，使用先镜像填充，后裁剪的方式既不会改变乳腺肿瘤的形态，又可以得到符合尺寸要求的乳腺超声图像。然后在此基础上继续通过cGAN网络生成超声图像。在构建深度神经网络模型步骤中，整体上遵循了GAN网络的设计模式。GANs整个框架可以被看做是两个玩家参与的最小最大博弈游戏，其中一个玩家(生成器，Generator)的任务是将随机输入映射成符合某个特定分布的数据，使第二个玩家(判别器，Discriminator)没有办法区分该数据是真数据还是生成的假数据；本发明专利技术除了扩充了数据集，还使用对抗训练代替了CRF这种后处理步骤来增强高阶空间一致性。CRF这种后处理步骤来增强高阶空间一致性。

【技术实现步骤摘要】
基于cGAN的乳腺超声图像肿瘤分割方法


[0001]本专利技术属于深度学习
，是基于cGAN的乳腺超声图像肿瘤分割的新 方法。

技术介绍

[0002]深度学习已成为当前人工智能的热点，深度学习技术是最近发展很快的一种 机器学习技术，它以深层人工神经网络为模型，借助强大的硬件、海量的数据以 及优化算法实现高性能学习。深层卷积神经网络(Deep CNN)目前已经在很多 计算机视觉任务上取得了非常好的成绩，比如目标分类、目标检测、目标分割等， 并在多个领域大幅超越传统机器学习和人工智能技术。
[0003]乳腺癌是女性最常见的死亡原因之一，在早期阶段，乳腺钼靶这样的X线 摄影检查可以发现肿瘤，但其对致密性乳腺缺乏良好的判断能力，且带有一定的 放射性，对孕妇等群体会带来伤害。相比之下，乳腺超声技术具有容易获取，无 辐射，设备和诊疗费用低等优点，使它成为一种有效且通用的检测手段。然而， 数据集样本量少是超声乳腺图像的一大问题，数据量少极大增加了超声图像分割 的精度和分类的难度。
[0004]近几年来，有些学者提出了不同的乳腺超声图像分割方法，比如主动轮廓模 型、基于图的算法等，这类非深度学习方法往往需要人为参与分割过程，带有一 定的主观性；再比如UNet、Attention
‑
UNet、UNet++等模型，这类深度学习方法 以端到端的训练方式，避免了人为参与，但往往存在错分割、欠分割及分割边界 不连续等缺点。另外还有一个问题是，在一般的目标分割任务中，往往会在任务 后期单独实现一个条件随机场(Conditional Random Field，CRF)以增强像素之间 的空间连续性，这样的实现方式会使得任务变得更加繁琐并且还会带来巨大的计 算开销。

技术实现思路

[0005]针对现有技术中存在的上述问题，本专利技术提出一种基于cGAN的乳腺超声图 像肿瘤分割的新方法。本专利技术主要使用生成对抗训练的思想完成，专利技术的技术方 案是：首先是从数据增强角度出发，由于数据集中样本数量极其有限，本专利技术使 用生成对抗网络从Label(标记)生成Image(乳腺超声)的角度生成了一批带 有标记的样本，扩充了数据集。其次，本专利技术使用对抗训练代替了CRF这种后 处理步骤来增强高阶空间一致性。最终训练网络对图像进行分割。
[0006]本专利技术所采用的技术方案是：
[0007]基于cGAN的乳腺超声图像肿瘤分割方法，包括以下步骤：乳腺超声图像数 据预处理、深度神经网络模型构建、模型训练及结果生成。
[0008]步骤1，乳腺超声图像数据预处理：在医学图像合成方面，有采取生成背景 图像，模拟前景纹理，然后前景与背景相结合这样的方式或者也有直接使用真实 的前景与生成的背景图像相结合，这些方式需要分步完成并且合成的图像在拼接 处往往显得没那么“自然”。
[0009]步骤1.1，首先对超声图像镜像填充，然后等概率的使用中心裁剪或随机裁 剪，得到满足尺寸要求的图像，接下来随机使用水平翻转、垂直翻转、90
°
旋转 和转置，最后将图像放缩到256x256大小。
[0010]步骤1.2，以一种反向的方式，从步骤1.1处理过的数据集中的标记(mask) 出发来生成对应的超声图像。具体来说，基于cGANs的思路，使cGANs中的生 成器对标记x到超声图像y的映射过程进行建模，是一种图像到图像的转换过程。
[0011]步骤1.3，整个框架的训练使用对抗损失来进行监督，使生成器G学习目标 样本的分布，对抗损失可以惩罚其与目标分布的偏离程度。这个cGAN框架的 目标可以表示为判别器D在真假分类时的二分类交叉熵(Binary Cross Entropy， BCE)损失，其中判别器D和生成器G进行最大
‑
最小博弈，使该损失最大最小化， 目标形式化为：
[0012][0013]公式中G(x)表示生成器G在输入为标记x的情况下生成的结果，D(x，y)表示判别 器在输入为标记x和超声图像y的情况下判别为真的概率，D(x，G(x))表示判别器 在输入为标记x和G(x)的情况下判别为真的概率，P
data
(x，y)表示训练样本x和y 所服从的概率分布，表示数学期望，生成器G的目标是生成判别器无法区分真 假的图像G(x)。另外，cGAN的目标函数与传统的目标函数相结合可以带来网络 性能的提升，所以在上述目标函数的基础上又添加了如下的L1损失：
[0014][0015]所以整个cGAN完整的目标函数是：
[0016][0017]步骤2，构建神经网络模型：步骤1中的所有乳腺超声图像处理完毕后要输 入到该步骤设计的神经网络中。
[0018]步骤2.1，按照UNet的设计架构，通过逐步增强的方式搭建神经网络。引入 ResNet18作为UNet架构中的编码器，ResNet18包含卷积层和全连接层共计18 层，舍去最后的全连接层。ResNet的恒等映射结构能够训练极深的神经网络， 解决精度降低和梯度消失的问题，从而提高模型的特征提取能力。ResNet18的 初始化参数为其在ImageNet上的预训练参数。
[0019]步骤2.2，在步骤2.1的基础上，在模型编码器的最高语义层添加SENet注 意力模块，注意力模块可提升模型对通道特征的敏感性，通过对通道加权，强调 与肿瘤相关的有效信息，抑制与肿瘤无关的无效信息，使得模型对肿瘤边缘的处 理更加准确。步骤2.1与2.2组成的网络取名为EfficientUNet。
[0020]步骤2.3，EfficientUNet构成的网络作为了生成器，这里的判别器是一个包含 6个卷积块(Convblock)的神经网络，每个卷积块包含1个卷积层，1个BatchNorm 层和一个LeakyReLU激活层，判别器会分别将真实标记和分割预测在各层的 feature map进行拼接，然后计算两者拼接结果的L1损失。
[0021]步骤3，确定损失函数。乳腺超声图像数据集存在类别不平衡问题，即在一 张乳腺超声图像中，
[0022]因为判别器不再是一个简单的二分类器，而是在多个层次上对feature map 进行
比较，所以目标函数定义如下：
[0023][0024]公式中的L表示判别器D中卷积层的数量，在本工作中为6，xοG(x)表示生成器 D(即EfficientUNet)的分割预测G(x)与输入图片x逐位相乘，xοy表示输入图 片x与真实标记y逐位相乘，表示输入图片x在判别器D第i层次的特征。另 外，将GAN网络目标函数与传统目标函数结合会带来效果的提升，所以可以在 公式(1)目标函数的基础上添加公式(2)：
[0025][0026]两者结合后的总目标函数如下：
[0027][0028]步骤4，网络训练：乳腺超声图像预处理后输入到步骤2设计的神经网络， 会得到神经网络的预测输出，将此输出与乳腺超声图像对应的真实标记利用步骤 3设计的损失函数计算出损失，然后利用神经网络反向传播优化算法，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于cGAN的乳腺超声图像肿瘤分割新方法，其特征在于，包括以下步骤：步骤一、获取乳腺超声图像数据集，并进行数据预处理和合成；步骤二、使用Pytorch深度学习框架，搭建神经网络模型；步骤三、定义损失函数；步骤四、利用预处理后和合成的乳腺超声图像及定义的损失函数对神经网络模型进行训练；步骤五、使用步骤四训练好的神经网络模型对测试数据进行肿瘤分割，得到分割结果。2.根据权利要求1所述的一种基于cGAN的乳腺超声图像肿瘤分割新方法，其特征在于，在步骤一中，首先对获取的乳腺超声图像进行镜像填充，具体地，首先判断原图像A高度是否低于设置的高度阈值，如果否，暂不作处理，如果是，则将原图像A向上做镜像翻转并拼接于原图像A上部，将原图像A向下做镜像翻转并拼接于原图像A下部，得到满足高度要求的图像B，然后判断图像B的宽度是否低于设置的宽度阈值，如果是，则分别对图像B做左右镜像翻转并拼接于左右两边，得到满足高度和宽度要求的图像C，最后对图像C做中心裁剪，得到满足尺寸要求的图像；裁剪之后，随机使用水平翻转、垂直翻转、旋转以及转置数据增强方式，并且像素值标准化到[0，1]之间。3.根据权利要求1所述的一种基于cGAN的乳腺超声图像肿瘤分割新方法，其特征在于，在步骤二中，按照UNet的设计架构，通过逐步增强的方式搭建生成器，具体包括以下步骤：步骤3.1，引入ResNet18作为UNet架构中的编码器，ResNet18包含卷积层和全连接层共计18层，舍去最后的全连接层。ResNet的恒等映射结构能够训练极深的神经网络，解决精度降低和梯度消失的问题，从而提高模型的特征提取能力。ResNet18的初始化参数为其在ImageNet上的预训练参数。步骤3.2，在步骤2.1...

【专利技术属性】
技术研发人员：杨新武，李玄博，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：