基于双路径网络和通道注意的白细胞图像分割方法技术

本发明专利技术涉及一种基于双路径网络和通道注意的白细胞图像分割方法。所述方法包括：特征编码阶段：引入由ResNet和DenseNet组成的双路径网络DPN作为特征编码器，以提取多尺度图像白细胞特征；特征映射捕获阶段：通过通道注意模块增强双路径网络DPN的白细胞特征提取能力，即将特征编码阶段提取的白细胞特征输入通道注意模块，得到更新后的白细胞特征；特征解码阶段：基于更新后的白细胞特征，采用由卷积和反卷积组成的特征解码器重建白细胞特征图，以实现端到端的白细胞分割。本发明专利技术提升了白细胞图像分割精度。

【技术实现步骤摘要】
基于双路径网络和通道注意的白细胞图像分割方法
本专利技术属于图像处理
，具体涉及一种基于双路径网络和通道注意的白细胞图像分割方法。
技术介绍
血液中白细胞WBC(WhiteBloodCell，旧称白血球Leukocyte)的总数、各类型白细胞的比例、形态等信息是诊断白血病等人体血液疾病的重要指标。医院血常规检查中一项重要的内容便是对白细胞进行分类计数与异常形态分析。目前，国内医院通常先用基于电阻抗法(物理方法)加流式分析法(物理-化学方法)的血细胞分析仪进行血细胞分类计数。当血细胞计数结果异常或者主诊医生怀疑患者有血液疾病时，再由检验科医生对血液进行推片、染色、镜检，对白细胞进行分类计数的确认与异常形态分析。人工镜检的准确率依赖于医生的专业技能，存在检测主观性强、个体差异性大、耗时费力的问题，还容易因为医生的视力疲劳影响检测精度。因此，有必要用摄像头代替人眼，用计算机代替人脑，实现白细胞分割与分类，辅助医生进行镜检。近年来，深度学习、图像处理、模式识别等技术的飞速发展为此提供了可能。白细胞图像可以通过数字成像设备对血涂片进行拍摄而获得。未染色的白细胞与背景之间颜色相近，对比度低，辨识起来困难。为此，制备血涂片时通常要用染色剂进行染色，以增强白细胞与背景之间的对比度，提高辨识度。标准的血涂片制备方式常用瑞氏染色法、姬姆萨染色法对细胞进行着色，着色效果好而稳定；但着色通常需要十分钟以上，着色速度慢，不能满足大范围临床应用的需要。华中科技大学刘建国和汪国有教授的研究团队提出一种血涂片快速制备方法，将细胞着色时间缩短为十秒左右，着色速度快；但着色效果不够稳定，容易产生深色杂质和被污染背景，会溶解掉对部分血液疾病有诊断作用的红细胞。白细胞分割的挑战在于：(1)染色制备过程、个体差异、疾病差异、类别差异可能使得白细胞颜色、形态存在较大差异；(2)细胞质与背景之间对比度低、细胞粘连与染色杂质干扰；(3)白细胞图像质量欠佳。白细胞分割旨在从染色后的人体外周血细胞图像中提取出单个白细胞所在区域，并进而分割出细胞核与细胞质。近年来，国内外学者对白细胞分割问题进行了一系列研究。根据现有白细胞分割方法采用的技术，我们将其归类为有监督的白细胞分割和无监督的白细胞分割。无监督的白细胞分割方法直接根据白细胞的颜色、亮度等特征实现分割。最常用的白细胞分割技术是阈值分割，其它依次为形态学变换、模糊理论、聚类、形变模型、分水岭分割、区域合并、视觉注意模型、边缘检测。有监督的白细胞分割把图像分割问题看待成图像分类问题，先提取训练样本的颜色、纹理等特征，然后利用训练样本特征对分类器进行训练，最后利用训练好的分类器对测试样本图像中的像素点进行分类，识别出白细胞所在区域。最常用的有监督白细胞分割技术是支持向量机，其它依次为神经网络、最近邻分类器、极限学习机、随机森林。近年来，随着深度学习技术在计算机视觉和医学图像分析领域的成功应用，其受到的关注越来越多。比如，MaskR-CNN在FasterR-CNN基础上把用于预测的分支并行地添加到用于识别边界框的原始分支，以同时实现目标检测和图像分割，但其在小规模图像数据集上难以获得令人满意的结果。全卷积网络(FCN)在图像分割方面获得了良好的性能，其删除了传统卷积神经网络的全连接层，并使用上采样操作来实现端到端(即像素到像素)的分割。但是，FCN的分割性能受到其结构简单的限制。U-Net是对FCN进行改进的具有编码-解码结构的深度神经网络，其中，编码器可实现特征提取，解码器可以恢复具有原始图像分辨率大小的特征图。U-Net适用于小规模图像数据集，其使用跳跃连接将编码器的浅层特征与解码器的深层特征结合起来，以恢复图像的细节。但是这些跳跃连接会融合语义不相似的特征，容易产生语义鸿沟。
技术实现思路
本专利技术的目的在于提供一种基于双路径网络和通道注意的白细胞图像分割方法，提升了白细胞图像分割精度。为实现上述目的，本专利技术的技术方案是：一种基于双路径网络和通道注意的白细胞图像分割方法，包括：特征编码阶段：引入由ResNet和DenseNet组成的双路径网络DPN作为特征编码器，以提取多尺度图像白细胞特征；特征映射捕获阶段：通过通道注意模块增强双路径网络DPN的白细胞特征提取能力，即将特征编码阶段提取的白细胞特征输入通道注意模块，得到更新后的白细胞特征；特征解码阶段：基于更新后的白细胞特征，采用由卷积和反卷积组成的特征解码器重建白细胞特征图，以实现端到端的白细胞分割。在本专利技术一实施例中，特征编码阶段中，所述双路径网络DPN包括两条分支路径：ResNet路径和DenseNet路径，双路径网络DPN通过将两条分支路径的结果组合起来，使其成为下一个节点的输入。在本专利技术一实施例中，所述特征映射捕获阶段实现如下：将特征编码阶段提取的白细胞特征，即原始特征A的维度由C×H×W变换为C×N，并执行A和AT的矩阵乘法；应用softmax函数来获得通道注意矩阵X，其维度为C×C；计算XT与A的乘积，并将它们的结果变形为C×H×W；将得到的结果与一个尺度参数相乘，并与A执行元素和的操作，以获得最终的输出特征E，即更新后的白细胞特征。在本专利技术一实施例中，特征解码阶段中，引入跳跃连接融合来自特征编码器的浅层特征和来自特征解码器的深层特征，以恢复图像细节，减少信息的损失。在本专利技术一实施例中，该方法采用lovasz-softmax作为损失函数来训练网络；损失函数具体定义为：其中，c代表白细胞细胞核或者细胞质类，C代表细胞核和细胞质类的集合，m(c)是类c的像素误差向量；ΔJc是基于Jaccard指数的损失函数，是ΔJc的Lovasz扩展，具体定义如下：其中，gic和pic分别代表像素点i属于白细胞类c的真实标签和预测结果。相较于现有技术，本专利技术具有以下有益效果：本专利技术将深度学习技术引入血液白细胞分割领域，提出了一种基于双路径网络(DPN)和通道注意模块的白细胞分割算法。具体地说，该算法首先在上下文感知特征编码器中引入双路径网络以提取多尺度图像特征；然后，使用通道注意模块捕获不同通道图之间的相互依赖性，利用其进一步增强网络的特征提取能力；最后，利用跳跃连接减少图像信息在特征卷积过程中的损失，通过特征解码器重建白细胞特征图，以实现端到端的白细胞分割。在三个数据集上的实验结果表明，本专利技术提升了白细胞的分割精度。附图说明图1为本专利技术方法流程图。图2为本专利技术网络模型架构。图3为本专利技术ResNet的网络结构。图4为本专利技术DenseNet的网络结构。图5为不同方法在Dataset1上的分割结果。图6为不同方法在Dataset2上的分割结果。图7为不同方法在Dataset3上的分割结果。具体实施方式下面结合附图，对本专利技术的技术方案进行具体说明。如图1所示，本专利技术提供了一种基于双路径网络和通道注意的白细胞图像分割方法，其特征在于，本文档来自技高网...

【技术保护点】
1.一种基于双路径网络和通道注意的白细胞图像分割方法，其特征在于，包括：/n特征编码阶段：引入由ResNet和DenseNet组成的双路径网络DPN作为特征编码器，以提取多尺度图像白细胞特征；/n特征映射捕获阶段：通过通道注意模块增强双路径网络DPN的白细胞特征提取能力，即将特征编码阶段提取的白细胞特征输入通道注意模块，得到更新后的白细胞特征；/n特征解码阶段：基于更新后的白细胞特征，采用由卷积和反卷积组成的特征解码器重建白细胞特征图，以实现端到端的白细胞分割。/n

【技术特征摘要】
1.一种基于双路径网络和通道注意的白细胞图像分割方法，其特征在于，包括：
特征编码阶段：引入由ResNet和DenseNet组成的双路径网络DPN作为特征编码器，以提取多尺度图像白细胞特征；
特征映射捕获阶段：通过通道注意模块增强双路径网络DPN的白细胞特征提取能力，即将特征编码阶段提取的白细胞特征输入通道注意模块，得到更新后的白细胞特征；
特征解码阶段：基于更新后的白细胞特征，采用由卷积和反卷积组成的特征解码器重建白细胞特征图，以实现端到端的白细胞分割。


2.根据权利要求1所述的基于双路径网络和通道注意的白细胞图像分割方法，其特征在于，特征编码阶段中，所述双路径网络DPN包括两条分支路径：ResNet路径和DenseNet路径，双路径网络DPN通过将两条分支路径的结果组合起来，使其成为下一个节点的输入。


3.根据权利要求1所述的基于双路径网络和通道注意的白细胞图像分割方法，其特征在于，所述特征映射捕获阶段实现如下：
将特征编码阶段提取的白细胞特征，即原始特征A的维度由C×H×W变换为C×N，并执行A...

【专利技术属性】
技术研发人员：李佐勇，卢妍，郑祥盘，颜佳泉，曾坤，
申请(专利权)人：闽江学院，
类型：发明
国别省市：福建;35