基于深度监督的密度回归细胞计数方法及系统技术方案

本发明专利技术提供了一种基于深度监督的密度回归细胞计数方法及系统，包括：获取待处理的细胞图像；根据所述细胞图像和预设的密度回归细胞计数模型，得到细胞图像中的细胞数；其中，所述密度回归细胞计数模型为使用非相邻层方式连接多尺度特征的卷积神经网络；本发明专利技术使用非相邻层的快捷连接来连接多尺度特征的卷积神经网络，在这种级联的网络架构中，由沿着下采样路径的所有层提取的多尺度图像特征可以被集成到沿着上采样路径的层的输入中，以进一步提高模型性能；此外，通过深度监督学习策略，为设计的神经网络的中间层提供直接监督来增强它们的训练，从而提高了细胞计数工作精度。从而提高了细胞计数工作精度。从而提高了细胞计数工作精度。

【技术实现步骤摘要】
基于深度监督的密度回归细胞计数方法及系统


[0001]本专利技术属于图像处理
，尤其涉及一种基于深度监督的密度回归细胞计数方法及系统。

技术介绍

[0002]现有的细胞计数方法中，主要分为两种，分别为直接检测方法和密度回归方法；在医学和生物学研究中，需要精确计算显微镜图像中的细胞数量，现有的图像处理方法中，尽管精确度有了明显的进步，但是由于各种图像采集技术水平存在差异，图像对比度低，组织背景比较复杂，细胞大小、形状的差别较大，以及二维显微图像中细胞间互相阻挡等原因，设计具有足够计数精度的高效自动方法仍然是一项具有挑战性的任务。
[0003]专利技术人发现，传统的神经网络模型的网络层是分层结构的，每一层的输出仅仅依赖于其直接相邻层的输出；这限制了神经网络模型为细胞计数工作制作更真实的密度图；此外，原始的神经网络的训练基于在最终输出层测量的单一损失，并且其所有中间层仅基于从该单一损失反向传播的梯度进行优化，梯度的降低可能会使中间层的优化陷入局部极小值，并会危及整体网络的性能。

技术实现思路

[0004]本专利技术为了解决上述问题，提出了一种基于深度监督的密度回归细胞计数方法及系统，本专利技术使用非相邻层的快捷连接来连接多尺度特征的卷积神经网络，在这种级联的网络架构中，由沿着下采样路径的所有层提取的多尺度图像特征可以被集成到沿着上采样路径的层的输入中，以进一步提高模型性能；此外，通过深度监督学习策略，为设计的神经网络的中间层提供直接监督来增强它们的训练，从而提高了细胞计数工作精度。
[0005]为了实现上述目的，本专利技术是通过如下的技术方案来实现：
[0006]第一方面，本专利技术提供了一种基于深度监督的密度回归细胞计数方法，包括：
[0007]获取待处理的细胞图像；
[0008]根据所述细胞图像和预设的密度回归细胞计数模型，得到细胞图像中的细胞数；
[0009]其中，所述密度回归细胞计数模型为使用非相邻层方式连接多尺度特征的卷积神经网络；所述卷积神经网络中包括用于处理提取低维特征的多个第一网络区块、用于提取高度代表性特征的第二网络区块、与多个第一网络区块级联后用于恢复细胞图像分辨率的多个第三网络区块，以及根据恢复分辨率的图像获得密度图的第四网络区块；所述第三网络区块设置为上采样；还包括过为中间层提供直接监督的深度监督模块。
[0010]进一步的，所述第二网络区块提取代表性特征后，生成第一特征图；依据第一特征图，多个第三网络区块依次生成多个不同的特征图。
[0011]进一步的，所述深度监督模块使用多个卷积神经网络，在特征图生成过程中，生成多个对应的密度图，估计密度图和有注释图像之间的差异，对主干网络框架进行深度监督。
[0012]进一步的，所述密度回归细胞计数模型的训练包括：
[0013]将细胞图像输入到多个具有上采样、卷积和激活功能的第一网络区块，提取低维特征并生成低维特征图；
[0014]将所述低维特征图输入到具有卷积和激活功能的第二网络区块，生成第一特征图，并将第一特征图的信息输入辅助卷积网络中；
[0015]将第一特征图输入到三个具有上采样、卷积和激活功能的第三网络区块，分别生成第二特征图和第三特征图，通过三个第三网络区块得到恢复分辨率的图像；
[0016]训练损失函数参数，参考生成密度图和真实标注图之间的差异以及辅助卷积网络各网络区块中估计密度图和真实标注图之间的差异，训练整个主干网络；
[0017]将恢复分辨率的图像输入具有卷积和激活功能的第四网络层，获得输入的细胞图像所对应的密度图。
[0018]进一步的，所述第一网络区块包括卷积、激活和池化功能；第一网络区块中的每个池化层通过仅输出要素图中每个下采样区域的最大值，对输入要素图执行下采样操作，卷积层与一组可学习的核关联，并用于从其前一层的输出中提取局部特征，每个块中的激活层用来增加网络的非线性特性，不影响卷积层的感受野，将前一层的负响应设置为零，保持正响应不变。
[0019]进一步的，所述第二网络区块包括卷积和激活功能。
[0020]进一步的，所述第三网络区块包括上采样、卷积和激活功能；所述第四网络区块包括卷积和激活功能。
[0021]第二方面，本专利技术还提供了一种基于深度监督的密度回归细胞计数系统，包括：
[0022]数据采集模块，被配置为：获取待处理的细胞图像；
[0023]细胞计数模块，被配置为：根据所述细胞图像和预设的密度回归细胞计数模型，得到细胞图像中的细胞数；
[0024]其中，所述密度回归细胞计数模型为使用非相邻层方式连接多尺度特征的卷积神经网络；所述卷积神经网络中包括用于处理提取低维特征的多个第一网络区块、用于提取高度代表性特征的第二网络区块、与多个第一网络区块级联后用于恢复细胞图像分辨率的多个第三网络区块，以及根据恢复分辨率的图像获得密度图的第四网络区块；所述第三网络区块设置为上采样；还包括过为中间层提供直接监督的深度监督模块。
[0025]第三方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于深度监督的密度回归细胞计数方法的步骤。
[0026]第四方面，本专利技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于深度监督的密度回归细胞计数方法的步骤。
[0027]与现有技术相比，本专利技术的有益效果为：
[0028]1、本专利技术使用非相邻层的快捷连接来连接多尺度特征的卷积神经网络，在这种级联的网络架构中，由沿着下采样路径的所有层提取的多尺度图像特征可以被集成到沿着上采样路径的层的输入中，以进一步提高模型性能；此外，通过深度监督学习策略，为设计的神经网络的中间层提供直接监督来增强它们的训练，从而提高了细胞计数工作精度；
[0029]2、本专利技术通过多层级串联模式的神经网络模型，对图像进行多级处理，该处理模
式可以融合多尺度特征，提高提取的特征粒度，有利于密度图的回归，促进了下采样路径中中间层的学习；
[0030]3、本专利技术在深度学习计数模型的基础上，使用了卷积神经网络辅助训练的方式，通过对其中间层的学习提供直接和深入的监督来提高细胞计数的性能；
[0031]4、本专利技术设置了多层串联的神经网络模型，有助于处理任意大小的细胞图像，并利用神经网络模型中的全卷积层来估计细胞图像的密度图，如果在训练图像中标注感兴趣的细胞类型，该方法也可以应用于含多种类型细胞的图像，这种深度监督的学习框架可以使得训练过程关注感兴趣的细胞类型，将其他类型的细胞作为背景，不计入结果数目中。
附图说明
[0032]构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
[0033]图1为本专利技术实施例1的流程图；
[0034]图2为本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度监督的密度回归细胞计数方法，其特征在于，包括：获取待处理的细胞图像；根据所述细胞图像和预设的密度回归细胞计数模型，得到细胞图像中的细胞数；其中，所述密度回归细胞计数模型为使用非相邻层方式连接多尺度特征的卷积神经网络；所述卷积神经网络中包括用于处理提取低维特征的多个第一网络区块、用于提取高度代表性特征的第二网络区块、与多个第一网络区块级联后用于恢复细胞图像分辨率的多个第三网络区块，以及根据恢复分辨率的图像获得密度图的第四网络区块；所述第三网络区块设置为上采样；还包括过为中间层提供直接监督的深度监督模块。2.如权利要求1所述的基于深度监督的密度回归细胞计数方法，其特征在于，所述第二网络区块提取代表性特征后，生成第一特征图；依据第一特征图，多个第三网络区块依次生成多个不同的特征图。3.如权利要求2所述的基于深度监督的密度回归细胞计数方法，其特征在于，所述深度监督模块使用多个卷积神经网络，在特征图生成过程中，生成多个对应的密度图，估计密度图和有注释图像之间的差异，对主干网络框架进行深度监督。4.如权利要求1所述的基于深度监督的密度回归细胞计数方法，其特征在于，所述密度回归细胞计数模型的训练包括：将细胞图像输入到多个具有上采样、卷积和激活功能的第一网络区块，提取低维特征并生成低维特征图；将所述低维特征图输入到具有卷积和激活功能的第二网络区块，生成第一特征图，并将第一特征图的信息输入辅助卷积网络中；将第一特征图输入到三个具有上采样、卷积和激活功能的第三网络区块，分别生成第二特征图和第三特征图，通过三个第三网络区块得到恢复分辨率的图像；训练损失函数参数，参考生成密度图和真实标注图之间的差异以及辅助卷积网络各网络区块中估计密度图和真实标注图之间的差异，训练整个主干网络；将恢复分辨率的图像输入具有卷积和激活功能的第四网络层，获得输入的细胞图像所对应的密度图。5.如权利要求1所述的基于深度监...

【专利技术属性】
技术研发人员：郑元杰，丁媛媛，王晓辰，刘弘，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：