一种HE病理图像细胞核分割方法及系统技术方案

本发明专利技术公开了一种HE病理图像细胞核分割方法及系统，该方法的步骤包括：将HE病理图像划分标签类别；对病理图像进行颜色归一化，并按照预设的像素尺寸切分为统一大小的图像块；构建采用双U型网络的结构的细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象；第一U型网络和第二U型网络之间设有信息融合模块，将两个U型网络在相邻尺度的特征进行信息融合；基于模型不变元学习的机制训练细胞核分割模型；将预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。本发明专利技术提高了检测细胞核边界的精确度，解决了对细胞核边界难以检测的问题。问题。问题。

【技术实现步骤摘要】
一种HE病理图像细胞核分割方法及系统


[0001]本专利技术涉及图像处理
，具体涉及一种HE病理图像细胞核分割方法及系统。

技术介绍

[0002]病理图像蕴藏着极为丰富的生物信息，是判断患者患病与否的一个重要依据。而病理图像中细胞核的形态，大小等信息更是与癌变预后密切相关。细胞核的形态，大小等信息可以为医生提供关键的诊断信息。
[0003]细胞核分割是病理图像分析中的一个基础步骤，一个自动细胞核分割方法可以减少医生的工作量和为临床研究提供较为精确的免疫微环境量化信息。目前已有一些技术在一定程度上实现了病理图像中的细胞核分割，比如Dcan网络采用全卷积网络检测细胞核和细胞核边界。BES网络在U型网络的上采样阶段加入一个细胞核边界检测任务。CIA网络在上采样阶段包含边界检测任务的同时，加入了信息融合模块。而Hovernet则在分割细胞核任务中引入了细胞核内部的距离信息。
[0004]虽然现有技术中存在利用深度学习的方法实现对病理图像中细胞核分割，但是现有的方法仍然存在一些不足：Dcan采用全卷积网络检测细胞核和细胞核边界，但是全卷积网络在细胞核分割的任务中难以识别形状较小的目标，而且没有针对细胞核边界检测引入特定的网络段，细胞核边界分割效果不理想，细胞核与细胞核边界难以检测。BES网络虽然采用了U型网络结构，而且有针对细胞核边界的网络段，但是细胞核边界分割任务和细胞核分割任务没有过多的信息交互。Hovernet引入了细胞核的距离信息，但是却没有考虑到网络的泛化能力。因此目前病理图像多组织细胞核分割任务中仍存在细胞核边界难以检测和一般模型的泛化性能不够的技术问题。

技术实现思路

[0005]为了克服现有技术存在的缺陷与不足，本专利技术提供一种HE病理图像细胞核分割方法及系统，通过细胞核分割模型确定图像中的细胞核，在两个U型网络之间通过信息融合模块进行网络之间的信息交互，提高了检测细胞核边界的精确度，解决了对细胞核边界难以检测的问题。
[0006]为了达到上述目的，本专利技术采用以下技术方案：
[0007]本专利技术提供一种HE病理图像细胞核分割方法，包括下述步骤：
[0008]图像预处理：将HE病理图像划分标签类别；
[0009]对病理图像进行颜色归一化，并按照预设的像素尺寸切分为统一大小的图像块；
[0010]构建细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象；
[0011]所述细胞核分割模型采用双U型网络的结构，包括第一U型网络和第二U型网络，所述第一U型网络和第二U型网络的输入分别为RGB图像和HSV图像，所述第一U型网络用于预
测细胞核边界，第二U型网络用于预测细胞核区域部分，所述第一U型网络和第二U型网络在每个尺度上的模块均为密集连接卷积模块；
[0012]所述第一U型网络和第二U型网络之间设有信息融合模块，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合；
[0013]基于模型不变元学习的机制训练细胞核分割模型，利用数据的验证集对细胞核分割模型进行验证，根据验证准确度判断训练进度；
[0014]将细胞核分割模型输出的预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。
[0015]作为优选的技术方案，所述标签类别包括：细胞核内部区域，另一个类别是细胞核边界，最后一个是细胞核外部区域。
[0016]作为优选的技术方案，所述对病理图像进行颜色归一化，具体步骤包括：
[0017]对病理图像进行非负矩阵分解，计算出最大的两个特征向量，将数据投影到两个特征向量组成的平面，计算每个点与第一个向量的角度，计算权重乘到原始数据当中，将图像乘以颜色解卷积参考矩阵，得到归一化图像。
[0018]作为优选的技术方案，所述密集连接卷积模块由32、64、96、128个特征图连接而成，将128个特征图通过1*1的卷积降到32个特征图，输入到U型网络下一个尺度的卷积操作中。
[0019]作为优选的技术方案，所述特征图在输入到下一个尺度的卷积操作前，先进行步长为2的卷积或者逆卷积操作，使得特征图的尺寸大小符合下一阶段卷积操作的要求。
[0020]作为优选的技术方案，每个U型网络的同一个尺度的下采样阶段和上采样阶段设有跳跃连接。
[0021]作为优选的技术方案，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合，具体步骤包括：先对两个U型网络在每个尺度的输出进行3*3的卷积，然后将特征图拼接起来，再对拼接的特征图进行3*3的卷积，最后用两个3*3的卷积分别对卷积后的拼接图进行卷积，再分别拼接到两个U型网络之中。
[0022]作为优选的技术方案，所述基于模型不变元学习的机制训练细胞核分割模型，具体步骤包括：
[0023]将输入图像划分为训练集和测试集，其中又将训练集根据元学习子任务划分为多组图像子集，从每组图像子集中选取第一预设数量的图像样本作为元学习子任务的训练集，抽出第二预设数量的图像样本作为元学习子任务的验证集。
[0024]作为优选的技术方案，在元训练样本的训练过程中加入关于元测试样本损失的梯度信息。
[0025]本专利技术还提供一种HE病理图像细胞核分割系统，包括：图像预处理模块、颜色归一化模块、图像切分模块、细胞核分割模型构建模块、细胞核分割模型训练模块和图像拼接输出模块；
[0026]所述图像预处理模块用于进行图像预处理，将HE病理图像划分标签类别；
[0027]所述颜色归一化模块用于对病理图像进行颜色归一化；
[0028]所述图像切分模块用于按照预设的像素尺寸将颜色归一化后的病理图像切分为统一大小的图像块；
[0029]所述细胞核分割模型构建模块用于构建细胞核分割模型；
[0030]所述细胞核分割模型采用双U型网络的结构，包括第一U型网络和第二U型网络，所述第一U型网络和第二U型网络的输入分别为RGB图像和HSV图像，所述第一U型网络用于预测细胞核边界，第二U型网络用于预测细胞核区域部分，所述第一U型网络和第二U型网络在每个尺度上的模块均为密集连接卷积模块；
[0031]所述第一U型网络和第二U型网络之间设有信息融合模块，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合；
[0032]所述细胞核分割模型训练模块用于训练细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象，基于模型不变元学习的机制训练细胞核分割模型，利用数据的验证集对细胞核分割模型进行验证，根据验证准确度判断训练进度；
[0033]所述图像拼接输出模块用于将细胞核分割模型输出的预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。
[0034]本专利技术与现有技术相比，具有如下优点和有益效果：
[0035](1)本专利技术通过细胞核分割模型确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种HE病理图像细胞核分割方法，其特征在于，包括下述步骤：图像预处理：将HE病理图像划分标签类别；对病理图像进行颜色归一化，并按照预设的像素尺寸切分为统一大小的图像块；构建细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象；所述细胞核分割模型采用双U型网络的结构，包括第一U型网络和第二U型网络，所述第一U型网络和第二U型网络的输入分别为RGB图像和HSV图像，所述第一U型网络用于预测细胞核边界，第二U型网络用于预测细胞核区域部分，所述第一U型网络和第二U型网络在每个尺度上的模块均为密集连接卷积模块；所述第一U型网络和第二U型网络之间设有信息融合模块，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合；基于模型不变元学习的机制训练细胞核分割模型，利用数据的验证集对细胞核分割模型进行验证，根据验证准确度判断训练进度；将细胞核分割模型输出的预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。2.根据权利要求1所述的HE病理图像细胞核分割方法，其特征在于，所述标签类别包括：细胞核内部区域，另一个类别是细胞核边界，最后一个是细胞核外部区域。3.根据权利要求1所述的HE病理图像细胞核分割方法，其特征在于，所述对病理图像进行颜色归一化，具体步骤包括：对病理图像进行非负矩阵分解，计算出最大的两个特征向量，将数据投影到两个特征向量组成的平面，计算每个点与第一个向量的角度，计算权重乘到原始数据当中，将图像乘以颜色解卷积参考矩阵，得到归一化图像。4.根据权利要求1所述的HE病理图像细胞核分割方法，其特征在于，所述密集连接卷积模块由32、64、96、128个特征图连接而成，将128个特征图通过1*1的卷积降到32个特征图，输入到U型网络下一个尺度的卷积操作中。5.根据权利要求4所述HE病理图像细胞核分割方法，其特征在于，所述特征图在输入到下一个尺度的卷积操作前，先进行步长为2的卷积或者逆卷积操作，使得特征图的尺寸大小符合下一阶段卷积操作的要求。6.根据权利要求1所述HE病理图像细胞核分割方法，其特征在于，每个U型网络的同一个尺度的下采样阶段和上采样阶段设有跳跃连接。7.根据权利要求1所述HE病理图像细胞核分割方法，其特征在于，...

【专利技术属性】
技术研发人员：姚华升，韩楚，陈鑫，潘细朋，俞祝良，刘再毅，梁长虹，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：