组织病理图像细胞核分割以及染色风格规范化方法技术

本发明专利技术提供了一种组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，包括如下步骤：步骤S1，对全视野数字切片进行数据预处理得到图像块，该图像块由具有强细胞核标注的强标注图像块以及无细胞核标注的无标注图像块组成，步骤S2，将强标注图像块作为多任务教师模型的输入对该多任务教师模型进行训练，进一步将无标注图像块输入已训练的多任务教师模型得到由该多任务教师模型推测并筛选的细胞核分割结果作为伪标注；步骤S3，采用强标注图像块和具有伪标注的图像块混合作为学生模型训练集对多任务学生模型进行训练；步骤S4，将待分割的组织病理数字切片图像块输入训练好的多任务学生模型，得到分割以及染色风格规范化结果。规范化结果。规范化结果。

【技术实现步骤摘要】
组织病理图像细胞核分割以及染色风格规范化方法


[0001]本专利技术属于智能辅助诊断领域，具体涉及一种组织病理图像细胞核分割以及染色风格规范化方法。

技术介绍

[0002]基于苏木精
‑
伊红(H&E)染色的组织病理学是大多数现有临床诊断的基础和金标准。数字化病理图像的自动分析是医学影像分析中非常重要的一部分。由于多种原因，病理学图像的细胞级分析非常困难，原因包括：染色处理技术的差异导致染色风格的差异，病理学图像包含大量难以量化的信息，像素级注释非常费时费力。
[0003]染色风格差异是细胞级智能分析中最显著的问题之一。病理学家主要通过检查组织成分的分布、细胞的比例和空间组成来诊断疾病。组织化学染色赋予不同组织不同的染色，并揭示潜在的组织细胞结构。苏木精
‑
伊红染色是最常用的组织病理学染色方法之一。由于染色过程中的操作差异，染色的组织切片通常具有不同的颜色，尤其是细胞核染色的阴影。这不仅导致病理学家的视觉诊断不一致，而且成为自动计算病理分析的障碍，尤其是在细胞分割和细胞分类等任务中。在过去的十年中，染色风格规范化对于细胞级自动分析的重要性越来越被认识到。生成对抗网络(GAN)作为深度学习的重要组成部分，广泛用于数据扩充和风格迁移。由于不需要配对数据，CycleGAN及其变形已成功应用于图像风格迁移。但是由于不配对的训练数据，也易于产生原始图像中不存在的结构。
[0004]缺乏像素级注释是病理图像中细胞核自动分割的一大瓶颈，阻碍了细胞级病理图像分析的发展。数字病理图像分析的主要深度学习模型包括卷积神经网络(CNN)和VisionTransformer(VIT)。Unet[]及其变体属于CNNs组，是应用最广泛的细胞核分割模型。ViT[]及其衍生模型由于其优越的性能，近年来在细胞核分割任务中比CNN受到了更多的关注。基于CNN的分割网络通常需要大量像素注释来实现稳健的分割模型。此外，由于比CNN具有更大的网络容量和更复杂的结构，ViT需要更多带注释的数据。由于核的像素级标签获取费时费力，全监督分割方法受到越来越多的约束，基于半监督学习框架的细胞核分割越来越受到重视。

技术实现思路

[0005]本专利技术的目的在于提供一种半监督多任务的组织病理图像细胞核分割以及染色风格规范化方法，旨在有效解决在细胞级病理分析中，由于组织病理切片图像制备过程中染色风格不统一以及标注数量不足而导致的细胞核分割精度不足问题。
[0006]根据本专利技术提供的一种组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，包括如下步骤：步骤S1，对全视野数字切片进行数据预处理得到图像块，该图像块由具有强细胞核标注的强标注图像块以及无细胞核标注的无标注图像块组成；步骤S2，将强标注图像块作为多任务教师模型的输入对该多任务教师模型进行训练，进一步将无标注图像块输入已训练的多任务教师模型得到由该多任务教师模型推测并筛选的细胞核分割
结果作为伪标注；步骤S3，采用强标注图像块和具有伪标注的图像块混合作为学生模型训练集对多任务学生模型进行训练；步骤S4，将待分割的组织病理数字切片图像块输入训练好的多任务学生模型，得到分割以及染色风格规范化结果。
[0007]根据本专利技术提供的一种组织病理图像细胞核分割以及染色风格规范化方法，还可以具有这样的技术特征，强标注图像块分为具有多种染色风格图像块的源域训练集X和只有一种染色风格图像块目标域训练集Y，步骤S2包括：步骤S21、定义两个生成器G
X2Y
、G
Y2X
和两个鉴别器D
X
、D
Y
，生成器G
X2Y
和生成器G
Y2X
均由一个编码器和两个解码器组成，两个解码器分别为染色风格规范化解码器和分割解码器，生成器G
X2Y
用于将X源域图像风格转移到Y目标域图像风格，有鉴别器D
Y
用于判断是否与真实Y目标域图像风格相近真实度，生成器G
Y2X
用于使得Y目标域图像风格转移到X源域图像风格，并由鉴别器D
X
判断真实度，将输入生成器G
Y2X
中得到并采用循环一致性损失来约束用于保证X源域图像风格转换到Y目标域图像风格的同时，病理图片纹理结构特征保持不变；步骤S22，将注意力门设置到生成器G
X2Y
、G
Y2X
中，通过注意力机制来使得生成器更加关注到细胞核区域；步骤S23，将强标注图像块送入多任务教师模型进行训练，进一步利用训练好的多任务教师模型对无标注图像块进行预测，并对预测结果进行筛选得到符合质量要求的细胞核分割结果作为伪标注，伪标注的质量通过对每张分割结果的每个像素点计算softmax值，若该张图片所有像素softmax均值大于设定阈值，则符合质量要求：
[0008][0009]其中，k表示神经网络的多个输出或类别数，v为输出向量，v
j
为v中第j个输出或类别的值，i表示当前需要计算的类别。
[0010]根据本专利技术提供的一种组织病理图像细胞核分割以及染色风格规范化方法，还可以具有这样的技术特征，在步骤S21中：染色风格规范化解码器利用循环一致性损失L
Cyc
及对抗损失L
GAN
，实现染色风格规范化任务：
[0011][0012][0013]L
Cyc
(G
X2Y
,G
Y2X
)
[0014]＝E
x～X
[||G
Y2X
(G
X2Y
(x)
‑
x||1][0015]+E
y～Y
[||G
X2Y
(G
Y2X
(y)
‑
y||1][0016]分割解码器利用BCE损失函数作为细胞分割的损失函数L
Seg
，实现细胞核的分割任务：
[0017][0018]生成器的总损失函数为：
[0019]L(G
′
X2Y
,G
′
Y2X
,D
Y
,D
X
,X
label
)
[0020]＝[λ
X2Y
L
GAN
(G
′
X2Y
)+L
GAN
(D
Y
)+L
GAN
(G
′
Y2X
)+L
GAN
(D
X
)][0021]+λ
Cyc
L
Cyc
(G
′
X2Y
,G
′
Y2X
)+λ
Seg
L
Seg
(X,X
label
)
[0022]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，包括如下步骤：步骤S1，对全视野数字切片进行数据预处理得到图像块，该图像块由具有强细胞核标注的强标注图像块以及无细胞核标注的无标注图像块组成；步骤S2，将所述强标注图像块作为多任务教师模型的输入对该多任务教师模型进行训练，进一步将无标注图像块输入已训练的多任务教师模型得到由该多任务教师模型推测并筛选的细胞核分割结果作为伪标注；步骤S3，采用所述强标注图像块和具有所述伪标注的图像块混合作为学生模型训练集对多任务学生模型进行训练；步骤S4，将待分割的组织病理数字切片图像块输入训练好的多任务学生模型，得到分割以及染色风格规范化结果。2.根据权利要求1所述的组织病理图像细胞核分割以及染色风格规范化方法，其特征在于，所述强标注图像块分为具有多种染色风格图像块的源域训练集X和只有一种染色风格图像块目标域训练集Y，所述步骤S2包括：步骤S21，定义两个生成器G
X2Y
、G
Y2X
和两个鉴别器D
X
、D
Y
，所述生成器G
X2Y
和生成器G
Y2X
均由一个编码器和两个解码器组成，所述两个解码器分别为染色风格规范化解码器和分割解码器，所述生成器G
X2Y
用于将X源域图像风格转移到Y目标域图像风格，有所述鉴别器D
Y
用于判断是否与真实Y目标域图像风格相近真实度，所述生成器G
Y2X
用于使得Y目标域图像风格转移到X源域图像风格，并由所述鉴别器D
X
判断真实度，将输入所述生成器G
Y2X
中得到并采用循环一致性损失来约束用于保证X源域图像风格转换到Y目标域图像风格的同时，病理图片纹理结构特征保持不变；步骤S22，将注意力门设置到所述生成器G
X2Y
、G
Y2X
中，通过注意力机制来使得所述生成器更加关注到细胞核区域；步骤S23，将所述强标注图像块送入所述多任务教师模型进行训练，进一步利用训练好的所述多任务教师模型对无标注图像块进行预测，并对预测结果进行筛选得到符合质量要求的细胞核分割结果作为所述伪标注，所述伪标注的质量通过对每张分割结果的每个像素点计算softmax值，若该张图片所有像素softmax均值大于设定阈值，则符合质量要求：其中，k表示神经网络的多个输出或类别数，v为输出向量，v
j
为v中第j个输出或类别的值，i表示当前需要计算的类别。3.根据权利要求2所述的组织病理图像细胞核分割以及染色风格规范化方法，其特征
在于，在所述步骤S21中：所述染色风格规范化解码器利用循环一致性损失L
Cyc
及对抗损失L
GAN
，实现染色风格规范化任务：范化任务：L
Cyc
(G
X2Y
，G
Y2X
)＝E
x～X
[||G
Y2X
(G
X2Y
(x)
‑
x||1]+E
y～Y
[||G
X2Y
(G
Y2X
(y)
‑
y||1]式中，E
x～X
为X域训练集中每个样本x在经过生成器G
X2Y
生成染色规范化结果后经过鉴别器D
Y
输出二阶范数后的数学期望，E
y～Y
为Y域训练集中每个样本y在经过生成器G
Y2X
生成染色规范化结果后经过鉴别器D
X
输出二阶范数后的数学期望，为鉴别器D
Y
的生成对抗损失且该损失值越小越好，为生成器G
X2Y
的生成对抗损失且该损失值越小越好，D
Y
(G
X2Y
(x))为X域训练集中每个样本x在经过生成器G
X2Y
生成染色规范化结果后经过鉴别器D
Y
的输出，D
Y
(y)为Y域训练集中每个样本y在经过生成器G
Y2X
生成染色规范化结果后经过鉴别器D
X
的输出，所述分割解码器利用BCE损失函数作为细胞分割的损失函数L
Seg
，实现细胞核的分割任务：式中，为计算分割结果x与对应标注x
label
的交叉熵的数学期望值，x
label
log
e
(x)+(1
‑
x
label
log
e
(1
‑
x)为分割结果x与对应标注x
label
的交叉熵，e为自然对数，所述生成器的总损失函数为：L(G
′
X2Y
，G
...

【专利技术属性】
技术研发人员：周国辉，杨植若，余锦华，
申请(专利权)人：复旦大学，
类型：发明
国别省市：