一种基于点标注的弱监督腺体实例分割方法技术

本发明专利技术涉及一种基于点标注的弱监督腺体实例分割方法。包括：获取结肠组织病理学图像；对图像中存在的腺体实例进行点标注，生成腺体点检测训练样本集；建立腺体点检测模型；使用腺体点检测训练样本集对腺体点检测模型进行深度学习训练；利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，生成腺体实例分割训练样本集；建立腺体实例分割模型；使用腺体实例分割训练样本集对腺体实例分割模型进行深度学习训练；使用深度学习训练后的腺体实例分割模型对结肠组织病理学图像的腺体实例进行分割。本发明专利技术方法实现了结肠组织病理学图像中腺体实例的自动分割，降低了结肠癌诊断中人工分割腺体的数据标注成本。结肠癌诊断中人工分割腺体的数据标注成本。结肠癌诊断中人工分割腺体的数据标注成本。

【技术实现步骤摘要】
一种基于点标注的弱监督腺体实例分割方法


[0001]本专利技术属于计算机视觉与医学图像分析领域，具体涉及一种基于点标注的弱监督腺体实例分割方法。

技术介绍

[0002]结肠癌是常见的发生于结肠部位的消化道恶性肿瘤，是新发癌症发病率最高的癌症之一。肿瘤细胞和组织在显微镜下观察表现出一定的异于正常细胞和组织的结构特征，也叫组织学特征。医生根据组织学特征对癌症进行分级，进而确定病人的癌症情况与治疗方案。从病理图像中准确地分割腺体实例是病理学家定量分析腺癌恶性程度进行诊断的关键步骤，然而手动分割出病理图像中的腺体实例是一项十分耗时的工作。病理图像采用苏木精和伊红(H&E)等染色剂进行染色制片，受制于染色剂与光照等因素的影响加大了分割腺体实例的难度。病理全切片扫描设备的普及使得病理学图像数字化成为可能，对数字病理图像进行计算机辅助诊断是目前医学图像分析领域的研究热点之一。但是由于腺体形态的多变性，且恶性及良性腺体的组织学特征差异大，使得传统的分割方法存在很大的局限性。
[0003]基于图像级别标注的弱监督实例分割方法有效降低了标注成本，但是图像级别标注所包含的空间信息十分有限，导致基于图像级别标注的弱监督实例分割方法效果不佳。基于点标注的弱监督实例分割方法在图像级别标注的基础上提供了图像实例的空间信息，并且相较于图像级别标注只需要增加少量的标注工作量。点标注是对图像中的每个实例仅标注一个参照点，该参照点在模型的训练过程中提供了必要的空间信息。而一般的弱监督实例分割算法都需要使用精度较高的分类模型进行梯度反向传播得到实例间的热值定位。而在腺体图像中，由于腺体与非腺体区域在图像中大多同时存在。分类模型无法有效地区分腺体区域与非腺体区域之间的差异，导致目前的弱监督实例分割算法无法在腺体分割中应用。
[0004]本申请提出了一种基于点标注的弱监督腺体实例分割方法。通过点标注训练腺体点检测模型，预测腺体高置信点，根据高置信点辅助训练腺体实例分割模型。最后使用腺体实例分割模型分析输入的腺体图像得到腺体实例掩膜，实现了在仅使用点标注的弱监督条件下的腺体实力分割。该方法具有较好的创新性与推广性，该方法也能用于与腺体实例类似的前景实例分割问题中，具有较高的应用价值。

技术实现思路

[0005]本专利技术的目的在于提供一种基于点标注的弱监督腺体实例分割方法，实现了结肠组织病理学图像中腺体实例的自动分割，降低了结肠癌诊断中人工分割腺体的数据标注成本。
[0006]为实现上述目的，本专利技术的技术方案是：一种基于点标注的弱监督腺体实例分割方法，包括如下步骤：
[0007]步骤S1、获取结肠组织病理学图像；
[0008]步骤S2、对结肠组织病理学图像中存在的腺体实例进行点标注，生成腺体点检测训练样本集；
[0009]步骤S3、建立腺体点检测模型；
[0010]步骤S4、使用腺体点检测训练样本集对腺体点检测模型进行深度学习训练；
[0011]步骤S5、利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，生成腺体实例分割训练样本集；
[0012]步骤S6、建立腺体实例分割模型；
[0013]步骤S7、使用腺体实例分割训练样本集对腺体实例分割模型进行深度学习训练；
[0014]步骤S8、使用深度学习训练后的腺体实例分割模型对结肠组织病理学图像的腺体实例进行分割。
[0015]在本专利技术一实施例中，步骤S2中，对结肠组织病理学图像中存在的腺体实例进行点标注，即在结肠组织病理学图像的每一个腺体中心标注一个标注点，并标注及统计结肠组织病理学图像中的腺体实例总数r。
[0016]在本专利技术一实施例中，所述结肠组织病理学图像中的每个腺体都对应一个标注点，其标注位置为腺体实例的中心，点标注相比于像素级别标注的标注复杂度较低，具有腺体实例的弱语义位置信息，可表示为；t＝[x，y],其中x为标注点的横坐标，y为标注点的竖坐标。
[0017]在本专利技术一实施例中，步骤S3中，所述腺体点检测模型包括：一个骨干网络、三个锚点机制模块；结肠组织病理学图像输入到腺体点检测模型，首先通过骨干网络提取图像的语义特征；接着图像的语义特征输入第一个锚点机制模块输出第一组腺体点检测结果，而后平行地通过第二个锚点机制模块、第三个锚点机制模块分别输出第二组腺体点检测结果、第三组腺体点检测结果，最后综合三组的腺体点检测结果输出最终的腺体点检测结果。
[0018]在本专利技术一实施例中，所述三个锚点机制模块分别为：DBL特征提取模块、高置信点检测模块和腺体数量回归模块；图像的语义特征首先通过DBL特征提取模块进行特征提取与缩放，缩放后的图像特征将平行地通过高置信点检测模块和腺体数量回归模块，最后高置信点检测模块输出高置信点的预测结果，可表示为：t
*
＝[x
*
，y
*
，c
*
]，其中x
*
为高置信点的横坐标，y
*
为高置信点的竖坐标，c
*
为高置信点的置信值，腺体数量回归模块输出腺体实例数量的预测结果，可表示为r
*
。
[0019]在本专利技术一实施例中，所述DBL特征提取模块是卷积层、批标准化层和带泄露修正线性单元的组合，图像的语义特征输入DBL特征提取模块后进特征提取与缩放，输出锚点特征，其中在DBL特征提取模块设置参数A对特征进行缩放，最后输出锚点特征的深度为3*A；所述高置信点检测模块的分析流程为：将锚点特征通过方格窗口切分成k*k的网格特征，最后对于网格特征中的每个网格点预测出A个高置信点作为高置信点的预测结果t
*
；所述腺体数量回归模块的分析流程为：将锚点特征通过全局池化层将特征尺寸缩放至1，将锚点特征转换为特征向量，最后将特征向量输入全连接层输出腺体实例数量的预测结果r
*
。
[0020]在本专利技术一实施例中，步骤S4中，所述深度学习训练方法为自适应矩估计方法，通过最小化损失函数L
P
学习腺体点检测模型的最优参数，损失函数L
P
表达为：
[0021]L
P
＝L
P-D
+L
P-R
[0022][0023][0024]其中，L
P-D
为腺体点检测模型的损失，N表示检测的尺度数，k2表示网格大小，A表示每个网格中高置信点的预测数量，和是网格预测的坐标值，x
i
和y
i
是点标注的坐标值，L
P-D
采用L1范式进行距离度量，μ
i，j
表示第i个网格中第j个锚点预测的有效性，取值为[0,1]，当网格有效时值1，否则为0；L
P-R
为腺体数量回归模块损失，n表示回归的尺度数，表示回归分支预测的腺体实例数量，r
i
表示腺体的实际数量，通过Log-cosh函数来描述预测腺体数量与实际数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点标注的弱监督腺体实例分割方法，其特征在于，包括如下步骤：步骤S1、获取结肠组织病理学图像；步骤S2、对结肠组织病理学图像中存在的腺体实例进行点标注，生成腺体点检测训练样本集；步骤S3、建立腺体点检测模型；步骤S4、使用腺体点检测训练样本集对腺体点检测模型进行深度学习训练；步骤S5、利用深度学习训练后的腺体点检测模型预测结肠组织病理学图像中的高置信点，生成腺体实例分割训练样本集；步骤S6、建立腺体实例分割模型；步骤S7、使用腺体实例分割训练样本集对腺体实例分割模型进行深度学习训练；步骤S8、使用深度学习训练后的腺体实例分割模型对结肠组织病理学图像的腺体实例进行分割。2.根据权利要求1所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，步骤S2中，对结肠组织病理学图像中存在的腺体实例进行点标注，即在结肠组织病理学图像的每一个腺体中心标注一个标注点，并标注及统计结肠组织病理学图像中的腺体实例总数r。3.根据权利要求1或2所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，所述结肠组织病理学图像中的每个腺体都对应一个标注点，其标注位置为腺体实例的中心，点标注相比于像素级别标注的标注复杂度较低，具有腺体实例的弱语义位置信息，可表示为；t＝[x，y]，其中x为标注点的横坐标，y为标注点的竖坐标。4.根据权利要求1所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，步骤S3中，所述腺体点检测模型包括：一个骨干网络、三个锚点机制模块；结肠组织病理学图像输入到腺体点检测模型，首先通过骨干网络提取图像的语义特征；接着图像的语义特征输入第一个锚点机制模块输出第一组腺体点检测结果，而后平行地通过第二个锚点机制模块、第三个锚点机制模块分别输出第二组腺体点检测结果、第三组腺体点检测结果，最后综合三组的腺体点检测结果输出最终的腺体点检测结果。5.根据权利要求4所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，所述三个锚点机制模块分别为：DBL特征提取模块、高置信点检测模块和腺体数量回归模块；图像的语义特征首先通过DBL特征提取模块进行特征提取与缩放，缩放后的图像特征将平行地通过高置信点检测模块和腺体数量回归模块，最后高置信点检测模块输出高置信点的预测结果，可表示为：t
*
＝[x
*
，y
*
，c
*
]，其中x
*
为高置信点的横坐标，y
*
为高置信点的竖坐标，c
*
为高置信点的置信值，腺体数量回归模块输出腺体实例数量的预测结果，可表示为r
*
。6.根据权利要求4或5所述的一种基于点标注的弱监督腺体实例分割方法，其特征在于，所述DBL特征提取模块是卷积层、批标准化层和带泄露修正线性单元的组合，图像的语义特征输入DBL特征提取模块后进特征提取与缩放，输出锚点特征，其中在DBL特征提取模块设置参数A对特征进行缩放，最后输出锚点特征的深度为3*A；所述高置信点检测模块的分析流程为：将锚点特征通过方格窗口切分成k*k的网格特征，最后对于网格特征中的每个网格点预测出A个高置信点作为高置信点的预测结果t
*
；所述腺体数量回归模块的分析流程为：将锚点特征通过全局池化层将特征尺寸缩放至1，将锚点特...

【专利技术属性】
技术研发人员：王大寒，李建敏，叶海礼，朱晨雁，朱顺痣，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：