一种全切片组织病理图像分析方法及系统技术方案

本发明专利技术提供了一种全切片组织病理图像分析方法及系统，获取全切片数字病理图像；对全切片数字病理图像进行放大、并切分成可用于分析的图像块；去除无组织和细胞的背景图像块；利用半监督深度学习模型分析剩余图像块，将分析得到的信息显示在原全切片病理图像中。本发明专利技术建立的模型能够实现全切片组织病理图像的分析和量化，在线学习实现模型交互，提高分析性能。

【技术实现步骤摘要】
一种全切片组织病理图像分析方法及系统
本专利技术属于图像处理
，具体涉及一种全切片组织病理图像分析方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。通过病理学检查对癌症亚型进行分类是诊断恶性肿瘤和选择治疗的关键过程。近年来，开始使用全幻灯片成像技术(wholeslideimaging，WSI)，它将组织病理学载玻片扫描为全切片数字病理图像(wholeslideimages，WSIs)，并通过计算机辅助诊断(computer-aideddiagnosis，CAD)对其进行分析。尽管人们在显微镜技术和病理分析方面取得了大量的研究和进展，但是由于整张全切片病理图像尺度大，分析非常依赖于有经验的观察者的临床经验等原因，全切片病理图像中所包干信息的量化非常困难。此外，人工分析WSI非常耗时。自WSI技术出现以来，自动化肿瘤亚型分类已成为一个活跃的研究主题。在WSI的临床评估中，基于CAD的病理图像分析变得越来越普遍。近来，用于WSI的临床分析和研究的深度学习方法已经取得了重大进展，大规模数据收集和分析进一步揭示不同癌症之间共享的空间信息。但是，基于深度学习的方法通常需要大量的标注数据来训练模型，这使得模型在训练模型或迁移到新的医疗任务时依旧需要非常昂贵的标注图像。显然，组织病理学图像对应的标注数据的获取非常困难。WSI的尺寸大，需要经验丰富的病理学家使用特殊的标注工具，并花费大量时间和成本进行注释。综上所述，现有的深度学习技术用于组织病理图像分析的问题，尚缺乏行之有效的解决方案。
技术实现思路
本专利技术为了解决上述问题，提出了一种全切片组织病理图像分析方法及系统，本专利技术只需要部分标注图像就能够实现模型的训练，基本达到与大量标注图像训练的模型性能，减轻了深度学习方法对图像标签的需求。根据一些实施例，本专利技术采用如下技术方案：一种全切片组织病理图像分析方法，包括以下步骤：获取全切片数字病理图像；对全切片数字病理图像进行放大、并切分成可用于分析的图像块；去除无组织和细胞的背景图像块；利用半监督深度学习模型分析剩余图像块，将分析得到的信息显示在原全切片病理图像中。作为可选择的实施方式，利用半监督深度学习模型分析剩余图像块的具体过程包括：将全切片病理图像块，分为有标签数据和无标签数据；利用基于卷积神经网络的图像分类模型，对输入的图像数据进行卷积运算，得到图像对应的类别概率；对不同图像数据进行损失函数的计算，以优化训练所述图像分类模型；利用优化训练后的模型进行图像分析。作为进一步的限定，对于有标签的数据，数据进入图像分类模型后，由图像分类模型提取特征，得到预测的类分布，使用交叉熵损失函数约束预测类分布与原始单一标签的一致性。作为进一步的限定，通过数据扩充对未标记的数据进行转换，然后使用一致性正则化方法来约束模型，使其在数据转换前后对模型预测保持不变。作为进一步的限定，对于无标签数据，使用训练中的模型从未标记的数据中获取虚拟标签，该虚拟标签作为增强后的无标记数据的人工标签。作为进一步的限定，未标记的数据经过弱监督后的图像输入到分类模型中，预测类分布，当类预测中最大预测类型的预测值大于设定阈值时，则保留该预测，生成的单一标签形式的伪标签。作为进一步的限定，所述损失函数包括无标签数据损失和有标签数据损失，其中：对于有标签数据，给定一组数据χ＝{(xb，pb)：b∈1，...，B，每个图像xb对应单一标签pb，损失函数定义为：CE(*||*)指数据的原始标签pb和模型对输入预测的类别概率分布pmodel(y|α(x))之间的交叉熵，α(x)为对原始有标签图像x的弱增强图像；对于无标签数据，给定一组数据图像ub没有对应的人工标签，对于数据增强后的数据，模型预测数据的类别概率分布qb＝pmodel(y|α(ub))，使用平均标签或伪标签的方式获得图像对应的虚拟标签，损失函数定义为：或总的损失函数定义为：一种全切片组织病理图像分析系统，包括：图像获取模块，被配置为获取全切片数字病理图像；图像预处理模块，被配置为对全切片数字病理图像进行读取并以一定的放大倍数导出、并切分成可用于分析的图像块，去除无组织和细胞的背景图像块；图像分析模块，被配置为利用半监督深度学习模型分析剩余图像块，将分析得到的信息显示在原全切片病理图像中。一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述一种全切片组织病理图像分析方法中的步骤。一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述一种全切片组织病理图像分析方法中的步骤。与现有技术相比，本专利技术的有益效果为：本专利技术借鉴了半监督方法中通过一致性正则化和虚拟标签生成人工标签的策略，通过少量的标注图像和大量的未标注图像共同训练深度学习分类模型。对于未标注图像，弱增强图像的估计可以用来生成人工标签用作强增强图像的虚拟标签。通过这种方法，只需要部分标注图像就能够实现模型的训练，基本达到与大量标注图像训练的模型性能，减轻了深度学习方法对图像标签的需求，能够使模型实现与相对拥有大量标注数据训练的全监督模型相似的分析精度。本专利技术利用半监督方法使模型更容易迁移应用到不同种类的组织病理图像分析上，迁移学习成本低、易实现。方法分为离线学习和在线学习，完成离线学习的模型可以在新数据上实现交互的在线学习，具有更好的适用性和扩展性。本专利技术基于深度学习模型，基于简单常用的深度学习分类框架。深度学习模型测试过程仅经过一次卷积前向传播过程，能够实现图像数据的分析，计算复杂度低，能够在很短的时间内得到全切片组织病理图像分析结果，运算速度快。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。图1是基于半监督深度学习的全切片组织病理图像分析流程；图2是本实施例基于一致性正则化和虚拟标签的半监督深度学习图像分类模型；图3是全切片数字病理的实例图；图4是病理图像块的实例图；图5是组织病理图像块的数据增强结果展示图；图6是基于均值标签半监督方法模型图；图7是基于伪标签半监督方法模型图。具体实施方式：下面结合附图与实施例对本专利技术作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具本文档来自技高网...

【技术保护点】
1.一种全切片组织病理图像分析方法，其特征是：包括以下步骤：/n获取全切片数字病理图像；/n对全切片数字病理图像进行放大、并切分成可用于分析的图像块；/n去除无组织和细胞的背景图像块；/n利用半监督深度学习模型分析剩余图像块，将分析得到的信息显示在原全切片病理图像中。/n

【技术特征摘要】
1.一种全切片组织病理图像分析方法，其特征是：包括以下步骤：
获取全切片数字病理图像；
对全切片数字病理图像进行放大、并切分成可用于分析的图像块；
去除无组织和细胞的背景图像块；
利用半监督深度学习模型分析剩余图像块，将分析得到的信息显示在原全切片病理图像中。


2.如权利要求1所述的一种全切片组织病理图像分析方法，其特征是：利用半监督深度学习模型分析剩余图像块的具体过程包括：
将全切片病理图像块，分为有标签数据和无标签数据；
利用基于卷积神经网络的图像分类模型，对输入的图像数据进行卷积运算，得到图像对应的类别概率；
对不同图像数据进行损失函数的计算，以优化训练所述图像分类模型；
利用优化训练后的模型进行图像分析。


3.如权利要求2所述的一种全切片组织病理图像分析方法，其特征是：对于有标签的数据，数据进入图像分类模型后，由图像分类模型提取特征，得到预测的类分布，使用交叉熵损失函数约束预测类分布与原始单一标签的一致性。


4.如权利要求2所述的一种全切片组织病理图像分析方法，其特征是：通过数据扩充对未标记的数据进行转换，然后使用一致性正则化方法来约束模型，使其在数据转换前后对模型预测保持不变。


5.如权利要求2所述的一种全切片组织病理图像分析方法，其特征是：对于无标签数据，使用训练中的模型从未标记的数据中获取虚拟标签，该虚拟标签作为增强后的无标记数据的人工标签。


6.如权利要求2所述的一种全切片组织病理图像分析方法，其特征是：未标记的数据经过弱监督后的图像输入到分类模型中，预测类分布，当类预测中最大预测类型的预测值大于设定阈值时，则保留该预测，生成的单一标签形式的伪标签。

【专利技术属性】
技术研发人员：郑元杰，姜岩芸，隋晓丹，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37