对未染色组织的病理学预测制造技术

提供了一种识别未染色组织样本中的感兴趣区域的方法，包括：提供被训练成识别组织样本的未染色放大数字图像中的感兴趣区域的模式识别器；获得未染色组织样本的放大数字图像；和用模式识别器处理未染色组织样本的放大数字图像以生成指示未染色组织样本中的感兴趣区域的注释信息。趣区域的注释信息。趣区域的注释信息。

【技术实现步骤摘要】
对未染色组织的病理学预测
[0001]本申请是申请日为2018年09月07日、申请号为201880089436.9、专利技术名称为“对未染色组织的病理学预测”的专利技术专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求2018年2月15日提交的美国临时专利申请第62/631,259号的优先权，该申请通过引用结合于此。


[0004]本公开涉及数字病理学领域，更具体地，涉及一种用于在组织标本的数字图像中生成掩模的方法。

技术介绍

[0005]本文档中的术语“掩模(mask)”是指组织标本的图像中的闭合多边形区域或其他指定区域，其包围或以其他方式指示诸如癌细胞(例如，肿瘤细胞)的感兴趣区域。
[0006]带有掩模的组织样本的数字图像和样本的可能相关标签(诸如“癌性的”)在若干上下文中使用，包括作为构造机器学习模型的训练示例。这种机器学习模型可以被开发用于各种目的，包括辅助诊断、临床决策支持以及为提供组织样本的患者进行预测，诸如预测存活率或对治疗的反应。
[0007]用于根据包含组织标本的载玻片的图像进行预测的机器学习模型需要精确的“真实(ground truth)”掩模，并且可选地需要为标本分配标签。如上所述，掩模可以是勾勒出感兴趣区域的多边形形式，诸如包含肿瘤细胞的区域。在2017年6月13日提交的序列号为15/621837的C.Gammage的未决美国专利申请中描述了一种用于创建掩模的方法的一个示例，其内容通过引用结合于此。
[0008]在2017年2月23日提交的序列号为PCT/US2017/019051的PCT申请以及其中引用的科学和技术文献中公开了用于识别组织标本的数字放大图像中的癌细胞的神经网络模式识别器，其内容通过引用结合于此。科学文献中描述了如本文所描述的模式识别器可以基于的Inception
‑
v3深度卷积神经网络架构。参见以下参考文献，其内容通过引用结合于此：C.Szegedy et al.,Going Deeper with Convolutions,arXiv:1409.4842[cs.CV](2014年9月)；C.Szegedy et al.,Rethinking the Inception Architecture for Computer Vision,arXiv:1512.00567[cs.CV](2015年12月)；也参见2015年8月28日提交的序列号为14/839,452的美国专利申请，C.Szegedy et al.,“Processing Images Using Deep Neural Networks”。称为Inception
‑
v4的第四代被认为是这种模式识别器的另一种可能的架构。参见C.Szegedy et al.,Inception
‑
v4,Inception
‑
ResNet and the Impact of Residual Connections on Learning,arXiv:1602.0761[cs.CV](2016年2月)。也参见2016年12月30日提交的序列号为15/395,530的美国专利申请，C.Vanhoucke,“Image Classification Neural Networks”。这些论文和专利申请中对卷积神经网络的描述通过引用结合于此。注意，替代的网络架构，包括Resnet和MobileNet或其他形式的模式识别器，
可以用于执行图像处理和/或分割任务。
[0009]在当今的病理学中，根据组织样本的癌症分期(cancer staging)和诊断普遍在H&E(hematoxylin and eosin，苏木精和伊红)染色的组织标本上进行。另外，机器学习模型通常是根据H&E染色的组织标本的图像来训练的。H&E染剂是一种突出组织的整体形态的非特定染剂。相比之下，存在突出特定抗原(如肿瘤标记)的特殊染剂(包括免疫组织化学(immunohistochemical，IHC)染剂、Verhoeff染剂、Masson三色染剂等)。病理学家通常可以做出诊断，并且在H&E图像上勾勒出肿瘤，但有时需要特殊染剂，诸如IHC染色图像，以用于疑难病例。人们还相信，IHC染色(或其他特殊染色)的载玻片的使用加快了人体检查和注释过程。然而，一般来说，组织载玻片可以有H&E染色或IHC染色，但通常不会同时有这两种。因此，一种常见的解决方案是切割组织的连续切片(section)，并对它们进行染色、显微镜检查和数字图像捕获，其中，切片N用H&E染色，切片N+1用IHC染剂染色，使得IHC染色的组织在形态上足够相似(约5微米远，约为人体细胞直径的5％)而可以与H&E染色的组织图像一起使用。然而，连续切片中的形态差异仍然显著，并且可能导致以这种方式生成的真实标签和掩模的不准确。进一步增加连续切片的形态差异的另一因素在于，两个切片在处理过程期间被分开处理，并且两个组织在处理过程期间可能被稍微不同地拉伸(例如，当将新鲜切割的玻璃切片放在玻璃载体上时)。

技术实现思路

[0010]在一个方面，本公开利用组织样本的成对的染色图像和未染色图像来训练模式识别器，以识别未染色组织样本的图像中的感兴趣区域。经训练的模式识别器可以基于组织特征来检测感兴趣区域，该组织特征在组织样本染色时可能被变形、去强调、遮挡或以其他方式减弱。该训练方法包括，对于染色组织样本的图像，接收指示染色组织样本内的感兴趣区域的注释。然后，当组织样本处于未染色状态(组织样本的“未染色图像”)时，将围绕染色组织样本的图像中的感兴趣区域的掩模应用于该组织样本的图像。染色图像和未染色图像可以彼此对准。然后，未染色图像和应用于其的掩模被用作训练示例(例如，与多个附加的未染色图像和应用于其的掩模相结合)来训练模式识别器。“染色图像”可以表示经受了H&E染色/成像和/或IHC(或其他特殊)染色/成像的组织样本。
[0011]该方法可以在大量包含组织标本的载玻片上执行，从而建立带有在癌细胞或一些其他感兴趣区域(例如，淋巴、乳房或前列腺组织的样本中的癌细胞)周围的掩模的未染色图像的训练集。这样的数字图像集可以被提供给神经网络模式识别器，作为用于训练模式识别器的训练集。神经网络模式识别器可以是例如在先前引用的科学和专利文献中引用的设计。
[0012]在一个方面，提供了一种使用这种经训练的模式识别器来识别组织样本的未染色图像内的感兴趣区域的方法。
[0013]在又一方面，提供了一种包括处理单元和显示器的工作站。该显示器被配置为显示包含用例如苏木精和伊红(H+E)染剂、免疫组织化学(IHC)染剂或一些其他染色剂染色的组织标本的单个载玻片的数字放大图像。工作站配置有(多个)用户界面工具，通过用户界面工具，检查显示器上配准的数字放大图像的操作者可以对用染色剂染色本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别未染色组织样本中的感兴趣区域的方法，包括：a)提供被训练成识别组织样本的未染色放大数字图像中的感兴趣区域的模式识别器；b)获得未染色组织样本的放大数字图像；和c)用模式识别器处理未染色组织样本的放大数字图像以生成指示未染色组织样本中的感兴趣区域的注释信息。2.根据权利要求1所述的方法，其中，所述模式识别器包括人工神经网络。3.根据权利要求2所述的方法，其中，所述人工神经网络是卷积神经网络。4.根据权利要求1
‑
3中任一项所述的方法，其中，所述注释信息指示所述未染色图像中的至少一个闭合多边形区域。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述组织样本是淋巴组织的样本。6.根据权利要求1
‑
4中任一项所述的方法，其中，所述组织样本是乳房...

【专利技术属性】
技术研发人员：M斯坦普，L彭，
申请(专利权)人：威里利生命科学有限责任公司，
类型：发明
国别省市：