组织级别的全视野数字切片的基于小样品学习的图像识别制造技术

技术编号:24597496 阅读:43 留言:0更新日期:2020-06-21 03:48
提供了一种计算机实施的方法,该方法在数字图像中生成至少一种形状的感兴趣区域。该方法包括:通过图像处理引擎获得对生物样品的数字组织图像的访问;通过该图像处理引擎将该数字组织图像平铺为图像补丁集合;通过该图像处理引擎从该图像补丁集合中的每个补丁中获得多个特征,该多个特征在包括该多个特征作为维度的多维特征空间中定义补丁特征向量;通过该图像处理引擎确定该图像补丁集合中的用户选择的补丁子集的用户选择;通过将经训练的分类器应用于该补丁集合中的其他补丁的补丁向量,将这些其他补丁分类为属于或不属于与该用户选择的补丁子集相同的感兴趣分类;以及至少部分地基于该分类的结果来识别一个或多个感兴趣区域。

Image recognition based on small sample learning with tissue level full field digital slice

【技术实现步骤摘要】
【国外来华专利技术】组织级别的全视野数字切片的基于小样品学习的图像识别相关申请的交叉引用本申请要求于2017年9月12日提交的美国临时申请号62/557,737的优先权,并且涉及于2017年10月23日提交的美国申请号15/791,209和于2016年10月21日提交的美国临时申请号62/411,290,其中每个专利之前都已向美国专利商标局提交。上述申请以及在本申请中引用的所有其他文献均通过引用以其全文并入本文。引言本专利技术的技术总体上涉及识别,并且对于一些实施例,涉及图像识别。在一些实施例中,该技术涉及组织病理学、组织的显微镜检查,以用于确定组织是否病变和/或研究病变的组织。可以从身体的任何部位移除组织,这些部位包括例如乳房肿块,肠、肾、肝、子宫内膜、肺、胸、淋巴结、肌肉、神经、皮肤、睾丸、甲状腺等的标本。在一些实施例中,本公开的技术涉及识别数字图像内的感兴趣区域,例如,从背景场景中识别出前景对象,或识别数字组织病理学图像内的癌细胞。癌细胞中的癌症类型可以包括但不一定限于乳腺癌、膀胱癌、脑癌、肺癌、胰腺癌、皮肤癌、结肠直肠癌、前列腺癌、胃癌、肝癌、宫颈癌、食道癌、白血病、非霍奇金淋巴瘤、肾癌、子宫癌、胆管癌、骨癌、卵巢癌、胆囊癌、胃肠道癌、口腔癌、喉癌、眼癌、骨盆癌、脊髓癌、睾丸癌、阴道癌、外阴癌、以及甲状腺癌。感兴趣的区域/感兴趣的分类还可以更广泛,并且包括异常组织、良性组织、恶性组织、骨组织、皮肤组织、神经组织(nervetissue)、间质组织、肌肉组织、结缔组织、瘢痕组织、淋巴组织、脂肪、上皮组织、神经组织(nervoustissue)、以及血管。可以在多种环境下从受试者收集组织,包括活检、手术或尸检。从受试者移除组织之后,将组织置于固定剂(如福尔马林)中以防止组织腐烂,从而准备进行化学固定。然后将组织冷冻或放入熔融蜡中。然后切割组织切片并将其放在载玻片上。一旦将组织切片放在载玻片上,病理学家就会通过显微镜查看载玻片,以确定例如组织是否病变,并且如果病变,则确定疾病的阶段。例如,病理学家可以确定乳房肿块是否包括乳腺癌细胞,并且如果包括,则病理学家可以确定癌症的等级和/或阶段。除了是否病变之外,病理学家还可以做出关于组织的其他确定。例如,病理学家可以确定组织是否包括淋巴细胞。然而,这些确定存在一个技术问题,即,它们通常不可靠、昂贵、费时,并且通常需要由多个病理学家进行验证,以将错误确定的可能性降到最低。该技术问题的一种解决方案是使用计算机视觉通过训练神经网络(或其他机器学习系统)来确定组织特性(比如癌症的类型和/或等级),以确定组织的数字图像是否病变,并且确定病变的类型(例如,乳腺癌)和/或阶段(例如,阶段3)。然而,这种方法存在一个技术问题,例如,它需要针对每种疾病的大量训练数据(例如,将需要各种癌症的大量阳性和阴性训练补丁)。本专利技术的一些实施例解决了上述技术问题,并提供了一种使用神经网络(更具体地,卷积神经网络)和支持向量机并结合有限的输入(比如来自病理学家或其他人或实体)来确定组织是否可能病变的技术解决方案。附图说明专利或申请文件包含至少一张彩色附图。本专利或专利申请公开的带有一个或多个彩色附图的副本将根据要求并且并支付必要的费用后由官方提供。图1展示了可以实施本专利技术实施例的一个或多个方面的分布式计算机系统的框图;图2展示了可以实施本专利技术实施例的一个或多个方面的电子装置的框图;图3展示了可以实施本专利技术实施例的一个或多个方面的电子装置的架构图;图4A展示了可以实施本专利技术的实施例的一个或多个方面的一般深度学习架构;图4B展示了可以实施本专利技术实施例的一个或多个方面的卷积神经网络的层;图4C展示了可以实施本专利技术实施例的一个或多个方面的装置的硬件架构图;图5A至图5D展示了由可以实施本专利技术实施例的一个或多个方面的电子装置执行的过程;图6A展示了根据本专利技术实施例的一个或多个方面的两类对象;图6B展示了神经网络对图6A中的对象的分类结果;图6C展示了根据本专利技术实施例的一个或多个方面的两类对象;图6D展示了神经网络对图6C中的对象的分类结果;图7A至图7C展示了简图,示出了将由实施本专利技术实施例的一个或多个方面的电子装置处理的多个组织补丁;图8展示了根据本专利技术实施例的一个或多个方面的具有径向基函数(RBF)内核的一类支持向量机(SVM);图9A至图9B展示了根据本专利技术实施例的一个或多个方面的二类SVM;图10A展示了根据本专利技术实施例的一个或多个方面的在通过二类SVM进行分析之后的阳性补丁的表示;图10B展示了示出由实现本专利技术实施例的一个或多个方面的电子装置生成的围绕感兴趣区域的凸包的图;并且图11A至图11I展示了在图形用户界面上示出的由实施本专利技术实施例的一个或多个方面的电子装置生成的载玻片图像。尽管参考以上附图描述了本专利技术,但是附图旨在是说明性的,并且本专利技术设想了处于本专利技术的精神内的其他实施例。具体实施方式现在将在下文中参考附图更全面地描述本专利技术,这些附图以说明的方式示出了可以实践本专利技术的特定实施例。然而,本专利技术可以被实施为许多不同的形式并且不应被解释为局限于此处提出的这些实施例;相反,提供这些实施例使得本公开将是详尽且完整的,并且将向本领域技术人员充分地传达本专利技术的范围。除了别的以外,本专利技术可以实施为装置或方法。因此,本专利技术可以采取完全硬件实施例、完全软件实施例、或组合软件方面和硬件方面的实施例的形式。因此,以下详细描述不应被视为限制性的。在整个说明书和权利要求中,除非上下文另外明确指出,否则以下术语具有本文明确关联的含义。本文使用的短语“在一个实施例中”,“在实施例中”等不一定指相同的实施例,尽管可以如此。此外,本文使用的短语“在另一实施例中”不一定指不同的实施例,尽管可以如此。因此,如下所述,在不脱离本专利技术的范围或精神的情况下,可以容易地组合本专利技术的各个实施例。另外,如本文所使用,除非上下文另外明确指出,否则术语“或”是包含性的“或”运算符,并且等同于术语“和/或”。除非上下文另外明确指出,术语“基于”不是排他的,并且允许基于未描述的附加因素。另外,在整个说明书中,“一个(a)”、“一种(an)”和“该(the)”的含义包括复数引用。“在…中”的含义包括“在…中”和“在…上”。要注意的是,本文的描述不旨在作为广泛的概述,并且因此,为了清楚和简洁起见,可以简化概念。本申请中提到的所有文献均通过引用全文并入本文。本申请中描述的任何过程可以以任何顺序执行,并且可以省略该过程中的任何步骤。过程也可以与其他过程或其他过程的步骤进行组合。图1展示了可以在其中实践本专利技术的环境的一个实施例的部件。并不是所有的部件都需要用于实践本专利技术,并且在不脱离本专利技术的精神或范围的情况下,可以对部件的布置和类型进行改变。如图所示,系统100包括一个或多个局域网(“LAN”)/广域网(“WAN”)112、一个或多个无线网络110、一个或多个有线或本文档来自技高网...

【技术保护点】
1.一种在数字图像中生成至少一种形状的感兴趣区域的计算机实施的方法,该方法包括:/n通过图像处理引擎获得对生物样品的数字组织图像的访问;/n通过该图像处理引擎将该数字组织图像平铺为图像补丁集合;/n通过该图像处理引擎从该图像补丁集合中的每个补丁中获得多个特征,该多个特征在包括该多个特征作为维度的多维特征空间中定义补丁特征向量;/n通过该图像处理引擎确定该图像补丁集合中的用户选择的补丁子集的用户选择;/n通过将经训练的分类器应用于该补丁集合中的其他补丁的补丁向量,将这些其他补丁分类为属于或不属于与该用户选择的补丁子集相同的感兴趣分类;以及/n至少部分地基于该分类的结果来识别一个或多个感兴趣区域。/n

【技术特征摘要】
【国外来华专利技术】20170912 US 62/557,7371.一种在数字图像中生成至少一种形状的感兴趣区域的计算机实施的方法,该方法包括:
通过图像处理引擎获得对生物样品的数字组织图像的访问;
通过该图像处理引擎将该数字组织图像平铺为图像补丁集合;
通过该图像处理引擎从该图像补丁集合中的每个补丁中获得多个特征,该多个特征在包括该多个特征作为维度的多维特征空间中定义补丁特征向量;
通过该图像处理引擎确定该图像补丁集合中的用户选择的补丁子集的用户选择;
通过将经训练的分类器应用于该补丁集合中的其他补丁的补丁向量,将这些其他补丁分类为属于或不属于与该用户选择的补丁子集相同的感兴趣分类;以及
至少部分地基于该分类的结果来识别一个或多个感兴趣区域。


2.如权利要求1所述的方法,其中,平铺该数字组织图像的步骤包括创建具有统一大小和统一形状的图像补丁。


3.如权利要求2所述的方法,其中,具有统一大小和统一形状的这些图像补丁包括小于或等于1,000像素乘以1,000像素的方形补丁。


4.如权利要求3所述的方法,其中,这些方形补丁小于或等于400像素乘以400像素。


5.如权利要求3所述的方法,其中,这些方形补丁小于或等于256像素乘以256像素。


6.如权利要求1所述的方法,其中,平铺该数字组织图像的步骤包括创建具有非统一的大小和形状的图像补丁。


7.如权利要求1所述的方法,其中,该图像补丁集合包括非重叠补丁。


8.如权利要求1所述的方法,其中,该经训练的分类器包括支持向量机。


9.如权利要求8所述的方法,其中,该支持向量机包括二类支持向量机。


10.如权利要求1所述的方法,其中,该经训练的分类器包括支持向量机,并且用于训练该支持向量机的训练补丁是由第二支持向量机生成的。


11.如权利要求10所述的方法,其中,该第二支持向量机是通过包括该用户选择的补丁子集的训练补丁来训练的一类支持向量机。


12.如权利要求10所述的方法,其中,该支持向量机是二类支持向量机,并且该第二支持向量机是通过包括该用户选择的补丁子集的训练补丁来训练的一类支持向量机。


13.如权利要求1所述的方法,其中,获得这些特征包括将每个补丁提交给执行特征提取处理的经训练的图像处理神经网络,该特征提取处理已经在具有各种已知对象的图像上进行了训练。


14.如权利要求13所述的方法,其中,该神经网络是卷积神经网络。


15.如权利要求13所述的方法,其中,该神经网络已经在至少1,000,000个图像上进行了训练,并且这些各种已知对象包括属于已知对象的至少1,000种不同分类的对象。


16.如权利要求13所述的方法,其中,这些已知对象中的大多数不是生物样品的数字组织图像。


17.如权利要求15所述的方法,其中,这些已知对象中的大多数不是生物样品的数字组织图像。


18.如权利要求13所述的方法,其中,所有这些已知对象都不是生物样品的数字组织图像。


19.如权利要求13所述的方法,其中,所有这些已知对象都与该用户选择的补丁子集不在同一个感兴趣分类中。...

【专利技术属性】
技术研发人员:B宋M贾伯
申请(专利权)人:南托米克斯有限责任公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1