基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统技术方案

本公开的实施例包括一种方法、设备和计算机可读介质，涉及接收图像数据以检测组织病变，通过至少一个第一卷积神经网络传递图像数据，分割图像数据，融合分割的图像数据，以及检测组织病变。测组织病变。

【技术实现步骤摘要】
【国外来华专利技术】基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统
[0001]相关申请的交叉引用
[0002]本申请要求于2019年10月31日向美国专利商标局提交的美国专利申请第16/670,321号的优先权，在先申请的全部内容通过引用并入本文。

技术介绍

[0003]近来，已经提出了不同的计算机辅助诊断(Computer
‑
Aided Diagnosis,CAD)系统，以从医学图像中自动或半自动地分类、检测和分割组织病变。提出的这种系统可以帮助医生增加他们的处理量并提高诊断质量。一些全自动系统也可以单独工作，以进行预诊断或提供第二意见。这种系统还可以降低医疗成本并改善患者的健康。
[0004]传统的CAD系统是基于人类设计的算法和规则设计的。这种系统提供了简单的解释但性能有限。最近，CAD系统已经包括集成机器学习模型，例如，卷积神经网络(Convolutional Neural Networks，CNN)或其它深度学习方法。机器学习模型需要大量的训练。然而，一旦存在足够的训练数据，具有集成的机器学习模型的CAD系统可以给出专家级诊断，并且有时甚至可以胜过人类专家。
[0005]然而，大多数现有CAD系统直接采用为非临床任务(例如，手写检测或照片分类)设计的机器学习模型。目前还没有设计用于在显微镜下检测组织病变的CAD系统。
[0006]医生需要来自CAD系统的实时响应。然而，难以实时处理具有高分辨率的大图像。
[0007]此外，医生通常首先以小幅度(例如4x幅度)检查组织图像，然后切换到更高的变焦透镜(例如10x、20x和40x幅度)，从而以更高的细节水平(分辨率尺度)检查组织图像。诊断通常基于不同尺度的融合信息。现有系统无法融合不同尺度的信息进行诊断。
[0008]当整块组织太大而不能在显微镜下单次检查时，医生必须来回移动切片以检查其中的不同部分。没有现有系统旨在融合这种全局信息。
[0009]通常，CNN处理的图像基于局部特征，这对于组织图像而言可能是混乱的。例如，细胞核的暗斑是癌细胞的特征。然而，由于处理的差异，一些切片的斑点可能整体较暗。然而，通过仅查看局部信息，医生难以对这些切片做出正确的决定。
[0010]此外，典型的CNN对图像中物体的大小敏感，而同一对象(例如，细胞核)的大小以不同的幅度变化。提出的解决这个问题的一种方案是为每个分辨率训练单独的CNN模型。然而，这将显著地增加模型的大小和计算成本。提出的另一种方案是融合不同幅度的训练样本，并针对不同分辨率训练一个模型。然而，这种方法会降低CNN的性能。
[0011]本文公开的内容解决了上述问题，并提出了一种从显微图像检测细胞级组织病变的有效系统。此外，本公开提出了一种修改的CNN，以在进行计算时实现全局信息的集成。此外，这种修改的CNN利用单个模型独立地处理不同的分辨率，以便降低计算成本而不降低性能。

技术实现思路

[0012]本文公开了一种自动检测显微镜图像上的病变的CAD系统。系统可以将放大的组织图像(例如，MSI或WSI)作为输入，并自动处理图像，以识别图像上的病变或异常组织(例如癌细胞)。系统可分割病变区域并将病变分类为亚型。与传统系统不同，这里公开的系统可以分层处理图像，并且能够融合来自不同尺度的信息。所公开的系统也符合医生和病理学家的普遍做法：通过切换镜头的放大倍数来检查不同尺度的组织。
[0013]根据实施例的一个方面，提供了一种检测组织病变的方法，包括：从用户界面接收图像数据，所述图像数据包括原始图像数据；通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，分析所述第二图像分割数据，从而检测存在的组织病变。
[0014]根据实施例的另一个方面，所述图像数据可以包括多个分辨率尺度，并且，所述第一卷积神经网络特征可以包括为所述多个分辨率尺度中的每个分辨率尺度独立计算的特征。
[0015]根据实施例的另一个方面，所述第一图像分割数据可以是课程分割数据，其中，所述课程分割数据可以小于所述原始图像数据，并且所述课程分割数据的每个像素可以指示所述原始图像数据中的对应区域的类别。
[0016]根据实施例的另一个方面，所述第一图像分割数据可以是基于单个图像计算的。
[0017]根据实施例的另一个方面，所述第一图像分割数据可以通过传递来自不同图像视图和尺度的全局特征进行加权，以创建多层感知。
[0018]根据实施例的另一个方面，所述通过所述至少一个第一卷积神经网络传递所述图像数据，所述通过所述至少一个第二卷积神经网络传递所述第一卷积神经网络特征和所述第一图像分割数据，以及所述分析可以是实时执行的。
[0019]根据实施例的另一个方面，所接收到的图像数据可以来自显微镜图像、或全切片图像、或所述显微镜图像和所述全切片图像。
[0020]根据实施例的另一个方面，所述方法可以进一步包括将检测到的组织病变分类为亚型。
[0021]根据实施例的另一个方面，所述方法可以进一步包括显示分析结果。
[0022]根据实施例的另一个方面，所述分析结果可以显示在计算机上或通过增强现实显示。
[0023]根据实施例的另一个方面，提供了一种装置，包括：至少一个存储器，用于存储计算机程序代码；以及，至少一个处理器，用于访问所述至少一个存储器，根据所述计算机程序代码进行操作，所述计算机程序代码包括：接收代码，用于使得所述至少一个处理器从用户界面接收图像数据，所述图像数据包括原始图像数据；第一传递代码，用于使得所述至少一个处理器通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；第二传递代码，用于使得所述至少一个处理器通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图
像分割数据；以及，分析代码，用于使得所述至少一个处理器分析所述第二图像分割数据，从而检测存在的组织病变。
[0024]根据实施例的另一个方面，所述图像数据可以包括多个分辨率尺度，并且，所述第一卷积神经网络特征可以包括为所述多个分辨率尺度中的每个分辨率尺度独立计算的特征。
[0025]根据实施例的另一个方面，所述第一图像分割数据可以是课程分割数据，其中，所述课程分割数据可以小于所述原始图像数据，并且所述课程分割数据的每个像素可以指示所述原始图像数据中的对应区域的类别。
[0026]根据实施例的另一个方面，所述第一传递代码可以进一步用于基于单个图像计算第一图像分割数据。
[0027]根据实施例的另一个方面，所述第二传递代码可以进一步用于通过传递来自不本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种检测组织病变的方法，其特征在于，所述方法包括：从用户界面接收图像数据，所述图像数据包括原始图像数据；通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，分析所述第二图像分割数据，从而检测存在的组织病变。2.根据权利要求1所述的方法，其特征在于，所述图像数据包括多个分辨率尺度，并且，所述第一卷积神经网络特征包括为所述多个分辨率尺度中的每个分辨率尺度独立计算的特征。3.根据权利要求1所述的方法，其特征在于，所述第一图像分割数据是小于所述原始图像数据的课程分割数据，并且所述课程分割数据的每个像素指示所述原始图像数据中的对应区域的类别。4.根据权利要求1所述的方法，其特征在于，所述第一图像分割数据是基于单个图像计算的。5.根据权利要求1所述的方法，其特征在于，所述第一图像分割数据通过传递来自不同图像视图和尺度的全局特征进行加权，以创建多层感知。6.根据权利要求1所述的方法，其特征在于，所述通过所述至少一个第一卷积神经网络传递所述图像数据，所述通过所述至少一个第二卷积神经网络传递所述第一卷积神经网络特征和所述第一图像分割数据，以及所述分析是实时执行的。7.根据权利要求1所述的方法，其特征在于，所接收到的图像数据来自显微镜图像、或全切片图像、或所述显微镜图像和所述全切片图像。8.根据权利要求1所述的方法，其特征在于，所述方法进一步包括将检测到的组织病变分类为亚型。9.根据权利要求1所述的方法，其特征在于，所述方法进一步包括显示分析结果。10.根据权利要求9所述的方法，其特征在于，所述分析结果显示在计算机上或通过增强现实显示。11.一种装置，其特征在于，包括：至少一个存储器，用于存储计算机程序代码；以及，至少一个处理器，用于访问所述至少一个存储器，根据所述计算机程序代码进行操作，所述计算机程序代码包括：接收代码，用于使得所述至少一个处理器从用户界面接收图像数据，所述图像数据包括原始图像数据；第一传递代码，用于使得所述至少一个处理器通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生...

【专利技术属性】
技术研发人员：陈翰博，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：