基于解卷积网络的细胞图像和视频的分类的系统和方法技术方案

一种用于执行细胞分类的方法，包括使用卷积稀疏编码处理来基于输入图像的集合和多个生物特异性过滤器生成多个特征图。对多个特征图中的每个特征图应用特征池化操作以产生多个图像表示。每个图像表示被分类为多个细胞类型之一。

【技术实现步骤摘要】
【国外来华专利技术】基于解卷积网络的细胞图像和视频的分类的系统和方法
本公开内容大体涉及用于执行基于解卷积网络的细胞图像和视频的分类的方法、系统和装置。所提出的技术可应用于例如各种细胞图像分类任务。
技术介绍
体内细胞成像是使用从诸如显微内镜的成像系统获取的图像对活细胞的研究。由于荧光蛋白和合成荧光团技术的最新进展，越来越多的研究工作专注于提供对细胞和组织功能的基本性质的洞察的体内细胞成像技术。体内细胞成像技术现在跨越多种模式，包括例如多光子、旋转盘显微镜、荧光、相位对比度和差分干涉对比度以及基于激光扫描共焦的装置。另外，对各种常规临床病理检查采用计算机辅助图像分析技术也越来越感兴趣。随着数字存储和处理的显微成像数据的量的不断增加，一个挑战是对这些图像进行分类，并在医疗过程中可靠地将其理解。通过这些技术获得的结果用于支持临床医生的手动/主观分析，从而产生更可靠和一致的测试结果。为此，为了解决手动测试过程的缺点，人们可以使用计算机辅助诊断(CAD)系统和方法来自动确定给定体内细胞图像中的图案。最先进的图像识别系统依赖于人为设计的特征，诸如尺度不变特征变换(SIFT)、局部二进制模式(LBP)、定向梯度直方图(HOG)和Gabor特征。尽管人为设计的特征在许多基准数据集上提供了最先进的性能，但由于其工程设计的手动性，这些特征的应用受到限制。近年来，无监督的特征学习已经显示出优于用于各种图像识别任务的人为设计的特征。对于细胞图像识别，无监督学习提供了学习特征植根于对象/图像识别处理的生物推理中的潜力。因此，希望提供用于细胞分类的系统和方法，其使用无监督的学习技术来解决当前分类系统在其分析中利用人为设计的特征的限制性。
技术实现思路
本专利技术的实施方式通过提供与基于解卷积网络的细胞图像和视频的分类相关的方法、系统和装置来解决和克服一个或多个上述缺点和不足。简而言之，细胞图像使用学习生物特异性过滤器和鉴别特征图的无监督特征学习方法以及在给出图像的特征图(featuremap，特征映射图)的情况下生成最终图像表示的三个处理单元的级联进行分类。本文讨论的各种实施方式可用于增加细胞图像的识别精度。本文提供的示例涉及脑肿瘤显微内镜图像。然而，应理解，本文所述的技术可类似应用于其他类型的医学图像或甚至是自然图像的分类。根据一些实施方式，一种用于执行细胞分类的方法，包括使用卷积稀疏编码处理来基于输入图像的集合和多个生物特异性过滤器(biologically-specificfilter)生成多个特征图。对每个特征图应用特征池化操作以产生多个图像表示。每个图像表示被分类为多种细胞类型中的一种。在一些实施方式中，逐元素绝对值函数(element-wiseabsolutefunction)可应用于特征图。在一个实施方式中，逐元素绝对函数的应用跟随有局部对比度归一化，其可包括例如对每个特征图应用局部减法运算和除法运算。在输入图像集合包括视频流的实施方式中，每个图像表示可在具有预定长度的时间窗口内使用多数表决来分类。在上述方法的一个实施方式中，输入图像例如在医疗过程期间使用显微内镜装置或数字全息显微镜装置来获取。为每个输入图像计算熵值。每个熵值表示相应图像中的纹理信息的量。在输入图像的集合中识别一个或多个低熵图像(例如，具有的熵值低于阈值的图像)。接下来，该输入图像的集合基于输入图像生成并排除低熵图像。在上述方法的一些实施方式中，无监督学习处理被用于基于多个训练图像来确定生物特异性过滤器。例如，在一个实施方式中，无监督学习处理迭代地应用求解生物特异性过滤器的代价函数(costfunction)和重建多个训练图像中的每个训练图像的最佳特征图集合。代价函数可例如使用交替投影法来求解。根据其他实施方式，一种用于在医疗过程期间执行细胞分类的第二方法，包括在医疗过程之前和期间执行的特征。在医疗过程之前，无监督学习处理用于基于训练图像确定生物逻辑特异性过滤器。在医疗过程期间，执行细胞分类处理。该处理可包括使用显微内镜装置获取输入图像以及使用卷积稀疏编码处理来基于输入图像和生物逻辑特异性过滤器生成特征图。特征池化操作被应用于特征图以产生图像表示，以及经训练的分类器用于确定与图像表示相对应的类别标签。该类别标签可以提供例如输入图像中的生物材料为恶性、良性还是健康组织的指示。一旦确定了类别标签，其可被呈现在可操作地耦接到显微内镜装置的显示器上。可在上述第二方法中添加、修改和/或重限定各种特征。例如，在一些实施方式中，在应用特征池化操作之前，将逐元素绝对值函数应用于特征图。在一些实施方式中，在应用特征池化操作之前，将局部对比度归一化应用于特征图。该局部对比度归一化可包括例如局部减法运算和除法运算对特征图的应用。根据其他实施方式，一种执行细胞分类的系统，包括显微镜装置、成像计算机和显示器。显微镜装置被配置成在医疗过程期间获取输入图像的集合。该装置可包括例如共焦激光显微内镜装置或数字全息显微镜装置。成像计算机被配置成在医疗过程期间执行细胞分类处理。该细胞分类处理可包括使用卷积稀疏编码处理以基于输入图像的集合和生物特异性过滤器生成特征图，并且对每个特征图应用特征池化操作以产生图像表示，图像表示继而被用于确定与该输入图像的集合相对应的细胞类别标签。在一些实施方式中，细胞分类处理进一步包括在应用特征池化操作之前，对每个特征图应用逐元素绝对值函数和局部对比度归一化。包含在系统中的显示器被配置成在医疗过程期间呈现输入图像的细胞类别标签。根据参照附图进行的说明性实施方式的以下详细描述，本专利技术的附加特征和优点将变得显而易见。附图说明从下面结合附图阅读的详细描述可以最佳地理解本专利技术的上述和其他方面。出于说明本专利技术的目的，在附图中示出了当前优选的实施方式，但是应理解，本专利技术不限于所公开的具体手段。附图中包括有以下各图：图1提供了根据一些实施方式的可用于执行细胞分类的基于显微内镜的系统的示例；图2提供了可在本专利技术的一些实施方式中应用的细胞分类处理的概述；图3提供了胶质母细胞瘤和脑膜瘤的一组低熵和高熵图像；图4提供了可在一些实施方式中使用的脑肿瘤数据集中的图像的图像熵分布的示例；图5提供了根据一些实施方式的可在过滤器学习期间使用的交替投影方法的示例；图6提供了根据一些实施方式的使用作为训练图像的胶质母细胞瘤图像和脑膜瘤图像集合生成的学习过滤器的示例；图7提供了可使用本文讨论的一些技术来执行的特征图提取的示例；以及图8示出了其内可实现本专利技术的实施方式的示例性计算环境。具体实施方式以下公开包括涉及与使用基于解卷积网络的无监督特征学习模型的细胞在线图像分类系统相关的方法、系统和装置的若干实施方式。如本领域所理解的，解卷积网络为基于图像的卷积分解的无监督学习框架。解卷积网络提供从输入图像学习生物相关特征的能力，由于框架的卷积重建性质，学习过的特征对于转化(translation)是不变的。参考两种细胞成像模式：共焦激光显微内镜(CLE)和数字全息显微镜(DHM)来描述用于细胞分类的各种系统、方法和装置。然而，应理解，本公开的各种实施方式不限于这些模式并且可应用于各种临床设定。另外，应理解，本文所述的技术可应用于各种类型的医学图像或甚至自然图像的分类。图1提供了根据一些实施方式的可用于执行细胞分类的本文档来自技高网...

【技术保护点】
一种用于执行细胞分类的方法，所述方法包括：利用卷积稀疏编码处理来基于输入图像的集合和多个生物特异性过滤器生成多个特征图；对所述多个特征图中的每个特征图应用特征池化操作以产生多个图像表示；以及将每个图像表示分类为多个细胞类型之一。

【技术特征摘要】
【国外来华专利技术】1.一种用于执行细胞分类的方法，所述方法包括：利用卷积稀疏编码处理来基于输入图像的集合和多个生物特异性过滤器生成多个特征图；对所述多个特征图中的每个特征图应用特征池化操作以产生多个图像表示；以及将每个图像表示分类为多个细胞类型之一。2.根据权利要求1所述的方法，进一步包括：获取多个输入图像；计算所述多个输入图像中的每个输入图像的熵值，每个熵值表示相应图像中的纹理信息的量；识别所述输入图像的集合中的一个或多个低熵图像，其中，所述一个或多个低熵图像各自与低于阈值的相应熵值相关联；以及基于所述多个输入图像生成所述输入图像的集合，其中，所述输入图像的集合排除了所述一个或多个低熵图像。3.根据权利要求2所述的方法，其中，在医疗过程期间使用显微内镜装置获取所述多个输入图像。4.根据权利要求2所述的方法，其中，在医疗过程期间使用数字全息显微镜装置获取所述多个输入图像。5.根据权利要求1所述的方法，进一步包括：使用无监督学习处理来基于多个训练图像确定所述多个生物特异性过滤器。6.根据权利要求5所述的方法，其中，所述无监督学习处理迭代地应用求解所述多个生物特异性过滤器的代价函数以及重建所述多个训练图像中的每个训练图像的最佳特征图集合。7.根据权利要求6所述的方法，其中，使用交替投影方法来求解所述代价函数。8.根据权利要求1所述的方法，进一步包括：在生成多个特征图之后，对所述多个特征图应用逐元素绝对值函数。9.根据权利要求8所述的方法，进一步包括：在对所述多个特征图应用所述逐元素绝对值函数之后，对所述多个特征图应用局部对比度归一化。10.根据权利要求9所述的方法，其中，所述局部对比度归一化包括对所述多个特征图中的每个特征图应用局部减法运算和除法运算。11.根据权利要求1所述的方法，其中，所述输入图像的集合包括视频流，并且在具有预定长度的时间窗口内利用多数表决来分类每个图像表示。12.一种用于在医疗过程期间执行细胞分类的方法，所述方法包括：在所述医疗过程之...

【专利技术属性】
技术研发人员：万韶华，孙善辉，陈德仁，波格丹·杰奥尔杰斯库，阿里·卡门，
申请(专利权)人：西门子公司，
类型：发明
国别省市：德国,DE