用于大视场显微扫描中嵌入图像的系统和方法技术方案

提供了用于获取并且组合通过显微镜所捕获的图像的方法和系统。该方法包括：利用成像设备从显微镜捕获新图像；将新图像与先前图像进行比较以提供新图像的估计位置；基于新图像的估计位置，识别在存储器中所存储的扫描的相邻关键帧；将新图像与所识别的关键帧进行比较，以确定新图像距相邻关键帧的相对位移；以及基于新图像的相对位移来确定新图像的位置。所述系统包括：显微镜；耦接到显微镜用于通过该显微镜来捕获图像的相机；以及耦合到相机的计算设备，所述计算设备包括：存储器；以及用于并且适于执行在此所描述的方法的处理器。

【技术实现步骤摘要】
【国外来华专利技术】用于大视场显微扫描中嵌入图像的系统和方法
技术介绍
在许多临床研究中，获取大视场显微图像是非常有益的。利用自动显微镜[1]或手动载物台显微镜[2]提出了许多技术。在该文献中，扫描被称为覆盖样本的大视场的大图像。扫描可以由许多较小的图像(诸如图1A中)组成，或者是诸如图1B中的样本的统一图像。在图1A中，较小的图像被称为关键帧。关键帧的相对位置是先验已知的。这可以利用自动扫描系统或基于图像的技术[2]来执行。在不失普遍性的情况下，对于该文献的其余部分，假设扫描由许多具有相同大小的关键帧组成。附图说明现在将仅作为示例，参考附图来描述本公开的各个实施例。图1A是包括许多较小图像的样本的扫描的示意图；图1B是包括单个统一图像的样本的扫描的示意图；图2是具有嵌入扫描的扫描的示意图；图3是根据本公开的实施例的系统的示意图；图4A是利用具有小于原始扫描的放大倍率的物镜所捕获的新图像的第一扫描的示意图；图4B是利用具有大于原始扫描的放大倍率的物镜所捕获的新图像的第一扫描的示意图；图5是示出根据本公开的实施例的定位图像的过程的流程图；图6是示出根据本公开的实施例的用于确定帧的定位信息过程的流程图；图7是根据本公开的实施例的穷举搜索的各种迭代中的关键帧的选择的示意图；图8是校正相对放大的过程的示意图；图9A和图9B示出了根据本公开的实施例的多物镜扫描的用户界面；图10是示出根据本公开的实施例用于手动记录Z-堆叠的系统设置的示意图；图11是根据本公开的实施例的用于查看Z-堆叠的用户界面的示意图；图12是根据本公开的实施例的用于观看扫描的用户界面的示意图；以及图13是根据本公开的实施例的用于查看显示Z-堆叠的位置的扫描的用户界面的示意图。具体实施方式引言问题定义鉴于常见的使用情况，对技术人员或者临床医生而言以更高分辨率观察样本的一些部分，或者探索z-轴上的一部分可能是有益的。换句话说，将利用不同放大倍率或深度所获取的其他图像嵌入到主扫描中将是有益的。该图像是通过在空间上移动载物台获取到的图像集合，或者通过改变显微镜的焦点获得的。对于本文的其余部分，前者被称为多物镜扫描，后者被称为Z-堆叠(Z-stack)。需要注意的是，这些功能的先决条件是在大视场扫描中通过任意物镜所获取的图像的准确定位。图2显示利用高倍放大物镜和Z-堆叠所捕获的嵌入式扫描的扫描。如图2所示，原始扫描可以包含利用不同的物镜放大率所捕获的另一扫描，或者可以具有Z-堆叠，其是利用不同焦点/深度所捕获的图像。上述特征，连同图像的实时采集，被提供在具有机动化载物台的显微镜中，但在手动载物台显微镜中不可用。本文中所描述的一些实施例对于共同提供这些特征的系统进行评价。在本公开文本中，假设从安装在手动显微镜上的相机获取图像流，从而提供样本的实时数字图像。相机的最新数字图像以下被称为当前图像帧。用户可以控制手动载物台和显微镜的聚焦。用户在切换物镜时通知系统。然后，系统自动定位已捕获的扫描中的实时图像。当他/她意图改变焦点以获取Z-堆叠时，用户也可以通知系统。图3示出系统硬件的总览。如图3所示，将相机安装在向处理计算机流送实时图像的手动显微镜上。图像被实时处理，并且在显示器上执行可视化。本公开文本将覆盖在此所公开的实施例的三个方面。首先，扫描中图像的定位，在“多物镜定位”节中呈现。第二个是用于在原始扫描中拼接和嵌入以不同物镜进行的这种扫描的所提出系统，在“多物镜扫描”节中呈现。第三个是用于存储和管理嵌入在扫描中的Z-堆叠的所提出系统，如“Z-堆叠”节所示。多物镜定位鉴于扫描，多物镜定位被定义为通过不同于在重建扫描中所使用的物镜的物镜所捕获的图像流的定位。图4A和图4B示出了两种不同的场景，其中利用较大放大倍率或较小放大倍率来捕获图像(用条带示出)。在图4A中，当前图像帧通过具有小于原始扫描的放大倍率的物镜来捕获的。在图4B中，当前图像帧通过具有大于原始扫描的放大倍率的物镜来捕获的。图像与扫描的一个或多个关键帧重叠。图像最初具有大小(sx，sy)，但可以通过相对放大倍率进行缩放到原始扫描。例如，如果原始扫描是通过10倍物镜捕获的，并且当前图像帧是通过40倍物镜捕获的，则可以将图像缩放0.25倍。在时间t捕获的当前帧的位置相对于原始扫描表示为Pt。通过一系列图像匹配来执行定位。在下一节中，说明匹配过程。两帧的注册特征检测对于当前图像帧执行特征检测。这些特征用于图像注册(链接)。特征检测的结果是一组特征，其中每个特征可以包括一组属性：·图像坐标中的位置(x，y)；·尺度和方位等几何属性；·用于描述特征周围的图像模式的图像属性。匹配两帧通过匹配其特征来执行帧的匹配。为此目的提出了许多技术[2][3]。假设在两个图像中检测到一长列特征，该节包含两个步骤(帧被称为参考和匹配帧)：1.对于参考帧中的每个特征，找到匹配帧中最接近的特征。最接近的特征应该具有最相似的属性。2.基于匹配的特征共同找到位移。跟踪、链接和定位的定义鉴于图像流，本文中的术语跟踪是指将当前帧匹配到先前帧。假设匹配导致位移d，则当前帧的位置被估计为pt＝pt-1+d。如果当前帧被成功匹配到先前帧，则称为被跟踪。在此所使用的术语“链接”是指当前图像帧与关键帧的匹配。如果当前图像帧被成功匹配到至少一个关键帧，则将该当前图像帧称为被链接。在此所使用的术语“定位”是指基于跟踪和链接来确定当前帧位置是否正确。如果当前图像帧在扫描中的位置是正确的，则将该当前图像帧称为被定位。定位过程定位过程是当前图像帧在利用不同目镜放大倍率获取到的关键帧内进行定位的过程，该过程在图5中示出并且概述如下：1.对于当前图像帧进行预处理，并提取特征。2.根据该帧和关键帧的放大倍率的差异，对于新帧中的特征的位置(xi，yi)和比例si进行缩放。假设新帧具有放大倍率mn，并且关键帧具有放大倍率mk。因此，缩放位置和比例如下：3.并且o估计4.链接。接下来，将当前的图像帧匹配到相邻的关键帧，以校正其位置，并消除跟踪导致的不准确匹配的累积可能性。在多物镜匹配的情况下，链接可能不总是成功的。因此，跟踪信息与链接信息组合以确定当前帧的位置。该过程在下一节中描述。将跟踪与链接结合用于准确定位基于链接和跟踪信息来估计当前图像帧的位置。如果当前图像帧被链接或跟踪，并且先前的图像帧被定位，则当前图像帧被定位。该逻辑示于图6中，图6是描述将跟踪与链接信息组合用于当前图像帧的准确定位的示意图。物镜光学特性的差异可能会导致图像的变化。这些变化可能导致物镜之间图像的匹配失败。为了提高定位算法的鲁棒性，可以将跟踪作为图像定位的替代方法添加到算法中。穷举搜索如果当前图像帧在前一步骤中未定位，则算法进入穷举搜索状态。在此步骤中，关键帧根据其与当前图像帧的距离进行排序。与之前的步骤相反，在这一点上，不是将这些关键帧的所有而只是一部分都链接到帧。这是为了防止穷举搜索阻碍系统的实时性能。假设n个关键帧根据其与当前图像帧的距离进行排序：K0，K1，...，Kn-1。在穷举搜索中第一次，只处理前m个元素(K0，...，Km-1)。如果链接不成功，对于下一帧，处理第二m个元素(Km，...，K2m-1)(参见图7)等等。图7示出了当前图像帧未定位在其相邻关键帧内的情况下的穷举搜索；所有关键本文档来自技高网...

【技术保护点】
一种系统，包括：显微镜；相机，所述相机耦接到所述显微镜用于通过所述显微镜来捕获图像；以及计算设备，所述计算设备耦合到所述相机，所述计算设备包括：存储器；以及处理器，所述处理器用于并适于：从所述相机获取新图像；将所述新图像与先前图像进行比较以提供所述新图像的估计位置；基于所述新图像的估计位置，识别在所述存储器中所存储的扫描的相邻关键帧；将所述新图像与所识别的关键帧进行比较，以确定所述新图像距相邻关键帧的相对位移；以及基于所述新图像距相邻关键帧的相对位移来确定所述新图像的位置。

【技术特征摘要】
【国外来华专利技术】2014.08.18 US 62/038,4991.一种系统，包括：显微镜；相机，所述相机耦接到所述显微镜用于通过所述显微镜来捕获图像；以及计算设备，所述计算设备耦合到所述相机，所述计算设备包括：存储器；以及处理器，所述处理器用于并适于：从所述相机获取新图像；将所述新图像与先前图像进行比较以提供所述新图像的估计位置；基于所述新图像的估计位置，识别在所述存储器中所存储的扫描的相邻关键帧；将所述新图像与所识别的关键帧进行比较，以确定所述新图像距相邻关键帧的相对位移；以及基于所述新图像距相邻关键帧的相对位移来确定所述新图像的位置。2.根据权利要求1所述的系统，其中所述处理器还用于：确定所述新图像是否已经被定位；以及如果该图像尚未被定位，则执行穷举搜索以确定所述新图像的位置。3.根据权利要求2所述的系统，其中通过在每次迭代中选择部分关键帧并且比较所述新图像与所选择的部分关键帧，在迭代中执行所述穷举搜索。4.根据权利要求1所述的系统，还包括耦接到所述计算设备的显示器；其中所述处理器还用于在所述显示器上呈现所述扫描和所述新图像。5.根据权利要求1所述的系统，其中所述处理器还用于将所述新图像嵌入到现有扫描中。6.根据权利要求1所述的系统，其中所述处理器还用于将z-堆叠嵌入到现有扫描中，所述z-堆叠是在不同深度所捕获的样本的一组图像。7.根据权利要求6所述的系统，其中所述处理器还用于通过允许随机访问z-堆叠中的每个图像的方式来压缩所述z-堆叠。8.根据权利要求1...

【专利技术属性】
技术研发人员：塞巴斯蒂安·拉勒芒，托马斯·勒盖吕·德雷维翁，林立恒，曼·赫尔曼·洛霍克，阿卜廷·拉苏利安，
申请(专利权)人：维斯科技有限公司，
类型：发明
国别省市：加拿大,CA