使用深度神经网络检测医学图像中的地标的方法和系统技术方案

公开了用于使用深度神经网络来检测医学图像中的解剖地标的方法和系统。对于定心在医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络。基于从所述多个图像分块中的每一个图像分块输入到经训练的深度神经网络的体素的子集，使用经训练的深度神经网络来检测医学图像中的目标地标的位置。

A method and system for detecting landmarks in medical images using a deep neural network

A method and system for the use of a deep neural network to detect anatomic landmarks in a medical image is disclosed. For each image segmentation in a plurality of image blocks of the corresponding individual element in centering on medical images, the subset of voxels in the image block is input to the trained deep neural network based on the pre determined sampling pattern. A subset of voxels is input to the trained deep neural network based on the block from each of the multiple image blocks, and the trained deep neural network is used to detect the location of the target landmark in the medical image.

【技术实现步骤摘要】
【国外来华专利技术】使用深度神经网络检测医学图像中的地标的方法和系统
技术介绍
本专利技术涉及检测医学图像中的解剖地标，并且更具体地，涉及使用深度神经网络检测医学图像中的解剖地标。深度学习模仿哺乳动物大脑的行为以便从高维输入中提取有意义的表示。数据通过网络的多个层传递。初级层提取低水平线索，诸如针对自然图像的边缘和角落。较深的层将来自之前各层的简单线索合成为较高水平的特征。以该方式，强有力的表示出现在网络的末尾处。深度网络的逐步构造防止学习过早地遭遇高复杂性的数据。若干理论研究示出了某些种类的函数（例如，指示函数）可以由深度网络表示，但是对于具有非充足深度的网络则要求指数计算。最近，已经以高精度应用深度学习以便图案化（pattern）图像中的识别问题。深度神经网络可以被用在图像相关任务中，诸如检测和分割。然而，由于评估阶段期间的高计算成本，用于深度神经网络的计算时间可能过于大，可能防止深度神经网络被应用于许多有用的应用。
技术实现思路
本专利技术提供了用于医学图像中的地标检测的方法和系统。本专利技术的实施例提供了一种用于以高效的方式将深度神经网络应用于检测3D医学图像中的3D地标的方法。在本专利技术的实施例中，对于定心在医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络。基于从所述多个图像分块中的每一个图像分块输入到经训练的深度神经网络的体素的所述子集而使用经训练的深度神经网络来检测医学图像中的目标地标的位置。本专利技术的这些和其它优点将通过参照以下详细描述和附图而对于本领域技术人员显而易见。附图说明图1图示了根据本专利技术的实施例用于使用深度神经网络检测医学图像中的地标的方法；图2图示了根据本专利技术的第一实施例用于在图像分块内采样的示例性采样图案；图3图示了根据本专利技术的第二实施例用于在图像分块内采样的示例性采样图案；图4图示了示例性AE神经网络；以及图5是能够实现本专利技术的计算机的高水平框图。具体实施方式本专利技术涉及用于使用深度神经网络检测医学图像中的地标的方法和系统。在本文描述本专利技术的实施例以便给出用于检测医学图像中的地标的方法的视觉理解。数字图像通常包括一个或多个对象（或形状）的数字表示。在本文中通常在标识和操控对象的方面来描述对象的数字表示。这样的操控是在计算机系统的存储器或其它电路系统/硬件中达成的虚拟操控。相应地，要理解到，本专利技术的实施例可以使用存储在计算机系统内的数据而在计算机系统内加以执行。本专利技术的实施例利用直接就医学图像数据而被训练的深度神经网络来学习复杂的图像图案以及基于复杂的图像图案来检测医学图像数据中的解剖地标。深度神经网络是基于机器学习的神经网络，其在输入数据和输出数据之间具有所学习的特征或变量的多个隐藏层。深度神经网络将典型地利用三个或更多个隐藏层来加以实现。深度神经网络典型地被用在直接多类分类场景中并且典型地没有应用于解剖地标检测任务，因为深度神经网络向这样的解剖地标检测任务的扩展可能在计算上是非常复杂的。在地标检测任务中，可以使用滑动窗口方案，在该滑动窗口方案中通过使某一尺寸的窗口在整个图像或整个体积上滑动来检查大量图像分块。深度神经网络直接对每一个图像分块中的图像数据进行操作，并且典型地将图像分块中的每一个体素或像素输入到深度神经网络的输入层的对应节点。出于实际原因，在各向同性1mm体积中可以使用20x20x20体素的图像分块尺寸，这导致向深度神经网络输入8000维输入向量。要理解到，本文描述的方法不限于该特定图像分块尺寸，并且可以类似地应用于任何尺寸的图像分块。例如，也可以使用50x50x50体素的图像分块尺寸。从这样的图像分块向深度神经网络输入的输入向量的大尺寸使这样的深度神经网络难以直观地用于实际应用，所述实际应用诸如地标检测。本专利技术的实施例提供了用于降低针对给定图像分块的输入向量的维度以及由此实现使用深度神经网络的地标检测任务的加速的方法。图1图示了根据本专利技术的实施例用于使用深度神经网络检测医学图像中的地标的方法。图1的方法变换表示患者的解剖结构的医学图像以便检测医学图像中的地标，诸如解剖地标。在步骤102处，接收患者的医学图像。在有利的实施例中，医学图像是3D医学图像，其还可以称为体积，但是本专利技术不限于此并且也可以类似地应用于2D医学图像或者4D（3D+时间）医学图像。一般将医学图像视为3D医学图像的本专利技术的实施例的描述将医学图像的元素指代为体素。要理解到，本文描述的实施例可以类似地应用于2D图像，并且贯穿本公开内容，术语“像素”可以替换“体素”。医学图像可以使用任何类型的成像模态来加以采集，诸如计算机断层扫描（CT）、核磁共振成像（MRI）、超声、x射线荧光、正电子发射型断层扫描（PET）、DynaCT等。医学图像可以从图像采集设备直接接收，所述图像采集设备诸如CT扫描仪、MR扫描仪、超声探针、PET扫描仪等，或者医学图像可以通过加载之前存储在计算机系统的存储器或存储装置上的医学图像或者通过经由网络传输从另一个计算机系统接收医学图像来接收。在步骤104处，基于采样图案将医学图像的多个图像分块中的每一个图像分块中的体素的子集输入到经训练的深度神经网络。在有利的实施例中，可以使用滑动窗口方案以便通过使具有某一尺寸的窗口在整个3D医学图像上滑动来评估所述多个图像分块。例如，该窗口可以定心在医学图像中的每一个体素处，使得所得到的多个图像分块包括定心在医学图像的每一个体素处的相应图像分块。在示例性实现中，每一个图像分块的尺寸对于各向同性1mm医学图像体积而言可以是20x20x20体素，但是本专利技术不限于此，并且也可以使用其它尺寸的图像分块（例如，50x50x50体素）。根据有利的实施例，代替于将特定图像分块中的所有体素馈送至经训练的深度神经网络，使用预确定的采样图案来选择每一个图像内的体素集合的子集以便输入到经训练的深度神经网络。图2和图3图示了可以用于对每一个图像分块中的体素的子集进行采样的两个不同的采样图案。要理解到，针对定心在医学图像中的相应体素处的每一个图像分块而对输入到深度神经网络的体素进行采样不同于对以下体素进行采样——针对这些体素通过深度神经网络来评估图像分块。也就是说，在有利的实施例中，医学图像中的每一个体素都由深度神经网络通过评估定心在医学图像中的每一个体素处的相应图像分块来评估。然而，对与医学图像中的体素对应的每一个图像分块都进行采样以便确定该图像分块内的要输入到深度神经网络的体素的子集。图2图示了根据本专利技术的第一实施例用于在图像分块内采样的示例性采样图案。在图2的实施例中，使用基于网格的采样图案202，其对图像分块200稀疏地采样。尽管在图2中作为二维中的正方形示出，但是在应用于3D医学图像时，图像分块200和对应的采样图案202被类似地实现为3D盒。在该情况下，图像分块200和对应的采样图案204中的每一个小正方形都表示医学图像的体素。当应用于2D医学图像时，每一个小正方形都表示2D医学图像的像素。在一种实现中，如在图2的示例中所图示的，采样图案202选择该图像分块内的每一个维度中的每隔一个体素。在图2的采样图案202中，带阴影的正方形表示由采样图案202选择来输入到深度神经网络的体素。当应用于2本文档来自技高网...

【技术保护点】
一种用于检测医学图像中的地标的方法，包括：对于定心在所述医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络；以及基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集，使用所述经训练的深度神经网络来检测所述医学图像中的目标地标的位置。

【技术特征摘要】
【国外来华专利技术】1.一种用于检测医学图像中的地标的方法，包括：对于定心在所述医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络；以及基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集，使用所述经训练的深度神经网络来检测所述医学图像中的目标地标的位置。2.权利要求1所述的方法，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案选择该图像分块内的每一个维度中的每隔一个体素来输入到所述经训练的深度神经网络。3.权利要求1所述的方法，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案在该图像分块内的每一个维度中跳过在被选择为输入到所述经训练的深度神经网络的每一个体素之间的n个体素。4.权利要求1所述的方法，其中所述预确定的采样图案是对数极坐标采样图案，所述对数极坐标采样图案在该图像分块的中心附近选择较高密度的体素来输入到所述经训练的深度神经网络以及在更远离该图像分块的中心处选择较低密度的体素来输入到所述经训练的深度神经网络。5.权利要求4所述的方法，其中所述对数极坐标采样图案将该图像分块分为多个分区，其中更接近该图像分块的中心的分区小于更远离该图像分块的分区，并且对于该图像分块的所述多个分区中的每一个分区，选择最接近该分区的矩心的体素来输入到所述经训练的深度神经网络。6.权利要求4所述的方法，其中所述对数极坐标采样图案将该图像分块分为多个分区，其中更接近该图像分块的中心的分区小于更远离该图像分块的分区，并且对于该图像分块的所述多个分区中的每一个分区，计算该分区中的体素值的平均并且将具有针对该分区的平均体素值的体素输入到所述经训练的深度神经网络。7.权利要求1所述的方法，其中所述经训练的深度神经网络是有辨别力的深度神经网络，并且基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集而使用所述经训练的深度神经网络检测所述医学图像中的目标地标的位置包括：在定心在所述多个体素中的每一个体素处的相应图像分块内，基于输入到所述经训练的深度神经网络的体素的子集集合来计算针对所述医学图像中的所述多个体素中的每一个体素的概率；以及将所述目标地标的位置检测为所述医学图像中的所述多个体素中具有最高概率的一个体素的位置。8.权利要求1所述的方法，其中所述经训练的深度神经网络是深度神经网络回归器，并且基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集而使用所述经训练的深度神经网络检测所述医学图像中的目标地标的位置包括：对于所述医学图像中的所述多个体素中的每一个体素，在定心于该体素处的相应图像分块内基于输入到所述经训练的深度神经网络的体素的子集集合来计算位移向量，所述位移向量将该体素映射到所述医学图像中的所述目标地标的预测位置；以及通过使针对所述医学图像中的所述多个体素中的每一个体素所计算的所述目标地标的预测位置成群来检测所述目标地标的位置。9.权利要求1所述的方法，其中基于在多个训练图像分块中的每一个训练图像分块内使用所述预确定的采样图案所采样的体素的相应子集，对所述经训练的深度神经网络进行训练。10.一种用于检测医学图像中的地标的装置，包括：用于针对定心在所述医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络的部件；以及用于基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集，使用所述经训练的深度神经网络检测所述医学图像中的目标地标的位置的部件。11.权利要求10所述的装置，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案选择该图像分块内的每一个维度中的每隔一个体素来输入到所述经训练的深度神经网络。12.权利要求10所述的装置，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案在该图像分块内的每一个维度上跳过在被选择为输入到所述经训练的深度神经网络的每一个体素之间的n个体素。13.权利要求10所述的装置，其中所述预确定的采样图案是对数极坐标采样图案，所述对数极坐标采样图案在该图像分块的中心附近选择较高密度的体素来输入到所述经训练的深度神经网络以及在更远离该图像分块的中心处选择较低密度的体素来输入到所述经训练...

【专利技术属性】
技术研发人员：D刘，B乔治斯库，郑冶枫，H阮，SK周，VK辛格，D科马尼丘，
申请(专利权)人：西门子保健有限责任公司，
类型：发明
国别省市：德国,DE