使用机器学习正则化器的图像重建制造技术

本申请公开一种用于使用迭代重建技术来重建目标对象的图像的系统和方法，其可以包括作为正则化滤波器(100)的机器学习模型。接收使用成像模态生成的针对目标对象的图像数据集，并且使用迭代重建技术重建目标对象的图像，该迭代重建技术包括作为正则化滤波器(100)的机器学习模型，该机器学习模型部分地用于重建目标对象的图像。在接收图像数据之前，可以使用具有与目标对象相关联的图像数据的学习数据集训练机器学习模型，其中学习数据集提供用于训练机器学习模型的对象数据，并且机器学习模型可以被包括在迭代重建技术中，以将对象特征引入正在重建的目标对象的图像中。

Image reconstruction using machine learning regularizer

【技术实现步骤摘要】
【国外来华专利技术】使用机器学习正则化器的图像重建相关申请本申请要求2017年9月22日提交的美国临时申请No.62/562,165和2018年1月31日提交的美国临时申请No.62/624,663的优先权，上述申请通过引用并入本文。
技术介绍
断层摄影(temography)是通过使用各种穿透波对3D对象进行切片或切面成像。断层摄影重建是一种用于重建对象3D图像的数学过程。例如，X射线计算机断层摄影可以从多个投影射线照片产生图像。断层摄影重建是一种多维逆问题，涉及从有限数量的投影中得出特定对象的估计值的挑战。数据不足导致重建伪影，该重建伪影的严重性因特定问题、所使用的重建方法和要成像的对象而异。机器学习已经被用于数据不足的断层摄影问题中。然而，与机器学习相关联的挑战是机器学习模型可能引入来自用于训练机器学习模型的学习数据集的偏差。过去，在断层摄影重建的后处理中使用机器学习以改善重建，结果要么接受由机器学习模型引入的训练数据偏差，要么限制可以使用机器学习的积极性。
技术实现思路
嵌入式机器学习模型可以用作迭代重建方法中的正则化器，以便限制训练数据引入的偏差，同时充分利用成像的对象以提高图像重建的质量。本文描述了一种改善图像重建质量的框架，该框架通过保持与观测的数据的一致性来限制学习数据集的偏差。机器学习模型可以作为正则化器嵌入到重建过程中，以引入可能成像的对象的预期特征和特性，和/或以减少由重建方法引入的伪影。目标函数的最小化使解与观测结果保持一致，并限制了机器学习正则化器引入的偏差，从而提高了重建的质量。该技术可以用作通用框架，该通用框架可以应用于可能受到数据不足限制的任何图像重建问题(例如MR、CT、断层合成、超声等)。因此，已经相当广泛地概述了本专利技术的更重要的特征，以便可以更好地理解下面的详细描述，并且可以更好地理解本专利技术对本领域的贡献。通过下面结合附图和权利要求书对本专利技术的详细描述，本专利技术的其他特征将变得更加清楚，或者可以通过本专利技术的实践而获悉本专利技术的其他特征。附图说明图1是根据本技术的示例的嵌入在迭代重建技术中的深度学习正则化器(NN)的示意图。图2是示出根据本技术的示例的被配置为使用包括作为正则化器的机器学习模型的迭代重建技术的示例成像系统的框图。图3是示出根据本技术的示例的包括与成像系统通信的计算环境的示例系统的框图。图4是示出根据本技术的另一示例的在图像重建过程中使用学习数据集训练机器学习模型并且测试该机器学习模型作为正则化器的示例的流程图。图5是示出根据本技术的另一示例的用于训练多个机器学习模型的示例方法的流程图，这些机器学习模型可以在迭代重建技术的不同阶段作为正则化器被并入。图6是示出根据本技术的另一示例的用于使用包括作为正则化滤波器的机器学习模型的迭代重建技术来重建图像和/或减少由目标对象的重建方法引入的伪影的示例方法的流程图。图7是示出根据本技术的示例的计算设备的示例的框图，该计算设备可以用于执行使用迭代重建技术来重建目标对象的图像的方法。图8是与本技术的示例实施方式相关联的来自源CT数据集的随机采样，以描绘数据集中的变化。图9示出与本技术的示例实施方式相关联的使用CNN作为正则化器的断层合成过程的下腰部区域和上胸部区域的视觉结果。图10示出与本技术的示例实施方式相关联的使用CNN作为正则化器的断层合成过程的上胸部区域的视觉结果。图11是示出与本技术的示例实施方式相关联的相对于地面实况(groundtruth)的互相关的折线图。提供这些附图是为了说明本专利技术的各个方面，并且无意于在尺寸、材料、配置、布置或比例方面限制范围，除非权利要求另有限制。具体实施方式尽管充分详细地描述了这些示例性实施例以使本领域技术人员能够实践本专利技术，但是应当理解，可以实施其他实施例并且可以在不脱离本专利技术的精神和范围的情况下对本专利技术进行各种改变。因此，本专利技术的实施例的以下更详细的描述并非旨在限制所要求保护的本专利技术的范围，而是仅出于说明而非限制的目的提供本专利技术，以描述本专利技术的特征和特性，阐明本专利技术的最佳操作方式，并且使本领域技术人员充分地实践本专利技术。因此，本专利技术的范围仅由所附权利要求书限定。定义在描述和要求保护本专利技术时，将使用以下术语。除非上下文另外明确规定，否则单数形式“一个”、“一种”和“该/所述”包括复数指示物。因此，例如，对“正则化器”的引用包括对一个或多个这样的特征的引用，并且对“使……经受”的引用是对一个或多个这样的步骤的引用。如本文所使用的，术语“大约”用于提供与给定术语、度量或值相关联的弹性和不精确性。本领域技术人员可以容易地确定特定变量的弹性的程度。然而，除非另有说明，否则术语“大约”通常表示弹性小于2％，并且通常小于1％，在某些情况下小于0.01％。如本文中所使用的，“正则化器”是指在不适定的逆问题中用于引入先验信息并且将解偏向一类预期解的模型。断层摄影重建中的典型正则化器是密度约束(例如，正约束)和平滑度约束(例如，总变差)，尽管可以使用其他约束。如本文所使用的，“机器学习”是指基于建模过程的输入和输出来标识和开发复杂的多参数的过程模型的方法。如本文所使用的，“深度学习正则化器”或“丰富的先验正则化器”是指多参数正则化器，其足够复杂以便预测解剖结构形状并且使非自然重建伪影最小化。大多数情况下，这些正则化器包含10个以上、20个以上或30个以上的参数，并且在某些情况下，其包含100个以上、1,000个以上或1,000,000个以上的参数。丰富的先验正则化器通常可以使用经由机器学习训练的非线性卷积神经网络。如本文中所使用的，经由机器学习训练的丰富的先验正则化器被称为机器学习模型。如本文中所使用的，为了方便，可以在公共列表中呈现多个项目、结构元素、组成元素和/或材料。然而，这些列表应被解释为列表中的每个成员都被单独标识为单独且唯一的成员。因此，在没有相反的指示的情况下，不应仅基于他们在公共组中出现而将此列表中的单个成员解释为相同列表的任何其他成员的事实上的等同物。如本文中所使用的，术语“……中的至少一个”旨在与“……中的一个或多个”同义。例如，“A、B和C中的至少一个”明确地包括仅A、仅B、仅C以及每一个的组合。浓度、量和其他数值数据可以在本文中以范围格式呈现。应当理解，这样的范围格式的使用仅是为了方便和简洁，并且应该灵活地解释为不仅包括明确记载为范围极限的数值，而是还包括该范围内涵盖的所有单独的数值或子范围，就好像每个数值和子范围都被明确记载一样。例如，大约1至大约4.5的数值范围应解释为不仅包括明确记载的1至大约4.5的极限值，而是还包括单独的数字(诸如2、3、4)和子范围(诸如1至3、2至4等)。相同的原理适用于仅记载一个数值的范围，例如“小于大约4.5”，应将其解释为包括所有以上记载的值和范围。此外，无论所描述的范围的广度或特性如何，都应采用这种解释。在任何方法或过程权利要求中记载的任何步骤可以以任何顺序执行，本文档来自技高网...

【技术保护点】
1.一种成像系统，其包括：/n成像模态，其被配置为生成目标对象的图像数据集；以及/n至少一个存储器设备，其包括指令，所述指令在由至少一个处理器执行时使所述成像系统使用迭代重建技术重建所述目标对象的图像，所述迭代重建技术包括作为正则化器以重建所述目标对象的所述图像的机器学习模型，/n其中，在生成所述图像数据集之前，使用学习数据集训练所述机器学习模型，以定义对象特征和/或去除重建伪影，所述学习数据集包括与要使用所述成像模态成像的所述目标对象有关的图像数据，并且/n其中所述机器学习模型被包括在所述迭代重建技术中，以将所述对象特征引入到正在重建的所述目标对象的所述图像中和/或从正在重建的所述目标对象的所述图像中去除重建伪影。/n

【技术特征摘要】
【国外来华专利技术】20170922 US 62/562,165;20180131 US 62/624,6631.一种成像系统，其包括：
成像模态，其被配置为生成目标对象的图像数据集；以及
至少一个存储器设备，其包括指令，所述指令在由至少一个处理器执行时使所述成像系统使用迭代重建技术重建所述目标对象的图像，所述迭代重建技术包括作为正则化器以重建所述目标对象的所述图像的机器学习模型，
其中，在生成所述图像数据集之前，使用学习数据集训练所述机器学习模型，以定义对象特征和/或去除重建伪影，所述学习数据集包括与要使用所述成像模态成像的所述目标对象有关的图像数据，并且
其中所述机器学习模型被包括在所述迭代重建技术中，以将所述对象特征引入到正在重建的所述目标对象的所述图像中和/或从正在重建的所述目标对象的所述图像中去除重建伪影。


2.根据权利要求1所述的系统，其中所述机器学习模型是卷积神经网络即CNN，或者其中所述机器学习模型使用欧几里得损失函数被训练为回归网络。


3.根据权利要求2所述的系统，其中用于训练所述CNN的所述学习数据集包括重建的图像体积和地面实况图像体积的二维切片即2D切片。


4.根据权利要求2所述的系统，其中用于训练所述CNN的所述学习数据集包括重建的图像体积和地面实况图像体积的三维体积即3D体积。


5.根据权利要求2所述的系统，其中在用于重建所述目标对象的所述图像的重建过程的迭代之后，将所述CNN的输出作为输入提供到所述重建过程的下一次迭代。


6.根据权利要求1所述的系统，其中所述迭代重建技术包括在所述迭代重建技术的不同阶段用作正则化器的多个机器学习模型。


7.根据权利要求1所述的系统，其中所述迭代重建技术包括至少一个非机器学习正则化滤波器，所述至少一个非机器学习正则化滤波器用作重建所述目标对象的所述图像的一部分。


8.根据权利要求1所述的系统，其中所述成像模态包括以下各项中的至少一项：计算机断层摄影扫描仪即CT扫描仪、锥形束CT扫描仪、断层合成系统或超声成像系统。


9.根据权利要求1所述的系统，其中所述至少一个存储器设备包括指令，所述指令在由所述至少一个处理器执行时使所述成像系统：
将使用所述成像模态生成或获得的所述图像数据集发送到至少一个远程服务器，所述图像数据集是测量的成像数据、处理后的测量的成像数据，或重建的成像数据中的至少一个，其中所述图像数据集被包括在所述学习数据集中，并且所述机器学习模型使用所述学习数据集进行训练；
接收使用包括所述图像数据集的所述学习数据集训练的所述机器学习模型；并且
将所述机器学习模型并入所述迭代重建技术中。


10.一种计算机实施的方法，其包括：
接收使用成像模态生成的目标对象的图像数据集；并且
使用迭代重建技术重建所述目标对象的图像，所述迭代重建技术包括作为正则化滤波器的机器学习模型，所述机器学习模型部分地用于重建所述目标对象的所述图像，
其中在接收所述图像数据之前，使用学习数据集训练所述机器学习模型，所述学习数据集具有与要使用所述成像模态成像的所述目标对象相关联的图像数据，所述学习数据集提供用于训练所述机器学习模型的对象数据，并且
其中所述机器学习模型被包括在所述迭代重建技术中，以将对象特征引入到正在重建的所述目标对象的所述图像中和/或从正在重建的所述目标对象的所述图像中去除重建伪影。


11.根据权利要求10所述的方法，进一步包括在执行所述迭代重建技术期间，使用由所述成像模态生成的所述图像数据更新所述机器学习模型，其中在所述迭代重建技术的一个或多个阶段期间，使用所述图像数据训练所述机器学习模型。


12.根据权利要求10所述的方法，其中训练所述机器学习模型进一步包括：
使用模拟器和图像体积生成重建...

【专利技术属性】
技术研发人员：C·阿特里亚，N·拉美什，D·亚森科，
申请(专利权)人：尼维医疗公司，
类型：发明
国别省市：美国;US