使用深度神经网络和测量数据的递归抽取来重建医疗图像的系统和方法技术方案

本发明专利技术题为“使用深度神经网络和测量数据的递归抽取来重建医疗图像的系统和方法”。本发明专利技术提供了用于根据抽取策略使用一个或多个深度神经网络由测量数据重建图像的方法和系统。在一个实施方案中，一种使用测量数据重建图像的方法包括：接收由成像设备采集的测量数据；选择抽取策略；使用抽取策略和一个或多个深度神经网络由测量数据产生重建图像；以及经由显示设备显示重建图像。通过抽取测量数据以形成一个或多个抽取的测量数据阵列，可将测量数据映射到图像数据的计算复杂性从O(N

【技术实现步骤摘要】
使用深度神经网络和测量数据的递归抽取来重建医疗图像的系统和方法
本文公开的主题的实施方案涉及医疗成像，并且更具体地涉及使用深度神经网络来重建医疗图像的系统和方法。
技术介绍
医疗成像系统通常用于获得受检者(例如患者)的内部生理信息。例如，医疗成像系统可用于获得患者的骨骼结构、脑部、心脏、肺部和各种其它特征的图像。医疗成像系统可包括磁共振成像(MRI)系统、计算机断层摄影术(CT)系统、正电子发射断层摄影术(PET)系统、混合PET/MR系统、X射线系统、超声系统、C型臂系统和各种其它成像模态。由医疗成像系统获得的测量数据(例如，CT成像中的X射线投影数据，或MRI中的k空间数据)不适合由人类进行视觉分析/诊断，因为其中编码的解剖信息可能是人脑不容易或不直观处理的形式。例如，在MRI成像中，测量数据(也称为K空间数据)包括图像数据的二维或三维傅里叶变换，其中K空间的每个点与对应图像的每一个像素/体素的图像强度相关，因此将K空间数据与其中编码的潜在解剖特征相关对于人类心智而言可能过于困难。因此，测量数据通常被重建以形成以更适合人类检查的形式显示解剖结构的医疗图像，从而使人类专家能够对所采集的医疗图像进行诊断等等。最近，已经实施机器学习方法来将测量数据直接映射到医疗图像数据，而不依赖于常规方法，诸如滤波反向传播(FBP)、零差算法、零填充方法、字典学习和凸集投影等。机器学习方法可实现更快速的医疗图像重建，从而实现更短的扫描时间和/或更小的扫描辐射剂量。然而，在当前方法中训练和实施能够将测量数据直接映射到图像数据的完全连接的深度神经网络所需的计算复杂性(以及因此时间/计算资源)将医疗图像的矩阵大小增加了四次方。这种“参数激增”限制了在计算受限的环境中实施此类方法或与高分辨率或三维(3D)医疗图像一起使用。因此，通常希望探究使用深度神经网络来降低医疗图像重建的计算复杂性的技术。
技术实现思路
在一个实施方案中，一种用于由测量数据重建图像的方法包括：接收由成像设备采集的测量数据；选择抽取策略；使用抽取策略和一个或多个深度神经网络由测量数据产生重建图像；以及经由显示设备显示重建图像。以这种方式，可根据抽取策略对测量数据进行降采样/抽取，从而大幅减少一个或多个深度神经网络的参数数量。通过抽取测量数据以形成一个或多个抽取的测量数据阵列，可将测量数据映射到图像数据的计算复杂性从O(N4)(其中N是测量数据的大小)降低到O(M4)(其中M是单个抽取的测量数据阵列的大小)，其中M<N，并且其中M可独立于图像分辨率进行选择。在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上
技术实现思路
是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。附图说明通过阅读以下具体实施方式并且参考附图，可以更好地理解本公开的各个方面，其中：图1示出了图像重建系统的示例性实施方案的框图；图2是示出能够实施图1的图像重建系统的成像系统的示意图；图3是示出根据抽取策略使用一个或多个深度神经网络由测量数据重建医疗图像的方法的流程图；图4是示出使用训练数据对来训练图3的一个或多个深度神经网络的示例性方法的流程图，该训练数据对包括测量数据和对应于测量数据的基准医疗图像；并且图5示出了根据本公开的示例性实施方案重建的图像与使用常规方法重建的医疗图像之间的比较。附图示出了所描述的使用深度神经网络和递归抽取策略来重建图像的系统和方法的具体方面。连同以下描述，附图示出并且解释了本文描述的结构、方法和原理。在附图中，为了清楚起见，部件的大小可以被放大或以其他方式修改。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述的部件、系统和方法的各方面。具体实施方式以下描述涉及使用神经网络通过递归流形近似由其对应的测量数据重建医疗图像的系统和方法。该方法适用于图像重建，在图像重建中测量数据通过线性变换(例如，傅里叶变换、拉东变换等)与对应的重建图像或对应的结果相关。虽然本文在医疗图像的上下文中进行讨论，但应当理解，本公开提供实质上任何成像模态的图像重建，而不限于医疗图像。试图学习高维流形关系的现有基于神经网络的方法直接受到神经网络的参数数量随着测量数据大小增加而激增的影响，使得此类方法对于在实践中观察到的数据大小不太实际。本公开通过将测量数据递归地抽取为较小的子单元(本文称为抽取的测量数据阵列)，这些子单元通过第一神经网络变换成潜在的流形嵌入(本文称为抽取的图像数据阵列)，实现直接由测量数据重建基于神经网络的图像，其中所使用/学习的神经网络参数的数量减少。之后，使用聚合网络来递归聚合抽取的图像数据阵列，以产生重建医疗图像。使用监督训练以联合方式一起学习第一神经网络和聚合网络两者的参数。本专利技术所公开的系统和方法实现将测量数据映射到图像数据的计算复杂性从O(N4)(对于测量数据大小N×N)降低到O(M4)(其中M是单个抽取的测量数据阵列的大小)，M<N，并且其中M可独立于N进行选择。与常规重建方法相比，这种参数的减少不会损害图像重建的质量。另外，由于本文所教导的神经网络包括比常规神经网络显著更少的参数，因此当前方法不受过度拟合和数据记忆的影响，该过度拟合和数据记忆通常被视为在图像重建中适用深度神经网络的障碍。由本公开提供的降低的计算复杂性使得能够使用在MRI、CT和PET临床扫描仪中生成的大三维(3D)体积上的测量数据来重建基于神经网络的图像。本公开通过将测量数据抽取到更小和/或更低维度阶数的阵列中来实现测量数据的维度降低，然后可由一个或多个更小的深度神经网络处理该阵列。一个或多个深度神经网络的减小的内存占用使该方法能够在硬件受损的设备诸如移动电话或仅CPU系统上实施。此外，本公开的方法适用于多种成像模态，包括磁共振成像(MRI)、计算机断层摄影术(CT)、正电子发射断层摄影术(PET)、PET/MR和C型臂。本文所公开的系统和方法可实现在现有计算机平台上部署基于机器学习的图像重建，而不需要专用GPU硬件。在一个实施方案中，图1所示的图像重建系统100可由图2所示的医疗成像系统200实施，以根据图3所示的方法300的一个或多个操作由测量数据来重建医疗图像。简而言之，方法300包括：接收患者的解剖区域的测量数据；根据抽取策略递归地抽取测量数据以形成多个抽取的测量数据阵列；使用一个或多个经训练的深度神经网络将该多个抽取的测量数据阵列映射到多个抽取的图像数据阵列；以及使用一个或多个经训练的聚合网络递归地聚合该多个抽取的图像数据阵列以形成重建医疗图像。图4示出了一种使用联合训练方法来训练方法300中采用的多个深度神经网络和一个或多个聚合网络的方法，其中使用相同的训练数据集一起学习深度神经网络和聚合网络的参本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收由成像设备采集的测量数据；/n选择抽取策略；/n使用所述抽取策略和一个或多个深度神经网络由所述测量数据产生重建图像；以及/n经由显示设备显示所述重建图像。/n

【技术特征摘要】
20191121 US 16/691,4301.一种方法，包括：
接收由成像设备采集的测量数据；
选择抽取策略；
使用所述抽取策略和一个或多个深度神经网络由所述测量数据产生重建图像；以及
经由显示设备显示所述重建图像。


2.根据权利要求1所述的方法，其中由所述成像设备采集的所述测量数据包括经由系统变换与所述重建图像相关的断层摄影数据。


3.根据权利要求1所述的方法，其中所述测量数据包括成像测量数据，并且其中所述成像设备包括MRI扫描仪、CT扫描仪、PET扫描仪、PET/MR扫描仪、采用阿达玛成像的光学扫描仪、光学和红外阿达玛光谱仪以及C型臂扫描仪中的一者。


4.根据权利要求1所述的方法，其中使用所述抽取策略和所述一个或多个深度神经网络由所述测量数据产生所述重建图像包括：
根据所述抽取策略抽取所述测量数据以产生至少第一抽取的测量数据阵列和第二抽取的测量数据阵列；
使用第一深度神经网络将所述第一抽取的测量数据阵列映射到第一抽取的图像数据阵列；
使用第二深度神经网络将所述第二抽取的测量数据阵列映射到第二抽取的图像数据阵列；
使用聚合网络聚合所述第一抽取的图像数据阵列和所述第二抽取的图像数据阵列以产生图像数据阵列；以及
将所述图像数据阵列重新成形以产生所述重建图像。


5.根据权利要求4所述的方法，其中所述聚合网络包括一维(1D)卷积层。


6.根据权利要求4所述的方法，其中所述第一深度神经网络包括第一完全连接层，并且其中所述第二深度神经网络包括第二完全连接层。


7.根据权利要求4所述的方法，其中所述抽取策略包括抽取因子和采样模式。


8.根据权利要求7所述的方法，其中基于所述抽取因子确定所述第一抽取的测量数据阵列和所述第二抽取的测量数据阵列中的每一者的大小。


9.根据权利要求4所述的方法，其中所述测量数据是第一测量数据，并且其中所述第一深度神经网络、所述第二深度神经网络和所述聚合网络通过以下方式进行训练：
选择包括第二测量数据和对应基准图像的训练数据对；
根据所述抽取策略抽取所述第二测量数据以产生多个抽取的测量数据阵列；
使用所述第一深度神经网络和所述第二深度神经网络将所述多个抽取的测量数据阵列映射到多个抽取的图像数据阵列；
使用所述聚合网络聚合所述多个抽取的图像数据阵列以产生预测图像数据阵列；
将所述预测图像数据阵列重新成形以产生预测图像；
通过使用损失函数比较所述预测图像和所述基准图像来计算所述预测图像的误差；以及
基于所述误差来调整所述第一深度神经网络、所述第二深度神经网络和所述聚合网络的参数。


10.根据权利要求9所述的方法，其中基于所述误差来调整所述第一深度神经网络、所述第二深度神经网络和所述聚合网络的参数包括：
反向传播所述误差经过所述聚合网络、所述第一深度神经网络和所述第二深度神经网络的每一层；以及
调整所...

【专利技术属性】
技术研发人员：哈里哈兰·瑞维享卡，达蒂什·达亚南·尚巴格，
申请(专利权)人：通用电气精准医疗有限责任公司，
类型：发明
国别省市：美国;US