使用神经网络集成断层扫描图像重建和放射组学的系统和方法技术方案

使用一个或多个网络和/或算法执行计算机断层扫描(CT)筛查、诊断或其他图像分析任务，以集成互补的断层扫描图像重建和放射组学或将断层扫描原始数据直接映射到机器学习框架中的诊断结果。训练一个或多个重建网络，以从CT投影数据的训练集合重建断层扫描图像。训练一个或多个放射组学网络以从断层扫描图像和相关联的训练诊断数据中提取特征。将网络/算法集成到端到端网络中并进行训练。断层扫描数据(例如CT投影数据)的集合和来自个体的其他相关信息被输入到端到端网络，并基于由端到端网络提取的特征生成针对个体的可能的诊断。所述系统和方法可以应用于CT投影数据、MRI数据、核成像数据、超声信号、光学数据、其他类型的断层扫描数据，或其组合。

The system and method of integrating tomographic image reconstruction and radiology with neural network

【技术实现步骤摘要】
【国外来华专利技术】使用神经网络集成断层扫描图像重建和放射组学的系统和方法相关申请的交叉引用本申请要求2017年6月16日提交的美国临时申请62/520,682的权益，该申请全文以引用方式并入，如在本文中公开一样。
技术介绍
根据世界卫生组织的数据，癌症是全球死亡的主要原因，仅肺癌在2015年就导致169万人死亡。在美国，肺癌占癌症相关死亡人数的近三分之一。美国国家肺癌筛查试验(NLST)报告，连续三年每年进行低剂量CT(LDCT)肺癌筛查，可使与肺癌相关的死亡人数减少20％。虽然这是一个积极的结果，但筛查提出了主要的临床挑战。例如，LDCT上出现假阳性肺结节的频率很高，放射科医生通常难以可靠地区分恶性肺结节和良性肺结节，导致需要进行后续CT扫描，且有时是侵入性的(肺活检)和昂贵的(PET-CT)测试。一个密切相关的挑战是在肺外癌症患者中，在基线CT对不确定的肺结节的恶性/迁移可能的检测不准确。这些病例通常需要在3、6、9、12和24个月进行后续CT，PET-CT或组织活检以表征这些肺结节。此外，据预测，LDCT将需要在5年内提供274亿美元的医疗保险预算，相当于每避免一个额外肺癌死亡约240,000美元(假设LDCT筛查的依从率为75％)。相对于针对乳腺癌的数字化乳腺X线摄影筛查，LDCT的费用大约高三倍。放射组学(radiomics)已被提出作为评估筛查LDCT时检测到的肺结节的有前景的方法。放射组学概念背后的关键思想是图像包含的信息多于视觉上能够感知的信息，并且可以提取隐藏的信息。因此，尽管目前的放射组学技术从根本上受到限制，但放射组学具有通过降低成本和加快诊断肺癌的时间来转变筛查LDCT的潜力。
技术实现思路
所公开的主题的一些实施例涉及用于执行筛查、诊断或其他基于图像的分析任务的系统。在一些实施例中，所述系统包括与计算机设备耦合的非暂时性计算机存储介质，所述计算机设备包括一个或多个处理器，所述一个或多个处理器配置为执行在所述非暂时性计算机存储介质上编码的一个或多个计算机程序，用于对个体进行检查。在一些实施例中，所述一个或多个计算机程序包括经训练的端对端网络，包括重建模块，所述重建模块包括一个或多个重建算法，例如，滤波反投影(FBP)类型算法或迭代压缩感测算法，和/或网络，经训练用于从个体的断层扫描数据的集合重建强调一个或多个图像特征(例如边界、纹理等)的断层扫描图像，以及与重建模块集成的放射组学模块，所述放射组学模块包括一个或多个经训练用于提取断层扫描图像中的特征的放射组学网络以对个体进行诊断性检查。在一些实施例中，所述系统包括网络训练模块，所述网络训练模块用断层扫描训练数据进行训练以将它们映射到相关联的训练诊断数据、真实断层扫描样本图像、人类注释的目标区域分割训练图像以及特征标记的目标区域训练图像。在一些实施例中，所述系统将断层扫描训练数据直接映射到最终诊断结果，而无需明确涉及中间图像，即，绕过重建的图像。在一些实施例中，断层扫描训练数据包括CT投影数据、MRI数据、核成像数据、超声信号、光学数据等，或其组合。在一些实施例中，所述一个或多个重建网络包括经训练以将断层扫描数据重建为粗糙图像的第一网络，所述第一网络包括基于网络的FBP，其包括至少CNN层和反投影层，所述CNN层包括一个或多个滤波器；以及经训练以细化粗糙图像并输出断层扫描图像的第二网络，所述第二网络包括CNN层，所述CNN层包括一个或多个滤波器或稀疏连接层，或其组合。在一些实施例中，所述第二网络包括具有鉴别器的第一GAN，所述第一GAN用至少一些真实的断层扫描样本图像进行训练。在一些实施例中，所述一个或多个放射组学网络包括经训练以识别断层扫描图像中的目标区域并输出目标区域分割输出图像的第三网络，所述第三网络包括CNN层或稀疏连接层或其组合，以及第四网络，所述第四网络经训练以提取目标区域和相关联的诊断数据中的特征，以输出特征提取的断层扫描图像，并针对断层扫描数据的集合识别可能的诊断，所述第四网络包括第四CNN层，所述第四CNN层包括一个或多个滤波器或稀疏连接层或其组合。在一些实施例中，第三网络包括具有鉴别器的第二GAN，所述第二GAN利用至少一些人类注释的目标区域分割训练图像进行训练。在一些实施例中，所述第四网络包括具有第三鉴别器的第三GAN，所述第三GAN首先利用来自第三网络的目标区域分割输出图像以无监督的方式训练，以去除噪声和/或伪像，并基于提取的特征学习分类，随后以受监督的方式使用特征标记的目标区域训练图像、诊断训练数据或其组合进行训练，以从目标区域提取特征。所公开的主题的一些实施例涉及执行计算机断层扫描(CT)筛查、诊断或其他基于CT的图像分析任务的方法。在一些实施例中，所述方法包括提供来自目标个体的CT投影数据的训练集合和相关联的训练诊断数据。在一些实施例中，所述方法包括训练一个或多个重建网络和/或使用一个或多个重建算法以从CT投影数据的训练集合重建断层扫描图像。在一些实施例中，所述方法包括训练一个或多个放射组学网络以从断层扫描图像和相关联的训练诊断数据中提取特征以诊断性地检查目标个体。在一些实施例中，所述方法包括将一个或多个重建网络/算法和一个或多个放射组学网络集成到端到端网络中。在一些实施例中，所述方法包括训练端到端网络。在一些实施例中，所述方法包括将来自个体的至少CT投影数据集合输入至端到端网络中。在一些实施例中，所述方法包括基于由端到端网络提取的特征为个体生成可能的诊断。在一些实施例中，所述一个或多个重建网络包括经训练以从CT投影数据集合重建粗糙图像的第一网络和经训练以细化粗糙图像并输出断层扫描图像的第二网络。在一些实施例中，所述第一网络为基于网络的滤波反投影(FBP)，其包括至少卷积神经网络(CNN)层和反投影层，所述CNN层包括一个或多个滤波器。在一些实施例中，所述第二网络至少包括具有一个或多个滤波器的CNN层，以及具有鉴别器的第一生成式对抗网络(GAN)，所述GAN确定重建的断层扫描图像和真实的断层扫描样本图像之间的损失。在一些实施例中，所述一个或多个放射组学网络包括经训练以识别断层扫描图像中的目标区域并输出目标区域分割输出图像的第三网络，以及经训练以提取目标区域和相关联的诊断数据中的特征的第四网络，以输出特征提取的断层扫描图像，并从CT投影数据的集合中识别可能的诊断。在一些实施例中，其中所述第三网络包括至少CNN或稀疏连接层，以及具有鉴别器的第二GAN，所述第二GAN确定目标区域分割输出图像与人类注释的目标区域分割训练图像之间的损失。在一些实施例中，所述第四网络包括CNN层，所述CNN层包括一个或多个滤波器；以及具有鉴别器的第三GAN，所述第三GAN确定特征提取的断层扫描图像与特征标记的目标区域训练图像之间的损失。在一些实施例中，所述第四网络用目标区域分割输出图像以无监督和/或迁移学习方式训练，以去除噪声和/或伪像，并基于提取的特征学习分类。在一些实施例中，在无监督的训练和/或迁移学习之后，所述第四网络以有监督的方式进行微调。在一些实施例中，相关联的训练诊断数据包括病理结果、组织学发现、临床报告、实验室本文档来自技高网...

【技术保护点】
1.一种执行计算机断层扫描(CT)筛查、诊断或其他基于CT的图像分析任务的方法，包括：/n提供来自目标个体的CT投影数据的训练集合和相关联的训练诊断数据；/n训练一个或多个重建网络，以从CT投影数据的训练集合重建断层扫描图像；/n训练一个或多个放射组学网络以从断层扫描图像和相关联的训练诊断数据中提取特征以诊断性地检查目标个体；/n将所述一个或多个重建网络和所述一个或多个放射组学网络集成到端到端网络；/n训练所述端到端网络；/n将至少来自个体的CT投影数据的集合输入至所述端到端网络中；以及/n基于由所述端到端网络提取的特征为所述个体提供可能的诊断。/n

【技术特征摘要】
【国外来华专利技术】20170616 US 62/520,6821.一种执行计算机断层扫描(CT)筛查、诊断或其他基于CT的图像分析任务的方法，包括：
提供来自目标个体的CT投影数据的训练集合和相关联的训练诊断数据；
训练一个或多个重建网络，以从CT投影数据的训练集合重建断层扫描图像；
训练一个或多个放射组学网络以从断层扫描图像和相关联的训练诊断数据中提取特征以诊断性地检查目标个体；
将所述一个或多个重建网络和所述一个或多个放射组学网络集成到端到端网络；
训练所述端到端网络；
将至少来自个体的CT投影数据的集合输入至所述端到端网络中；以及
基于由所述端到端网络提取的特征为所述个体提供可能的诊断。


2.根据权利要求1所述的方法，其中，所述一个或多个重建网络包括：
第一网络，经训练以将所述CT投影数据的集合重建为粗糙图像；和
第二网络，经训练以细化所述粗糙图像并输出断层扫描图像。


3.根据权利要求2所述的方法，其中，所述第一网络为基于网络的滤波反投影(FBP)，其包括至少卷积神经网络(CNN)层和反投影层，所述CNN层包括一个或多个滤波器。


4.根据权利要求2所述的方法，其中，所述第二网络包括至少CNN层，所述CNN层包括一个或多个滤波器，以及第一生成式对抗网络(GAN)，所述第一生成式对抗网络具有鉴别器，确定重建的断层扫描图像和真实的断层扫描样本图像之间的损失。


5.根据权利要求1所述的方法，其中，所述一个或多个放射组学网络包括：
第三网络，经训练以识别断层扫描图像中的目标区域并输出目标区域分割输出图像；以及
第四网络，经训练以提取目标区域中的特征和相关联的诊断数据以输出特征提取的断层扫描图像并从所述CT投影数据的集合识别可能的诊断。


6.根据权利要求5所述的方法，其中，所述第三网络包括至少CNN和第二GAN，所述第二GAN具有鉴别器，确定所述目标区域分割输出图像与人类注释的目标区域分割训练图像之间的损失。


7.根据权利要求5所述的方法，其中，所述第四网络包括CNN层，所述CNN层包括一个或多个滤波器，以及第三GAN，所述第三GAN具有鉴别器，确定所述特征提取的断层扫描图像与特征标记的目标区域训练图像之间的损失。


8.根据权利要求7所述的方法，其中，所述第四网络用目标区域分割输出图像以无监督方式进行训练以去除噪声和/或伪像，以及通过迁移学习基于提取的特征来学习分类，或其组合。


9.根据权利要求8所述的方法，其中，在无监督的训练、迁移学习或其组合之后，所述第四网络以有监督的方式进行微调。


10.根据权利要求1所述的方法，其中，所述相关联的训练诊断数据包括病理结果、组织学发现、临床报告、实验室测试、遗传概况、基因组测定、蛋白质组测定，或其组合。


11.一种用于执行筛查、诊断或其他基于图像的分析任务的系统，包括：
与计算机设备耦合的非暂时性计算机存储介质，所述计算机设备包括一个或多个处理器，所述一个或多个处理器配置为执...

【专利技术属性】
技术研发人员：王革，M·卡尔拉，J·哈恩，U·克鲁格，丛文相，单洪明，
申请(专利权)人：伦斯勒理工大学，
类型：发明
国别省市：美国;US