针对用于自动病理检测的神经网络的多任务深度学习方法技术

一种针对用于自动病理检测的神经网络的多任务深度学习方法，包括以下步骤：接收(S1)用于第一图像识别任务的第一图像数据(I)；接收(S2)用于第二图像识别任务的第二图像数据(V)；其中，所述第一图像数据(I)为第一数据类型，所述第二影像数据(V)为第二数据类型，所述第二数据类型不同于所述第一数据类型；通过对所述第一图像数据(I)进行标注来确定(S3)第一经标注图像数据(I

【技术实现步骤摘要】
【国外来华专利技术】针对用于自动病理检测的神经网络的多任务深度学习方法


[0001]本专利技术涉及一种针对用于病理自动检测的神经网络的多任务深度学习方法、设备、计算机程序和计算机可读介质。

技术介绍

[0002]在当前的临床实践中，对自动化的需求变得越来越重要，以具有成本效益或让放射科医师从繁琐的日常任务中解脱出来。这些任务中的一项是评估X射线采集。在X射线合成上检测特定疾病可以被认为是一项合理解释任务。目前，基于深度学习方法的神经网络等机器学习算法在不同的应用领域越来越多地用于此类目的。神经网络的训练需要大量带注释的训练数据。他们的成功很大程度上基于该广泛的训练数据库。因此，大多数传统的深度学习方法成功地使用了来自计算机视觉领域的预训练网络。

技术实现思路

[0003]因此可能需要一种针对用于自动病理检测的神经网络的改进的学习方法。
[0004]本专利技术的目标通过独立权利要求的主题得以解决，其中，在从属权利要求中并入了另外的实施例。应当注意，以下描述的本专利技术的方面同样地应用多任务深度学习方法、设备、计算机程序以及计算机可读介质。
[0005]根据一方面，提供了一种针对用于自动病理检测的神经网络的多任务深度学习方法。所述方法包括以下步骤：针对第一图像识别任务接收第一图像数据，针对第二图像识别任务接收第二图像数据，其中，所述第一图像数据为第一数据类型并且所述第二图像数据为第二数据类型，所述第二数据类型不同于所述第一数据类型，通过对所述第一图像数据进行标注来确定第一经标注图像数据，通过对所述第二图像数据进行合成和标注来确定第二经标注合成图像数据，并且基于接收到的第一图像数据、接收到的第二图像数据、所确定的第一经标注图像数据和所确定的第二经标注合成图像数据来训练神经网络，其中，所述第一图像识别任务和所述第二图像识别任务与以下的相同的解剖区域有关，其中，相应的图像数据取自要在相应的图像数据中识别的相同病理和/或与要在相应的图像数据中识别的相同解剖病理有关。
[0006]优选地，所述第一图像数据和所述第二图像数据均从患者的相同区域、尤其是从患者的胸部区域确定。
[0007]优选地，所述神经网络通过多任务深度学习算法进行训练。
[0008]如本文中所使用的术语“合成”包括用于数据选择、几何变换(包括前向投影)、用于数据的转换的物理模拟和/或深度学习方法与用于调整尺寸和配准的图像处理技术相组合的应用的方法。经由前向投影确定合成图像数据(即用于从CT图像生成数字重建射线照片)，优选地包括射线投射和抛雪球算法技术。具体而言，使用射线投射(RayCasting)沿着从假想X射线源到探测器的路径对CT图像的衰减系数进行积分，以近似X射线图像形成的原理。换言之，将第二数据类型的第二图像数据转换为第一图像数据的第一数据类型，或至少
类似的数据类型，其中，第一图像数据和第二图像数据可以相互、特别是同时处理。优选地，各图像数据类型在像素分辨率和/或合成几何形状方面是相似的。
[0009]如本文中所使用的术语“多任务深度学习方法”包括允许在该方法的应用期间使用除最终使用的输入数据之外的所有不同类型的输入数据的深度学习方法。通过在相关任务之间共享表示，可以在原始任务上改进模型。多任务深度学习优选地包括硬参数共享或软参数共享。硬参数共享包括在所有任务之间共享中间层，同时保留几个特定于任务的输出层。软参数共享包括调节模型参数之间的距离以收敛参数，其中，对于每个任务，都存在具有自己的参数的自己的模型。
[0010]优选地，基于接收到的第一图像数据、接收到的第二图像数据、所确定的第一经标注图像数据和所确定的第二经标注合成图像数据来训练神经网络包括同时在接收到的第一图像数据、接收到的第二图像数据、所确定的第一经标注图像数据和所确定的第二经标注合成图像数据上训练神经网络。
[0011]因此，通过合成(特别是前向投影)第二图像数据，合成具有与所述第一图像数据相似的数据类型的图像数据，所述多任务深度学习方法可以同时处理所述第一图像数据和所述第二图像数据。
[0012]术语“经标注图像数据”和“标注”也可以称为“注释数据”和“注释”。
[0013]用于训练神经网络的标签信息可以从放射科医师根据识别的疾病和临床测量结果获得，例如使用放射学报告和/或分割，特别是半自动分割。因此，标注信息由放射科医师基于提供的第一图像数据和/或第二图像数据手动确定。或者，标注信息是从放射学报告中自动导出的，例如通过使用自然语言处理算法或图像分割算法。在替代实施例中，所述第二图像数据被自动标注。基于那些自动确定的标注，导出经标注合成图像数据的标注信息。换言之，在合成第二图像数据时，将自动确定的第二图像数据的标注信息合成为经标注合成图像数据的标注信息。
[0014]如本文中所使用的术语“数据类型”涉及成像模态，例如计算机断层摄影成像和/或磁共振成像，和/或不同的采集协议。
[0015]第二图像识别任务也可以描述为辅助图像识别任务，其中，用于生成训练数据的第一图像识别任务与后面应用的图像识别任务相同，并且用于生成训练数据的第二图像识别任务仅类似于后面应用的想象任务。
[0016]优选地，第一图像识别任务和第二图像识别任务可以几乎相同，例如胸部病变的检测，然而辅助图像识别任务也可以是特定于模态的，例如在合成图像中不直接可见的界标的精确定位。
[0017]例如，如果应该在肺中检测到肺气肿，在X射线图像中，这样的肺气肿是几乎不可检测的。然而，在计算机断层扫描图像中，肺气肿相对容易检测。因此，在计算机断层扫描图像中，可以容易地标注肺气肿。因此，前向投影到X射线图像的图像类型的计算机断层扫描图像可以为机器学习算法提供图像数据中肺气肿的高质量真实情况。
[0018]因此，除了必须解决的医学问题的数据的类型之外，模型训练还考虑了不同数据的任务。
[0019]因此，可以确定在训练过程中具有更高质量的经标注图像数据。
[0020]因此，不仅可以采用不同的数据源，而且还可以针对不同但相关的图像识别任务
优化神经网络。
[0021]因此，可以改进神经网络的训练数据，并且从而改进用于自动病理检测的神经网络的学习方法。
[0022]在一个优选实施例中，所述方法包括以下步骤：通过将第二图像数据合成为第一数据类型和/或第一维度来确定合成的第二图像数据，并通过对合成的第二图像数据进行标注来确定第二经标注合成图像数据。优选地，向前投影包括。
[0023]优选地，合成，特别是前向投影，包括选择数据的子集、用于数据的转换的物理模拟和/或深度学习方法的应用，例如循环GAN与用于调整尺寸和配准的图像处理技术相组合。
[0024]确定合成图像数据优选地包括从3D图像数据中，尤其是3D计算机断层扫描图像的3D图像数据中，选择单个切片，并通过插值和/或通过人工正向合成来针对2D图像(尤其是2D X射线图像)以正确的尺寸调整它们的尺寸。
[0025]对于分类任务，可以直接使用经标注的图像数据，其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种针对用于自动病理检测的神经网络的多任务深度学习方法，包括以下步骤：接收(S1)用于第一图像识别任务的第一图像数据(I)；接收(S2)用于第二图像识别任务的第二图像数据(V)；其中，所述第一图像数据(I)为第一数据类型，并且所述第二图像数据(V)为第二数据类型，所述第二数据类型不同于所述第一数据类型；通过对所述第一图像数据(I)进行标注来确定(S3)第一经标注图像数据(I
L
)，并且通过对所述第二图像数据(V)进行合成和标注来确定第二经标注合成图像数据(I
SL
)；基于接收到的第一图像数据(I)、接收到的第二图像数据(V)、所确定的第一经标注图像数据(I
L
)和所确定的第二经标注合成图像数据(I
SL
)来训练(S4)所述神经网络；其中，所述第一图像识别任务和所述第二图像识别任务与相同的解剖区域有关，在所述解剖区域中，相应的图像数据取自要在相应的图像数据中识别的相同病理和/或与要在相应的图像数据中识别的相同病理有关。2.根据权利要求1中的任一项所述的方法，其中，所述方法包括以下步骤：通过将所述第二图像数据(V)合成为所述第一数据类型和/或第一维度来确定合成第二图像数据(I
S
)；并且通过对所述合成第二图像数据(I
S
)进行标注来确定所述第二经标注合成图像数据(I
SL
)。3.根据权利要求1中的任一项所述的方法，其中，所述方法包括以下步骤：通过对所述第二图像数据(V)进行标注来确定第二经标注图像数据；并且通过将所述第二经标注图像数据合成为所述第一图像数据(I)的所述第一数据类型和/或维度来确定所述第...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：