【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及神经网络架构的领域，特别是涉及使用神经网络架构来处理3d图像数据。
技术介绍
1、人们对图像，尤其是3d图像的自动处理越来越感兴趣。虽然很多行业都能从3d图像处理的改进中受益，但医学行业是一个特别受关注的领域。3d医学图像的普及率正在不断提高，因为它们是由越来越广泛的3d超声、ct扫描或mri扫描产生的。对这些图像的自动处理将有助于帮助临床医师评估和/或诊断成像对象，例如，用于执行临床辅助任务。
2、可以通过适当配置的神经网络架构执行的示例图像处理任务，处理3d(医学)图像，包括对象检测、对象分割、噪声去除、伪影去除、超分辨率和/或合成或预测其他成像模态结果。
3、已经开发了各种各样的神经网络架构来分析(医学)图像。最成功的架构之一是u-net架构。
4、人们一直希望提高处理3d图像的神经网络架构的性能。
5、美国专利申请us2020/058126公开了一种使用对一系列2d切片进行操作的全卷积神经网络来对3d图像进行图像分割的方法。
技术实现思路
1、本专利技术由权利要求所限定。
2、根据本专利技术的一个方面的示例，提供了一种使用神经网络架构来处理3d图像数据的计算机实施的方法。
3、所述计算机实施的方法包括：获得输入3d图像数据；执行经修改的3d图像数据生成过程，包括：针对所述输入3d图像数据的多个3d子体积中的每个，使用第一神经网络处理所述3d子体积以产生第一经修改的3d图像数据；并且针对沿所
4、所提出的方法提供了一种改进的分析或处理3d图像数据的机制，即改进的体积图像处理。所提出的方法有利于使用更大量的上下文信息来用于执行3d图像分析，通过同时纳入更广泛的数据范围以便有效处理，避免了针对神经网络处理的感受野大小的自然限制。
5、人们认识到，目前使用的许多神经网络最初都是针对二维图像处理而设计的。当转向3d时，这些神经网络开始越来越受到固有的“维数灾难”现象的影响。特别是对于3d图像的处理，这表现为网络可能的感受野大小的限制，这对处理3d图像的不同部分时可用的上下文的量施加了上限。这种受限的上下文边界限制了模型的功能，尤其是在内存或处理能力有限的处理系统中。
6、所提出的方法提高了使用神经网络处理输入3d图像数据时可用的上下文的量(此处；输出神经网络)。这提高了神经网络架构执行的图像处理任务的性能。
7、所述输入3d图像数据可以包括医学3d图像数据。由于医学3d图像数据的普遍性和临床对其的依赖性日益增加，实施例当用于处理医学3d图像数据时特别有利。
8、优选地，所述输入3d图像数据和输出神经网络处理的任何经修改的3d图像数据的分辨率相同。
9、处理输入3d图像数据以及第二经修改的3d图像数据和第一经修改的3d图像数据的步骤可以包括：针对沿着输入3d图像数据的不同于第一维度的第二维度的每个2d图像切片：从所述第一经修改的3d图像数据和所述第二经修改的3d成像数据获得对应的2d图像切片；并且使用所述输出神经网络来处理所述输入3d图像数据的所述2d图像切片，以及来自所述第一经修改的3d图像数据的至少对应2d图像切片和来自第二经修改的3d成像数据的对应切片，以产生经处理的2d图像切片，其中，所述经处理的二维图像切片的组合形成了所述神经网络架构的输出。
10、这种方法在处理沿特定维度(第二维度)的切片时，使得来自至少一个其他维度的上下文可用，特别是原本只能在特定维度的其他切片中可用的数据。
11、因此，对于特定维度中的3d图像的每个切片，来自特定维度中的其他切片的信息可以有助于所述切片的处理，因为该信息影响来自第一和第二经修改的3d图像数据的对应切片或者对其有贡献。这增加了经处理的二维图像切片的有效感受野，从而提高了整体神经网络架构的性能。
12、输入3d图像数据可以是对象的医学图像，并且沿第一维度的每个2d图像切片可以是位于对象的冠状面或矢状面的切片，并且沿第二维度的每个2d图像切片可以是位于对象的轴向面的切片。然而，实施例不限于此。
13、第一、第二和输出神经网络均可以具有u-net架构。u-net架构被认为能够提供良好或优异的(针对其他架构)图像处理能力，尤其是在医学领域。
14、在一些示例中，经修改的3d图像数据生成过程包括：针对沿输入3d图像数据的第一维度的每个2d图像切片，使用第二神经网络处理所述2d图像切片以产生第二经修改的3d图像数据；并且针对所述输入3d图像数据的多个3d子体积中的每个，使用第一神经网络处理所述3d子体积以产生第一经修改的3d图像数据。
15、相应地，处理所述输入3d图像数据以及至少所述第一经修改的3d图像数据和所述第二经修改的3d图像数据可以包括使用所述输出神经网络来处理所述输入3d图像数据以及至少所述第一经修改的3d图像数据和所述第二经修改的3d图像数据以产生所述神经网络架构的所述输出。
16、在一些实施例中，经修改的3d图像数据生成过程还包括，针对沿所述输入3d图像数据的第三维度的每个2d图像切片，使用第三神经网络处理沿所述第三维度的2d图像切片以产生第三经修改的3d图像数据；所述第三维度不同于所述第一维度；并且处理所述输入3d图像数据，以及至少所述第一经修改的3d图像数据和所述第二经修改的3d图像数据，包括使用所述输出神经网络来处理至少所述输入3d图像数据、所述第二经修改的3d图像数据和所述第三经修改的3d图像数据以产生所述神经网络架构的所述输出。
17、该方法在处理输入3d图像数据时提供了更多可用的上下文信息，有效地从第三维度提供了上下文信息。当处理输入3d图像数据以及至少第一经修改的3d图像数据和第二经修改的3d图像数据的步骤利用第二维度时，所述第三维度可以不同于第二维度。
18、可选地，处理所述输入3d图像数据以及至少所述第一经修改的3d图像数据和所述第二经修改的3d图像数据的步骤包括：针对沿所述输入3d图像数据的第二维度的每个2d图像切片：从所述第二经修改的3d图像数据获得对应的2d图像切片；从第三经修改的3d图像数据中获得对应的2d图像切片，并且使用所述输出神经网络来处理输入3d图像数据的2d图像切片以及至少来自第二经修改的3d图像数据的对应的2d图像切片和来自第三经修改的3d成像数据的对应的切片，以产生经处理的2d图像切片，其中，所述经处理的二维图像切片的组合形成了所述神经网络架构的输出。
19、处理所述输入3d图像数据以及至少所述第一经修改的3d图像数据和/或所述第二经修改的3d图像数据的步骤可以包括使用所述输出神经网络来处所述理输入3d图像数本文档来自技高网...
【技术保护点】
1.一种用于使用神经网络架构(100)来处理3D图像数据的计算机实施的方法(400)，所述计算机实施的方法包括：
2.根据权利要求1所述的计算机实施的方法，其中，处理所述输入3D图像数据以及所述第二经修改的3D图像数据和所述第一经修改的3D图像数据的步骤包括：
3.根据权利要求2所述的计算机实施的方法，其中，所述输入3D图像数据是对象的医学图像，并且沿着所述第一维度的每个2D图像切片是位于所述对象的冠状面或矢状面中的切片，并且沿着所述第二维度的每个2D图像切片是位于所述对象的轴向面中的切片。
4.根据权利要求1至3中的任一项所述的计算机实施的方法，其中，所述第一神经网络、所述第二神经网络和所述输出神经网络均具有U-net架构。
5.根据权利要求1至4中的任一项所述的计算机实施的方法，
6.根据权利要求1至5中的任一项所述的计算机实施的方法，其中，
7.根据权利要求6所述的计算机实施的方法，当从属于权利要求2时，
8.根据权利要求6或7所述的计算机实施的方法，其中，处理所述输入3D图像数据以及至少所
9.根据权利要求8所述的计算机实施的方法，当从属于权利要求2时，
10.根据权利要求6至9中的任一项所述的计算机实施的方法，其中，
11.根据权利要求6至10中的任一项所述的计算机实施的方法，其中，所述第二神经网络和所述第三神经网络是同一个神经网络。
12.根据权利要求6至10中的任一项所述的计算机实施的方法，其中，所述第二神经网络和所述第三神经网络是不同的。
13.根据权利要求1至12中的任一项所述的计算机实施的方法，其中，所述多个子体积中的每个子体积的大小不大于所述输入3D图像数据的大小的十六分之一。
14.一种包括计算机程序代码单元的计算机程序产品，所述计算机程序代码单元当在具有处理系统的计算设备上被运行时使所述处理系统执行根据权利要求1至13中的任一项所述的方法的所有步骤。
15.一种使用神经网络架构(100)来处理3D图像数据的处理系统(500)，其中，所述处理系统被配置为：
...【技术特征摘要】
【国外来华专利技术】
1.一种用于使用神经网络架构(100)来处理3d图像数据的计算机实施的方法(400)，所述计算机实施的方法包括：
2.根据权利要求1所述的计算机实施的方法，其中，处理所述输入3d图像数据以及所述第二经修改的3d图像数据和所述第一经修改的3d图像数据的步骤包括：
3.根据权利要求2所述的计算机实施的方法，其中，所述输入3d图像数据是对象的医学图像，并且沿着所述第一维度的每个2d图像切片是位于所述对象的冠状面或矢状面中的切片，并且沿着所述第二维度的每个2d图像切片是位于所述对象的轴向面中的切片。
4.根据权利要求1至3中的任一项所述的计算机实施的方法，其中，所述第一神经网络、所述第二神经网络和所述输出神经网络均具有u-net架构。
5.根据权利要求1至4中的任一项所述的计算机实施的方法，
6.根据权利要求1至5中的任一项所述的计算机实施的方法，其中，
7.根据权利要求6所述的计算机实施的方法，当从属于权利要求2时，
8.根据权利要求6或7所述的计算机实施的方法，其中，处理所述输入3d图像数据以及至少所述第一经修改的3d图像数据和所述第二经修改的3d图像数据包括...
【专利技术属性】
技术研发人员：A·格林高兹，L·戈申，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。