用于图像分割的神经网络系统和方法技术方案

本文描述了可以使用编码器神经网络和解码器神经网络来实施的用于图像分割的神经网络系统和方法。编码器网络可以被配置为接收包括解剖结构的视觉表征的医学图像，并且生成表示医学图像的多个特征的医学图像的隐表征。解码器网络可以使用隐表征来生成用于从医学图像分割解剖结构的掩模。解码器网络可以被预训练以学习与解剖结构相关联的形状先验，并且一旦被训练，解码器网络就可以用于在编码器网络的训练期间约束编码器网络的输出。

【技术实现步骤摘要】
用于图像分割的神经网络系统和方法
本申请涉及医学成像

技术介绍
医学成像在现代健康护理服务中扮演重要角色。利用先进的成像设备，诸如超声扫描仪、X光机、医疗共振成像(MRI)扫描仪、计算机断层摄影(CT)扫描仪和正电子发射断层摄影(PET)扫描仪，可以生成有价值的图像数据来识别多个解剖结构和/或可能的异常，诸如患病的器官、囊肿、肿瘤等。由这些扫描仪生成的数据量增加了对自动图像处理和识别技术的需要。一种这样的自动技术是图像分割，其包括将图像分割成多个片段并在图像中定位感兴趣的对象作为候选以供进一步评估或复查的过程。近年来，图像分割技术在先进的机器学习方法和更深度的神经网络的辅助下取得了显著的进步。但是由于与该技术相关联的实际约束和复杂性，包括域不匹配、图像质量变化、跨人群的生理差异等，在该领域中仍然存在许多挑战。
技术实现思路
本文描述了可以使用一个或多个处理器实施的与图像分割相关联的基于神经网络的系统、方法和装置。示例系统可以包括第一编码器(encoder)神经网络和解码器(decoder)神经网络。编码器网络可以被配置为接收包括解剖结构的视觉表征的医学图像，并且通过一个或多个下采样操作和卷积运算来生成医学图像的表征(例如，隐表征(latentrepresentation))。由编码器网络生成的表征可以表示从医学图像提取的多个特征。该表征可以被提供给解码器网络，并且解码器网络可以生成用于通过一个或多个上采样操作和去卷积运算从医学图像分割解剖结构的掩模(例如，二值掩模(binarymask)或体积二值掩模)。解码器网络可以被预训练以使用训练数据来学习与解剖结构相关联的形状先验(shapeprior)，该训练数据表征解剖结构的形状分布。一旦被训练，解码器网络就可以用于在第一编码器网络的训练期间约束第一编码器网络的输出。第一编码器网络的这种训练可以迭代地执行，例如以级联方式或使用循环神经网络。在训练的当前迭代期间，预训练过的解码器网络可以基于在训练的先前迭代中由第一编码器网络生成的训练图像的表征来生成与训练图像相关联的分割掩模，并且第一编码器网络可以基于由解码器网络生成的分割掩模和与分割掩模相关联的金标准(例如，基于损失函数的梯度下降)来预测对训练图像的表征的调节。在示例中，解码器网络可以与第二编码器网络协同训练，该第二编码器网络与第一编码器网络分离。协同训练可以包括第二编码器网络接收训练图像并生成表示训练图像的多个特征的输出，解码网络基于第二编码器网络的输出来预测与训练图像相关联的分割掩模，并且第二编码器网络和解码器网络基于与分割掩模相关联的损失函数来调节它们各自的参数。在示例中，解码器网络可以在没有对应的编码器网络的情况下被预训练，并且预训练包括解码器网络接收训练图像的隐表征作为输入，解码器网络基于隐表征来预测与训练图像相关联的分割掩模，并且解码器网络调节其参数，以最小化所预测的分割掩模和与分割掩模相关联的金标准之间的损失。附图说明从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。图1是例示了本文所述的示例图像分割系统的简化框图。图2是例示了在具有对应的编码器网络的情况下训练示例解码器网络的简化框图。图3是例示了在没有对应的编码器网络的情况下训练示例解码器网络的简化框图。图4是例示了包括级联神经网络的示例分割系统的简化框图。图5是例示了包括循环神经网络的示例分割系统的简化框图。图6是例示了示例神经网络训练过程的流程图。具体实施方式在附图的各图中，通过示例而非限制性的方式例示了本公开。图1是例示了根据本文提供的一个或多个示例的被配置为执行图像分割的示例神经网络系统100的框图。神经网络系统100可以包括编码器网络102和解码器网络104。编码器网络102可以被配置为接收诸如医学图像(例如，CT或MRI扫描)的输入图像106，并且产生表示输入图像的一个或多个特征的输入图像的表征108(例如，低分辨率或低维表征)。编码器网络102可以包括一个或多个神经网络，诸如一个或多个卷积神经网络(CNN)或全卷积神经网络(FCN)。这些神经网络中的每一个神经网络可以包括多个层，并且编码器网络102可以被配置为通过借助神经网络的层对输入图像106执行一系列下采样操作和/或卷积运算来产生表征108。例如，如图1所示，编码器神经网络102可以包括一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层。各个卷积层可以包括被配置为从输入图像106提取特定特征的多个卷积核或过滤器。卷积运算之后可以是批归一化和/或非线性激活，并且可以通过池化层和/或全连接层对由卷积层提取的特征(例如，为一个或多个特征图的形式)进行下采样(例如，使用2×2窗口以及2的步幅)，以减少特征的冗余和/或尺寸(例如，按系数2减少)。编码器网络102的输出可以包括表征108，其取决于要完成的特定任务而可以是各种形式。比如，表征108可以包括表征输入图像106与后验分布之间的映射的隐空间变量Z(例如，向量)。在示例中，隐变量Z可以是固定大小的向量，并且向量的各个元素可以对应于用于类别(例如，用于图像分类)的相应概率得分、边界框(例如，用于对象检测和定位)的相应坐标集等。解码器网络104可以被配置为接收由编码器102产生的表征108，并且基于表征108来重建输入图像106(例如，恢复其细节)。解码器网络104可以生成用于从图像106中分割对象(例如，诸如器官的身体部分)的掩模110(例如，逐像素或逐体素的分割掩模)。解码器网络108可以包括一个或多个神经网络，诸如各自具有多个层的一个或多个CNN或FCN。通过这些层和一系列上采样操作和/或转置卷积(例如，去卷积)运算，解码器网络104可以解释由编码器网络102产生的表征108，并恢复图像的空间细节，例如，用于逐像素或逐体素预测。比如，解码器网络104可以包括一个或多个去池化层和一个或多个卷积层。使用去池化层，解码器网络104可以例如基于由编码器存储的池化索引对由编码器网络102产生的表征108进行上采样。然后，在对各个特征图应用批归一化以获得输入图像106的高维表征之前，可以通过卷积层(例如，使用步幅为2的3×3转置卷积核)处理上采样表征以产生多个密集特征图(例如，按系数2放大)。解码器网络104的输出可以包括分割掩模110，其用于描绘图像106的一个或多个区域(例如，一个或多个器官、背景等)。在示例中，这种分割掩模可以对应于多类逐像素/体素的概率图，其中，属于多个类中的每个类的像素或体素被分配有表示像素/体素的分类的高概率值。在二维(2D)图像的情况下，解码器网络104的输出可以表示所描绘的区域的边界点，而在三维(3D)图像的情况下，解码器网络104的输出可以表示与所描绘的区域相关联的3D网格面。神经网络系统100(例如，编码器网络102和/或解码器网络104)可以使用一个或多个处理器、一个或多个储存装置和/或其他合适的辅助装置(诸如显示装置、通信装置、输入/输出装置等)来实施本文档来自技高网...

【技术保护点】
1.一种使用一个或多个处理器实施的用于图像分割的神经网络系统，所述神经网络系统包括：/n第一编码器神经网络，其被配置为：/n接收包括解剖结构的视觉表征的医学图像；并且/n生成所述医学图像的表征，所述表征表示从所述医学图像提取的多个特征；以及/n解码器神经网络，其被配置为：/n从所述编码器神经网络接收所述医学图像的所述表征；并且/n基于所述医学图像的所述表征生成用于从所述医学图像分割所述解剖结构的掩模；/n其中，所述解码器神经网络被预训练以使用训练数据集来学习与所述解剖结构相关联的形状先验，所述训练数据集表征所述解剖结构的形状分布，并且其中，所述预训练过的解码器神经网络用于在所述第一编码器神经网络的训练期间约束所述第一编码器神经网络的输出。/n

【技术特征摘要】
20200618 US 16/905,1151.一种使用一个或多个处理器实施的用于图像分割的神经网络系统，所述神经网络系统包括：
第一编码器神经网络，其被配置为：
接收包括解剖结构的视觉表征的医学图像；并且
生成所述医学图像的表征，所述表征表示从所述医学图像提取的多个特征；以及
解码器神经网络，其被配置为：
从所述编码器神经网络接收所述医学图像的所述表征；并且
基于所述医学图像的所述表征生成用于从所述医学图像分割所述解剖结构的掩模；
其中，所述解码器神经网络被预训练以使用训练数据集来学习与所述解剖结构相关联的形状先验，所述训练数据集表征所述解剖结构的形状分布，并且其中，所述预训练过的解码器神经网络用于在所述第一编码器神经网络的训练期间约束所述第一编码器神经网络的输出。


2.根据权利要求1所述的神经网络系统，其中，所述第一编码器神经网络被迭代地训练，并且在所述训练的当前迭代期间：
所述预训练过的解码器神经网络基于由所述第一编码器神经网络在所述训练的先前迭代中生成的训练图像的表征来生成与所述训练图像相关联的分割掩模；并且
所述第一编码器神经网络基于由所述解码器神经网络生成的所述分割掩模和与所述分割掩模相关联的金标准来预测对所述训练图像的所述表征的调节。


3.根据权利要求2所述的神经网络系统，其中，所述第一编码器神经网络的所述训练包括：导出所述训练图像的初始表征，并且向所述解码器神经网络提供所述训练图像的所述初始表征，以便获得所述分割掩模的初始预测。


4.根据权利要求2所述的神经网络系统，其中，在所述神经网络系统中以级联方式布置所述第一编码器神经网络和所述解码器神经网络。


5.根据权利要求2所述的神经网络系统，其中，所述第一编码器神经网络的所述训练使用循环神经网络(RNN)来执行，并且所述训练的每次迭代与所述RNN的相应展开相对应。


6.根据权利要求1所述的神经网络系统，其中，所述解码器神经网络与第二编码器神经网络协同训练，并且所述协同训练包括：
所述第二编码器神经网络接收训练图像并且生成表示所述训练图像的多个特征的输出；
所述解码神经网络基于所述第二编码器神经网络的所述输出来预测与所述训练图像相关联的分割掩模；以及
所述第二编码器神经网络和所述解码器神经网络基于与所述分割掩模相关联的损失函数来调节它们各自的参数。


7.根据权利要求1所述的神经网络系统，其中，所述解...

【专利技术属性】
技术研发人员：孙善辉，陈平君，陈潇，陈章，陈德仁，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：上海;31