基于3D全卷积神经网络与多任务学习的肺叶分割方法技术

本发明专利技术公开了一种基于3D全卷积神经网络与多任务学习的肺叶分割方法，属于肺叶自动分割领域。本发明专利技术包括如下步骤：准备肺叶相关数据并进行标定；对原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均进行预处理，去除冗余的背景信息；基于多任务学习构建3D全卷积神经网络；使用预处理后的标定的肺叶相关数据与合成的学习误差训练所述构建的3D全卷积神经网络；使用训练好的3D全卷积神经网络对输入的三维肺叶CT图像进行肺叶分割，输出预测的肺叶标签。本发明专利技术能够接受原始大小的肺叶CT图像数据并自动、快速地产生准确的肺叶分割结果。

【技术实现步骤摘要】
基于3D全卷积神经网络与多任务学习的肺叶分割方法
本专利技术涉及肺叶自动分割领域，尤其涉及一种基于3D全卷积神经网络与多任务学习的肺叶分割方法。
技术介绍
随着计算机断层扫描（CT）技术在医院的普及使用，CT成为肺部疾病诊疗的主要技术之一。肺叶分割在肺部疾病定性定量的分析中至关重要，例如肺结节的定位，诊疗报告的生成。肺部从解剖学上可分为五个功能独立的部分：左肺上叶，左肺下叶，右肺上叶，右肺中叶，右肺下叶。肺叶的边界被称为肺裂，由于肺裂通常是不完整且不清晰的，人工地对肺叶进行分割十分繁琐，对一例CT进行标注通常需要2-4个小时。通过深度学习方法，构建的神经网络能够从CT当中快速且准确地进行自动肺叶分割，这对于肺部疾病的辅助诊疗来说具有重大意义。近些年来，针对自动肺叶分割的方法有很多研究。这些方法主要可以分为两个部分：传统方法和深度学习方法。传统方法主要是通过图形图像学的算法检测肺叶边界——肺裂，从而最终得到肺叶的分割结果。其中，Zhou等人基于血管连接肺叶但不会穿过肺叶边界的解剖学特点来进行肺裂的搜索，他们通过支气管的信息将分割的血管分配给肺叶，肺叶之间的间隙被定义为肺裂的目标区域，他们使用边缘检测滤波来检测这些目标区域之中的肺裂点，并将这些肺裂点用形态学操作连接起来。Kuhnigk等人也利用到了血管信息，但不同的是，他们对血管使用欧式距离转换与分水岭转换算法来增强肺叶之间的间隙，肺叶则通过支气管树的标记点指导分水岭转换过程中叶的分配。Wei等人使用估计的肺裂方向来搜索没有血管和支气管的感兴趣区域，然后使用二维小波变换检测可能的肺裂。Pu等人应用阈值来检测候选的肺裂点，这些肺裂点被用于构建3D几何网格。他们使用连续的平滑操作将网格缩小为一系列近似的肺裂片段，并根据其方向对其进行分离和标记。然后使用径向基函数扩展检测到的肺裂片段，以形成完整的肺裂表面。近几年基于神经网络对图像深层的特征进行提取的方法取得了飞速的发展，在医学图像分割领域，深度神经网络取得了非常的成功的应用，全卷积神经网络以其采用任意大小的输入并以有效的推论和对特征层次结构的学习，以端到端的方式生成相应大小的输出而分割领域的应用中尤为广泛。Harrison等人采用一个2D的渐进和多路径整体嵌套神经网络（P-HNN）肺裂的感兴趣区域，然后3D随机游走算法被应用于产生的肺裂图来进行分割的分割。Park等人使用了典型网络U-Net的3D形式——3DU-Net分割肺叶。Ferreira等人提出正则化的V-Net（FRV-Net），并结合了Dice损失函数与Focal损失函数来获得可靠的肺叶分割结果。Lee等人提出了基于3D深度可分离卷积、空洞残差密集卷积块与输入增强的PLS-Net来进行肺叶的分割。基于图像图像学检测肺叶的之间的边界——肺裂从而分割肺叶的传统方法有着明显的局限性。这些方法为了增强肺裂区域，都需要一些辅助结构的信息比如血管、支气管、肺部等等，而这些辅助结构的获取在实践中通常也是困难的。由于传统方法分割肺叶的流程复杂，整个过程所需的时间长，这很难在实时医疗辅助系统中得到应用。此外，当病人肺部出现病灶区域导致肺裂被截断时，传统方法分割肺叶的效果并不好。基于神经网络的深度学习方法克服了传统方法需要辅助结构信息的缺点，这些方法能够以监督学习的方式从数据中学习特征从而自动地分割肺叶。然而基于U-Net、V-Net结构的神经网络参数量多、显存需求大，因此输入一般被重采样从而丢失了很多原始信息，同时网络获取的感受野也是有限的，这些缺点让网络很难产生准确的肺叶分割结果。基于3D深度可分离卷积、空洞残差密集卷积块与输入增强的PLS-Net因较少的参数量使输入不必被重采样，因空洞卷积增加了感受野而能快速地提取更加广泛的上下文信息，然而在肺叶边界区域的分割中结果仍然不够准确。
技术实现思路
本专利技术的目的是提供一种基于3D全卷积神经网络与多任务学习的肺叶分割方法，能够接受原始大小的肺叶CT图像数据并自动、快速地产生准确的肺叶分割结果。本专利技术解决其技术问题，采用的技术方案是：基于3D全卷积神经网络与多任务学习的肺叶分割方法，包括如下步骤：a、准备肺叶相关数据并进行标定；b、对原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均进行预处理，去除冗余的背景信息；c、基于多任务学习构建3D全卷积神经网络；d、使用预处理后的标定的肺叶相关数据与合成的学习误差训练所述构建的3D全卷积神经网络；e、使用训练好的3D全卷积神经网络对输入的三维肺叶CT图像进行肺叶分割，输出预测的肺叶标签。进一步的是，步骤a中，所述准备的肺叶相关数据从肺叶CT图像数据系统导入。进一步的是，步骤a中，对肺叶相关数据进行标定时，所使用的数据的标签包括肺叶标签与肺叶边界标签；对于肺叶标签，对于每一例肺叶CT图像检查的图像，都经过人工进行标定；对于肺叶边界标签，通过标定完成的肺叶标签自动获取，具体方法为：使用图像处理包Skimage的边界寻找方法从肺叶标签中产生肺叶边界标签，并将产生的肺叶边界标签应用高斯滤波平滑边界；对于肺叶CT图像中不完整的肺裂，根据肺部的相关解剖学结构进行标定，所述相关解剖学结构为血管和/或支气管，所述肺裂是指：肺叶之间的边界。进一步的是，步骤b具体为：对原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均进行crop处理与归一化处理，将原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均沿着三个维度的边缘分别裁剪掉20个像素值，使得原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均被归一化到[0-1]之间。进一步的是，步骤c中，所述多任务学习具体是指：在3D全卷积神经网络的解码器的最后一层增加一个1*1*1的卷积和sigmoid激活函数产生肺叶边界的分割结果，并使用Focal学习误差进行训练，使得网络在反向传播的过程中能够同时学习到肺叶边界分割任务与肺叶分割任务。进一步的是，步骤c中，所述构建的3D全卷积神经网络为3D-Unet网络或V-net网络或轻量级三维全卷积网络。进一步的是，当构建的3D全卷积神经网络为轻量级三维全卷积网络时，该网络基于3D深度可分离卷积、空洞残差密集卷积块与输入增强，用于在使用少量参数与显存的前提下，提取到数据中多尺度、多类型的数据特征；所述3D深度可分离卷积，用于将一般的卷积操作分为两步进行，以降低网络的参数量，并减轻训练三维数据时的显存需求；所述空洞残差密集卷积块，用于通过连接膨胀率递增的分离卷积增加网络的感受野，扩大捕捉的空间信息范围，并且同时应用密集连接与残差学习，用于学习误差的反向传播；所述输入增强，用于补充数据在降采样过程中损失的信息。进一步的是，步骤d中，对肺叶分割任务使用CrossEntropy分类学习误差，对肺叶边界分割任务使用Focal学习误差，并使用两个可变的权重参数调整两个任务在训练过程中所占的权重，合成网络整体的学习误差。进一步的是，所述合成网络整体的学习误差，其具体包本文档来自技高网...

【技术保护点】
1.基于3D全卷积神经网络与多任务学习的肺叶分割方法，其特征在于，包括如下步骤：/na、准备肺叶相关数据并进行标定；/nb、对原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均进行预处理，去除冗余的背景信息；/nc、基于多任务学习构建3D全卷积神经网络；/nd、使用预处理后的标定的肺叶相关数据与合成的学习误差训练所述构建的3D全卷积神经网络；/ne、使用训练好的3D全卷积神经网络对输入的三维肺叶CT图像进行肺叶分割，输出预测的肺叶标签。/n

【技术特征摘要】
1.基于3D全卷积神经网络与多任务学习的肺叶分割方法，其特征在于，包括如下步骤：
a、准备肺叶相关数据并进行标定；
b、对原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均进行预处理，去除冗余的背景信息；
c、基于多任务学习构建3D全卷积神经网络；
d、使用预处理后的标定的肺叶相关数据与合成的学习误差训练所述构建的3D全卷积神经网络；
e、使用训练好的3D全卷积神经网络对输入的三维肺叶CT图像进行肺叶分割，输出预测的肺叶标签。


2.根据权利要求1所述的基于3D全卷积神经网络与多任务学习的肺叶分割方法，其特征在于，步骤a中，所述准备的肺叶相关数据从肺叶CT图像数据系统导入。


3.根据权利要求1所述的基于3D全卷积神经网络与多任务学习的肺叶分割方法，其特征在于，步骤a中，对肺叶相关数据进行标定时，所使用的数据的标签包括肺叶标签与肺叶边界标签；
对于肺叶标签，对于每一例肺叶CT图像检查的图像，都经过人工进行标定；
对于肺叶边界标签，通过标定完成的肺叶标签自动获取，具体方法为：使用图像处理包Skimage的边界寻找方法从肺叶标签中产生肺叶边界标签，并将产生的肺叶边界标签应用高斯滤波平滑边界；
对于肺叶CT图像中不完整的肺裂，根据肺部的相关解剖学结构进行标定，所述相关解剖学结构为血管和/或支气管，所述肺裂是指：肺叶之间的边界。


4.根据权利要求1所述的基于3D全卷积神经网络与多任务学习的肺叶分割方法，其特征在于，步骤b具体为：对原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均进行crop处理与归一化处理，将原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均沿着三个维度的边缘分别裁剪掉20个像素值，使得原始的肺叶CT图像数据以及有准确标签的肺叶相关数据均被归一化到[0-1]之间。


5.根据权利要求1所述的基于3D全卷积神经网络与多任务学习的肺叶分割方法，其特征在于，步骤c中，所述多任务学习具体是指：在3D全卷积神经网络的解码器的最后一层增加一个1*1*1的卷积和sigmoid激活函数产生肺叶边界的分割结果，并使用Focal学习误差进行训练，使得网络在反向传播的过程中能够同时学习到肺叶边界分割任务与肺叶分割任务。


6.根据权利要求1或5所述的基于3D全卷积神经网络与多任务学习的肺叶分割方法，其特征在于，步骤c中，所述构建的3D全卷积神经网络为3D-Unet网络或V-net网络或轻量级三维全卷积网络。


7.根据权利要求6所述的基于3D全卷积神经网络与多任务学习的肺叶分割方法，其特征在于，当构建的3D全卷积...

【专利技术属性】
技术研发人员：王成弟，章毅，李为民，郭际香，邵俊，徐修远，刘沛，刘金鑫，李经纬，王建勇，
申请(专利权)人：四川大学，四川大学华西医院，成都华西精准医学产业技术研究院有限公司，成都智能迭迦科技合伙企业有限合伙，
类型：发明
国别省市：四川;51