一种三维肝胆管图像分割算法及系统技术方案

本发明专利技术提供一种三维肝胆管图像分割算法及系统，该方法通过先构建残差网络ResNet

【技术实现步骤摘要】
一种三维肝胆管图像分割算法及系统


[0001]本专利技术涉及医学图像处理
，更具体地，涉及一种三维肝胆管图像分割算法及系统。

技术介绍

[0002]肝胆管结石病是肝胆外科的常见病、多发病，此病多发于东亚地区。肝胆管结石的外科治疗面临着许多难点和挑战，包括肝胆管结石取石困难等。而肝胆管结石的取石治疗主要依靠微创外科手术，如经皮经肝胆道镜技术(percutaneous transhepatic cholangioscopy,PTCS)取石手术。取石手术很大程度上取决于术前对病人CT扫描片的分析。由于肝胆管和肝内血管距离较近，对CT图像的肝胆管进行精确分割，以得知胆管的具体分布，有利于手术介入时，更好地找到狭窄所在，并降低因错误穿刺导致大出血的可能。对进行图像分割后的CT序列进行三维重建，让手术前期规划更具有合理性。
[0003]目前，对于肝胆管结石病的CT图像进行分割的技术主要有传统的图像分割算法(分水岭算法等)或者卷积神经网络(如U
‑
Net网络、M
‑
Net网络或引入ConvLSTM等模块的卷积网络)两种方式。得益于计算机计算能力的大幅提升，基于卷积神经网络的方法成为了主流。
[0004]现有技术中公开了一种肝胆管及结石的图像识别系统，包括：输入模块，用于获取待测图像并输入至经过训练的稀疏卷积神经网络中；稀疏卷积神经网络，用于对待测图像进行图像识别，并在识别结果中分割出待测图像中的肝胆管及胆结石的位置轮廓；稀疏卷积神经网络中的第1编码器中的各个卷积层均采用小卷积核，其余编码器中以及各个解码器中的各个卷积层均采用稀疏卷积核；第一个编码的过程中将不同尺度下的特征图输出至后续的各个编码器及解码器中，与对应分辨率下的特征图进行融合操作。应用本申请的方案，可以更加有效地对肝胆管及结石进行图像识别从而协助医生的治疗；然而，该工作在Unet的启发下，提出了级联的方案M
‑
Net，在胆管分割和结石分割上取得较好的效果。但是U
‑
Net和M
‑
Net都是二维卷积神经网络，无法直接对3D医学影像进行处理，通常做法是将3D的图像序列分成多个2D图像切片后再分别输入神经网络，这样就容易忽略切片中纵向的联系，丢失CT数据中的空间信息，容易导致欠分割。
[0005]现有技术中还公开了一种肝胆管及胆道结石的图像分割系统，在第一编码器
‑
解码器中，在下采样阶段对小目标区域进行特征学习，并在上采样阶段进行特征融合，并且下采样提取了低层多尺度时域上下文特征，用于后续的逐层特征融合；在第二编码器
‑
解码器模块中，上采样阶段融合了低层多尺度时域上下文特征与高层双向时域上下文特征，并获得原始分辨率尺寸的预测序列图，从而获得更准确的位置和分类信息；通过改进的损失函数对分割网络模型进行训练，以增加序列图像切片间时域上下文信息的关注，使之更适应于处理序列图像。从而解决了现有技术对于肝胆管结石病的CT图像中的肝胆管及胆道结石分割，不能同时兼顾精确度和高效率的技术问题；然而，在M
‑
Net的基础上通过引入ConvLSTM模块，获取到切片的空间信息，得到了切片中的前后文联系，这是一种2.5D的做
法，但仍然需要将CT数据转换成2D切片数据，本质上仍然是二维的卷积网络。

技术实现思路

[0006]本专利技术提供一种三维肝胆管图像分割算法，该方法解决现有技术对CT图像中的高精度肝胆管分割不能同时兼顾CT序列之间的空间信息和计算效率的技术问题。
[0007]本专利技术的又一目的在于提供利用上述三维肝胆管图像分割算法的三维肝胆管图像分割系统。
[0008]为了达到上述技术效果，本专利技术的技术方案如下：
[0009]一种三维肝胆管图像分割算法，包括以下步骤：
[0010]S1：构建残差网络ResNet
‑
3D来处理输入图像序列，得到输入图像序列的残差网络ResNet
‑
3D低层特征和高层特征；
[0011]S2：构建多尺度注意力网络，来学习步骤S1中得到的低层特征和高层特征之间的关联性；
[0012]S3：构建特征解码网络，将经过步骤S2处理后的低层特征和高层特图进行融合；
[0013]S4：构建损失函数，对步骤S3得到的结果进行处理得到最终分割结果。
[0014]进一步地，所述步骤S1的具体过程是：
[0015]1)将尺寸为(1,1,d,512,512)的CT序列，其中，d表示切片数量，不同序列d会不同，但保证会多于48张；通过分patch操作分成(1,48,192,192)的多个小特征块，并作为残差网络的输入；
[0016]2)首先，通过一个单一尺度为64的三维卷积层后，得到第一层特征E0；
[0017]3)然后经过一个尺度为192的三层残差模块ResBlock
‑
3D，得到第二层特征E1；
[0018]4)然后经过一个尺度为384的三层残差模块ResBlock
‑
3D，得到第三层特征E2；
[0019]5)最后经过一个尺度为384的两层残差模块ResBlock
‑
3D，得到第四层特征E3。
[0020]进一步地，所述步骤S2的具体过程是：
[0021]利用3D Swin Transformer block搭建多尺度注意力网络，每个Transformer block由一个基于滑动窗口的W
‑
MSA模块和一个前馈网络FFN组成，其中前馈网络FFN由两层的多头注意力处理模块MLP和激活函数GELU组成；层标准化LN被用在每个基于滑动窗口的W
‑
MSA模块和前馈网络FFN之前，残差连接被用在了每个模块之后：
[0022][0023][0024][0025][0026]式子中和z
l
分别表示基于滑动窗口的W
‑
MSA模块和FFN模块的输出特征；3DW
‑
MSA和3DSW
‑
MSA分别表示使用常规和移位窗口分区配置的基于3D窗口的多头自注意力。
[0027]进一步地，所述步骤S2中，由于自注意力计算中使用了相对位置编码，注意力的计算方式如下：
[0028][0029]其中是查询、键和值矩阵，d是查询和关键特征的维度；
[0030]多尺度注意力模块，计算过程如下，
[0031]S
nx
,S
nx
′
＝Reshape(MAST(Flatten(E
nx
),Flatten(E
nx
′
)))
[0032]E
nx
,E
nx
′
表示的是残差模块输出的特征，S
nx
,S
nx
′
表示经过注意力模块后的输出，式子中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维肝胆管图像分割算法，其特征在于，包括以下步骤：S1：构建残差网络ResNet
‑
3D来处理输入图像序列，得到输入图像序列的残差网络ResNet
‑
3D低层特征和高层特征；S2：构建多尺度注意力网络，来学习步骤S1中得到的低层特征和高层特征之间的关联性；S3：构建特征解码网络，将经过步骤S2处理后的低层特征和高层特图进行融合；S4：构建损失函数，对步骤S3得到的结果进行处理得到最终分割结果。2.根据权利要求1所述的三维肝胆管图像分割算法，其特征在于，所述步骤S1的具体过程是：1)将尺寸为(1,1,d,512,512)的CT序列，通过分patch操作分成(1,48,192,192)的多个小特征块，并作为残差网络的输入；2)首先，通过一个单一尺度为64的三维卷积层后，得到第一层特征E0；3)然后经过一个尺度为192的三层残差模块ResBlock
‑
3D，得到第二层特征E1；4)然后经过一个尺度为384的三层残差模块ResBlock
‑
3D，得到第三层特征E2；5)最后经过一个尺度为384的两层残差模块ResBlock
‑
3D，得到第四层特征E3。3.根据权利要求2所述的三维肝胆管图像分割算法，其特征在于，d表示切片数量，不同序列d会不同，但保证会多于48张。4.根据权利要求3所述的三维肝胆管图像分割算法，其特征在于，所述步骤S2的具体过程是：利用3D Swin Transformer block搭建多尺度注意力网络，每个Transformer block由一个基于滑动窗口的W
‑
MSA模块和一个前馈网络FFN组成，其中前馈网络FFN由两层的多头注意力处理模块MLP和激活函数GELU组成；层标准化LN被用在每个基于滑动窗口的W
‑
MSA模块和前馈网络FFN之前，残差连接被用在了每个模块之后：FN之前，残差连接被用在了每个模块之后：FN之前，残差连接被用在了每个模块之后：FN之前，残差连接被用在了每个模块之后：式子中和z
l
分别表示基于滑动窗口的W
‑
MSA模块和FFN模块的输出特征；3DW
‑
MSA和3DSW
‑
MSA分别表示使用常规和移位窗口分区配置的基于3D窗口的多头自注意力。5.根据权利要求4所述的三维肝胆管图像分割算法，其特征在于，所述步骤S2中，由于自注意力计算中使用了相对位置编码，注意力的计算方式如下：其中是查询、键和值矩阵，d是查询和关键特征的维度；多尺度注意力MAST模块，计算过程如下，S
nx
，S
nx
′
＝Reshape(MAST(Flatten(E
nx
)，Flatten(E
nx
′
)))
E
nx
，E
nx
′
表示的是残差模块输出的特征，S
nx
，S
nx
′
表示经过注意力模块后的输出，式子中，n的取值...

【专利技术属性】
技术研发人员：蔡念，龚瑞锋，罗智浩，孙鹏宇，王平，王晗，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：