一种肝静脉及肝门静脉的深度学习分割系统技术方案

本发明专利技术提供一种肝静脉及肝门静脉的深度学习分割系统，包括编码模块，序列注意力关联融合模块、片间

【技术实现步骤摘要】
一种肝静脉及肝门静脉的深度学习分割系统


[0001]本专利技术涉及医学图像处理领域，更具体地，涉及一种肝静脉及肝门静脉的深度学习分割系统。

技术介绍

[0002]肝脏疾病发病率逐渐上升，很大程度上危害着人类的健康问题，目前是中国死亡率最高的疾病之一。很多肝脏疾病需要通过肝脏切除手术进行治疗，而手术之前医生需要根据肝静脉及肝门静脉的走势对肝脏进行分段，以尽量精准地切除肝脏病区并保留正常区域。在临床研究中，大部分医学影像诊断都凭借医生的肉眼观察和临床经验完成，但进行不计其数的医学影像分析是耗时、耗力且存在主观性的，容易造成漏诊和误诊的现象。因此，研究肝静脉及肝门静脉的的自动分割对于未来的医学影像学、解剖学和临床手术规划等具有重大意义和实用价值。
[0003]相比于医学图像中器官分割，血管的尺寸微小且分支形状分布不规则，因此，血管分割仍是医学图像处理领域的一个巨大挑战。传统血管分割方法的主要有阈值法、区域生长法、匹配滤波法等。随着计算机技术的迅速发展，深度学习也被广泛地应用在医学图像血管分割上。近年来，出现了大量基于深度学习方法实现视网膜血管分割、脑血管分割和肺血管分割。但由于不同组织的血管的医学成像方式可能各有不同，在血管分割的实现方式上也会有些许差异。肝静脉及肝门静脉图像一般通过计算机断层扫描(简称CT)采集，在CT图像中，肝静脉及肝门静脉灰度值与肝脏的灰度值比较接近，难以根据灰度差异进行准确分割。此外，肝静脉及肝门静脉分支结构非常复杂，不同人体肝静脉及肝门静脉走向也大相径庭。尤其血管分支末梢，尺寸形状微小且走势无固定规律，精准分割难度非常艰巨。这些问题导致目前肝静脉及肝门静脉分割精度仍不够理想，难以满足实际应用的需求。因此，提高肝静脉及肝门静脉分割的精度与性能仍然是一个主要的挑战。
[0004]现有技术中，主要是基于深度学习实现肝脏血管分割，其中大部分基于2D卷积神经网络和3D卷积神经网络的网络模型实现的。传统血管分割的主要有阈值法、区域生长法、匹配滤波法等。基于阈值法的血管分割算法虽原理简单、易于实现，但很难用同一个阈值去分割出血管，因为不同设备的成像原理不同，不同病人的CT图像阈值差别也很大。基于区域生长的血管分割算法虽然简单，但却需要手动标记种子点，标记的种子点的好坏与血管的分割有很大影响，而且血管分割很大程度上依赖阈值的设定，而肝脏与肝脏血管的灰度值差异较小，因此，仅基于区域生长法，难以获得精确的分割结果。基于匹配滤波的血管分割算法与滤波器的方向和尺度的选择的精度有关，精度过大，血管分割效果不理想，精度过小又增加计算量耗时过长。随着计算机技术的迅速发展，除了上述主要的传统的医学图像血管的分割方法以外，深度学习也被广泛地应用在医学图像分割上。近几年在肝静脉及肝门静脉分割上，大多是基于2D卷积神经网络和3D卷积神经网络的网络模型实现的。
[0005]传统的2D卷积神经网络一般在二维方向上进行编码，即仅考虑单张图像信息，忽略图像层间信息。对于切片厚度较大的数据集，其层间信息较弱，使用2D卷积神经网络进行
分割可能会更好。3D卷积神经网络可以对3D图像在三个方向上进行编码，也就是说可以捕获z轴上的层间信息，能提高相邻图像的静脉血管分割效果的连续性。但是3D卷积神经网络在计算量和显存占用上存在明显硬伤，这导致难以将整个3D图像作为输入。目前常用的方法是，裁成一系列3D块作为输入。但是，裁块会限制网络所能达到的最大感受野，导致丢失一定的全局信息，肝静脉及肝门静脉目标本身比裁的块大很多，在这样的情况下，网络难以学习血管的整体结构信息，对于肝静脉及肝门静脉整体分割有巨大的影响。

技术实现思路

[0006]本专利技术提供一种肝静脉及肝门静脉的深度学习分割系统，该系统可实现提取丰富的层间信息，以获得更精确的肝静脉及肝门静脉。
[0007]为了达到上述技术效果，本专利技术的技术方案如下：
[0008]一种肝静脉及肝门静脉的深度学习分割系统，其特征在于，包括：
[0009]编码模块，用于获得CT序列特征；
[0010]序列注意力关联融合模块SACM，用于关联融合单张CT图像不同维度信息；
[0011]片间
‑
图关联模块，用于捕获相邻CT序列之间关联性；
[0012]解码模块，用于将序列注意力关联融合模块SACM以及片间
‑
图关联模块的输出进行加强特征提取和融合。
[0013]进一步地，所述编码模块的处理过程是：
[0014]CT序列图像输入编码模块后，先经过两次卷积获得CT序列的特征f
l1
，然后经过一层池化，两层卷积获得f
l2
，接着经过三次的一层池化和三层卷积，分别获得CT序列的特征f
l3
，f
l4
，f
l5
。
[0015]进一步地，所述序列注意力关联融合模块的处理过程是：
[0016]序列注意力关联融合模块SACM包括一个子模块
‑
序列特征关联模块SFCM，序列注意力关联融合模块SACM用下述公式表示：
[0017][0018]其中，f
l
表示CT序列的低维度特征，f
h
表示CT序列的高维度特征，σ2为sigmoid函数，表示对应元素相加，
⊙
表示对应元素相乘，concat(
·
)为Concatenation操作，则在序列注意力关联融合模块中将CT序列的高维度特征f
h
与低维度特征f
l
分别进行1
×
1卷积，对应相加得到的初步融合特征，作为子模块
‑
序列特征关联模块SFCM的输入。
[0019]进一步地，序列特征关联模块SFCM，包括局部注意力关联模块和全局注意力关联模块两个部分；
[0020]局部注意力关联模块关注CT序列的局部特征信息，并在局部上利用相邻CT间关联突出细小血管细节；将大小为C
×
H
×
W的CT序列初步融合特征先后输入到1
×
1卷积和激活函数ReLU中，再进行1
×
1卷积，在通道上压缩特征，得到1
×
H
×
W的特征，然后经过Sigmoid函数，得到CT序列的局部注意力特征矩阵I1，I2，I3，
…
，I
n
，n为输入的CT序列中CT的数量，由于相邻CT序列图像在语义，外观上具有关联性，考虑根据相邻CT序列的局部注意力特征矩阵的相似度W
i
进行加权求和，得到加强的局部注意力特征矩阵I1'，I2'，I3'，
…
，I
n
'，
[0021][0022]I
i
'＝W
i
[I1,I2,I3,
…
,I
n
]T i∈(1,n)
[0023]分别与对应的初步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种肝静脉及肝门静脉的深度学习分割系统，其特征在于，包括：编码模块，用于获得CT序列特征；序列注意力关联融合模块SACM，用于关联融合单张CT图像不同维度信息；片间
‑
图关联模块，用于捕获相邻CT序列之间关联性；解码模块，用于将序列注意力关联融合模块SACM以及片间
‑
图关联模块的输出进行加强特征提取和融合。2.根据权利要求1所述的肝静脉及肝门静脉的深度学习分割系统，其特征在于，所述编码模块的处理过程是：CT序列图像输入编码模块后，先经过两次卷积获得CT序列的特征f
l1
，然后经过一层池化，两层卷积获得f
l2
，接着经过三次的一层池化和三层卷积，分别获得CT序列的特征f
l3
，f
l4
，f
l5
。3.根据权利要求2所述的肝静脉及肝门静脉的深度学习分割系统，其特征在于，所述序列注意力关联融合模块的处理过程是：序列注意力关联融合模块SACM包括一个子模块
‑
序列特征关联模块SFCM，序列注意力关联融合模块SACM用下述公式表示：其中，f
l
表示CT序列的低维度特征，f
h
表示CT序列的高维度特征，σ2为sigmoid函数，表示对应元素相加，
⊙
表示对应元素相乘，concat(
·
)为Concatenation操作，则在序列注意力关联融合模块中将CT序列的高维度特征f
h
与低维度特征f
l
分别进行1
×
1卷积，对应相加得到的初步融合特征，作为子模块
‑
序列特征关联模块SFCM的输入。4.根据权利要求3所述的肝静脉及肝门静脉的深度学习分割系统，其特征在于，序列特征关联模块SFCM，包括局部注意力关联模块和全局注意力关联模块两个部分；局部注意力关联模块关注CT序列的局部特征信息，并在局部上利用相邻CT间关联突出细小血管细节；将大小为C
×
H
×
W的CT序列初步融合特征先后输入到1
×
1卷积和激活函数ReLU中，再进行1
×
1卷积，在通道上压缩特征，得到1
×
H
×
W的特征，然后经过Sigmoid函数，得到CT序列的局部注意力特征矩阵I1，I2，I3，
…
，I
n
，n为输入的CT序列中CT的数量，由于相邻CT序列图像在语义，外观上具有关联性，考虑根据相邻CT序列的局部注意力特征矩阵的相似度W
i
进行加权求和，得到加强的局部注意力特征矩阵I1'，I2'，I3'，
…
，I
n
'，I
i
'＝W
i
[I1,I2,I3,
…
,I
n
]
T i∈(1,n)分别与对应的初步融合特征相乘，在局部上利用相邻CT间关联突出细小血管细节。5.根据权利要求4所述的肝静脉及肝门静脉的深度学习分割系统，其特征在于，全局注意力关联模块关注全局特征信息，并在全局上利用相邻CT间关联突出细小血管细节，将CT序列的初步融合特征分别输入全局平均池化Global average pooling和全局最大池化Global max pooling，分别得到C
×1×
1大小的特征信息，再基于通道进行拼接，然后进行1
×
1卷积，并输入Sigmoid函数，得到CT序列的全局注意力特征矩阵A1，A2，A3，
…
，A
n
，同样考
虑相邻CT具有关联性，根据相邻CT序列的全局注意力特征矩阵的相似度G
i
进行加权求和，得到加强的局...

【专利技术属性】
技术研发人员：蔡念，白有芳，罗智浩，何兆泉，田寅峰，王晗，王平，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：