基于多期立体图元生成器的肝脏病灶分割的图像处理方法技术

本发明专利技术公开了一种基于多期立体图元生成器的肝脏病灶分割的图像处理方法，利用多期信息和立体信息将多期CT序列特征编码成若干图元，将这些图元输入到Transformer模型中学习跨期特征。具体地，首先提取图像特征，利用CNN提取多期CT序列的特征；然后利用多期立体图元生成器为每一层CT图像生成多期立体图元；接着将所有CT图像的图元拼接起来输入到Transformer中学习多期特征；最后利用解码器将多期特征还原为最终分割。本发明专利技术基于多期立体图元生成器将非对齐多期CT序列编码为若干图元，不仅显著提高了肝脏病灶分割的准确度，还降低了显存使用消耗。还降低了显存使用消耗。还降低了显存使用消耗。

【技术实现步骤摘要】
基于多期立体图元生成器的肝脏病灶分割的图像处理方法


[0001]本专利技术属于图像处理和深度学习领域，尤其涉及一种基于多期立体图元生成器的肝脏病灶分割的图像处理方法。

技术介绍

[0002]立体上下文对基于CT图像的肝脏病灶分割是至关重要的。肝脏的病灶往往需要借助造影剂的增强，才能清晰准确地判断病灶的边界和种类。在注射造影剂之前，会先扫描腹部产生一个CT图像的序列，这一序列称之为平扫期(plain phase)。在注射造影剂之后，在两个特定的时间段内，造影剂会随着血液分别流过静脉和动脉，在这两个时间段内分别进行扫描，产生两个CT图像的序列：静脉期(arterial phase)，动脉期(portal phase)。在实际操作中会由于病人的移动，呼吸，内脏运动和一些技术原因，导致图像内容在三个序列中并不是像素级对齐的。这给多期上下文和立体上下文的利用带来了困难。
[0003]针对多期上下文的结合，目前较为简单的方法是在输入阶段将多期的2D图像直接拼接或者利用注意力机制进行筛选。如(C.Sun,S.Guo,H.Zhang,et al.,“Automatic segmentation of liver tumors from multiphase contrast
‑
enhanced CT images based on FCNs,”in Artificial intelligence in medicine.2017,pp.58
‑
66.)(F.Ouhmich,V.Agnus,V.Noblet,et al.,“Liver tissue segmen
‑
tation in multiphase CT scans using cascaded convolutional neu
‑
ral networks,”in Int J CARS 14.2019,pp.1275
–
1284.Available:https://doi.org/10.1007/s11548
‑
019
‑
01989
‑
z)(R.Hasegawa,Y.Iwamoto,L.Lin,et al.,“Automatic Segmentation of Liver Tumor in Multiphase CT Images by Mask R
‑
CNN,”in 2020 IEEE 2nd Global Conference on Life Sciences and Technologies(LifeTech).2020,pp.231
‑
234.Available:https://doi.org/10.1007/s11548
‑
019
‑
01989
‑
z)等。但是这些2D模型都忽略了3D信息，导致模型的分割准确率不高。
[0004]另外一种思路是利用3D卷积来捕捉3D信息，如(J.Dolz,et al.,“HyperDense
‑
Net:A Hyper
‑
Densely Connected CNN for Multi
‑
Modal Image Segmentation,”in IEEE Transactions on Medical Imaging,vol.38,no.5,pp.1116
‑
1126,May 2019,doi:10.1109/TMI.2018.2878669.)和(A T Q,B X W,Cf C,et al.M3Net:A multi
‑
scale multi
‑
view framework for multi
‑
phase pancreas segmentation based on cross
‑
phase non
‑
local attention
‑
ScienceDirect[J].2021.)等，但是前者需要将CT切成较小的数据块，这限制了模型的感受野。后者在压缩3D信息的时候不断的抛弃最外两层，会失去较多的3D信息。

技术实现思路

[0005]本专利技术的目的在于针对现有技术的不足，提供一种基于多期立体图元生成器的肝脏病灶分割的图像处理方法。本专利技术的核心技术是将多期上下文对齐之后并融合产生多期
特征，并进一步从多期特征中提取立体特征。
[0006]本专利技术的目的是通过以下技术方案来实现的：一种基于多期立体图元生成器的肝脏病灶分割的图像处理方法，包括如下步骤：
[0007](1)对待预测的CT序列的动脉期上下文X
a
和静脉期上下文X
v
进行预处理，使其符合网络的输入要求；
[0008](2)利用CNN网络，提取动脉期上下文X
a
和静脉期上下文X
v
的高层次特征，动脉期特征f
a
和静脉期特征f
v
，以及对应的低层次特征和
[0009](3)利用多期立体图元生成器，为动脉期上下文X
a
和静脉期上下文X
v
的特征f
a
和f
v
的每一层CT图像，生成动脉期图元T
a
和静脉期图元T
v
；
[0010](4)将步骤(3)中的动脉期图元T
a
和静脉期图元T
v
拼接后，分别与特征f
a
和f
v
，输入到Transformer中，生成对应的多期特征f
m,a
和f
m,v
；
[0011](5)利用图元融合器，将步骤(4)中的多期特征f
m,a
和f
m,v
，分别与步骤(2)中对应的上下文特征f
a
和f
v
融合；再将两个图元融合器的输出，分别与步骤(2)中的特征f
a
和步骤(2)中的特征f
v
相加，得到对应的融合特征F
a
和F
v
；
[0012](6)使用解码器，将融合后的融合特征F
a
和F
v
，分别解码为动脉期和静脉期的肝脏病灶分割。
[0013]进一步地，步骤(3)包括如下子步骤：
[0014](3.1)利用全局层注意力，计算步骤(2)中高层次特征f
a
和f
v
互相之间的全局层间特征和
[0015](3.2)利用全局空间注意力，计算步骤(2)中高层次特征f
a
和f
v
互相之间的全局空间特征和
[0016](3.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多期立体图元生成器的肝脏病灶分割的图像处理方法，其特征在于，包括如下步骤：(1)对待预测的CT序列的动脉期上下文X
a
和静脉期上下文X
v
进行预处理，使其符合网络的输入要求；(2)利用CNN网络，提取动脉期上下文X
a
和静脉期上下文X
v
的高层次特征，动脉期特征f
a
和静脉期特征f
v
，以及对应的低层次特征和(3)利用多期立体图元生成器，为动脉期上下文X
a
和静脉期上下文X
v
的特征f
a
和f
v
的每一层CT图像，生成动脉期图元T
a
和静脉期图元T
v
；(4)将步骤(3)中的动脉期图元T
a
和静脉期图元T
v
拼接后，分别与特征f
a
和f
v
，输入到Transformer中，生成对应的多期特征f
m，a
和f
m，v
；(5)利用图元融合器，将步骤(4)中的多期特征f
m，a
和f
m，v
，分别与步骤(2)中对应的上下文特征f
a
和f
v
融合；再将两个图元融合器的输出，分别与步骤(2)中的特征f
a
和步骤(2)中的特征f
v
相加，得到对应的融合特征F
a
和F
v
；(6)使用解码器，将融合后的融合特征F
a
和F
v
，分别解码为动脉期和静脉期的肝脏病灶分割。2.根据权利要求1所述基于多期立体图元生成器的肝脏病灶分割的图像处理方法，其特征...

【专利技术属性】
技术研发人员：卜佳俊，吴磊，蔡翔宇，顾静军，秦典，王伟林，丁元，
申请(专利权)人：浙江大学，
类型：发明
国别省市：