一种多器官图像分割模型构建方法和分割方法技术

本发明专利技术公开了一种多器官图像分割模型构建方法和分割方法，能够针对广泛的

【技术实现步骤摘要】
一种多器官图像分割模型构建方法和分割方法


[0001]本专利技术涉及医学图像处理
，尤其涉及医学图像分割技术
。

技术介绍

[0002]医学图像分割作为一种图像处理技术在医疗领域已经做出了巨大的贡献
。
医学图像分割是一项可以将感兴趣的区域（如组织器官
、
病变等）提取出来的技术，可以辅助医生诊断疾病，定制治疗方案等
。
[0003]传统的图像分割技术通常基于阈值分割
、
边缘检测或者区域生长等算法，但是这些方法在医学图像处理中，面对噪声大
、
低对比度以及结构复杂等医学影像存在的问题中，往往无法达到理想的效果
。
因此，随着深度学习的发展，基于神经网络的医学图像处理成为了主流方案
。
[0004]深度学习模型如卷积神经网络等被广泛用于医学图像分割任务
。
这些模型通过训练大量的标记数据，能够自动学习图像特征，并根据不同的任务进行准确的像素级别的分割
。
[0005]然而，医学图像分割的标注是耗时且昂贵的，并且需要专业的影像科医生标注，因为拥有专业的医学知识才能胜任这样的任务
。
同时，针对不同的任务以及不同模态的图像都要重新标注
、
训练新的分割模型，且无法复用
。
[0006]现有的解决分割问题有两种方法
。
一种是交互式分割，可以分割任何类别的对象，但需要一个人通过迭代微调掩码
。r/>第二种是自动分割，可以分割提前定义的特定对象，但训练过程需要大量的手动标注对象
。
总之，这两种方式都无法提供通用
、
全自动的分割方法
。

技术实现思路

[0007]本专利技术是为了克服医学图像分割现有技术中的上述问题，提出一种多器官图像分割模型构建方法和分割方法，能够针对广泛的
3D
医疗图像，仅需一个模型，可以通过点或外接矩形框的提示，完成多种器官的分割，且无需针对某个器官的分割任务重新训练的零样本的分割方案
。
[0008]本专利技术申请提供一种多器官图像分割模型构建方法，所述方法包括以下步骤：获取图像分割的预训练模型，所述预训练模型基于
transformer
架构，包括编码器层
encoder、
解码器层
decoder、
以及编码器层
encoder
输出的嵌入层
embedding
；所述的编码器层
encoder
，用于将待分割图像和输入的
prompt
映射到对应的特征空间并输出到对应的嵌入层
embedding
，所述的
prompt
包括点或外接矩形框；编码器层
encoder
包括多头注意力模块
Multi
‑
headAttention
和全连接模块；在所述预训练模型中增加控制模块获得第一模型，所述控制模块，连接编码器层
encoder
中的多头注意力模块
Multi
‑
headAttention
，用于将多头注意力机制模块
Multi
‑
headAttention
的特征进行处理与后续的全连接模块进行融合；采集公开数据集，进行预处理，获得微调训练集，所述公开数据集包括来自多供应
商
、
多阶段
、
多器官
、
多模态的医学三维图像及对应的分割标注；冻结第一模型中属于预训练模型的原始
embedding
，将微调训练集输入第一模型中，对第一模型进行训练，获得微调后的多器官图像分割模型
。
[0009]本申请同时提供一种多器官图像分割方法，该方法是基于上述方法构建的多器官图像分割模型实现的，所述方法包括以下步骤：将待分割医学图像输入权利要求1至8构建的多器官图像分割模型；获取针对待分割医学图像中的一个点或者矩形框的操作提示，将所述操作提示作为
prompt
输入多器官图像分割模型；多器官图像分割模型进行推理，输出所述操作提示所选择器官的分割结果
。
[0010]本申请的技术方案核心是解决现有技术中针对不同器官的三维数据分割任务都需要进行专门模型训练和标注的核心问题
。
本方案基于现有的预训练模型和样本集，对预训练模型进行微调，不需要人工标注
。
[0011]在微调训练中，在冻结原始的
embedding
的基础上，增加了连接多头注意力模块
Multi
‑
headAttention
的控制模块，可以保护原始的模型同时将学习的参数放到控制模块中，在学习到新的信息的同时也使训练速度加快
。
[0012]通过本方案构建和训练的多器官图像分割模型在实际应用当中，不仅不需要针对某个器官的图像分割任务进行单独的专门训练和标注
。
而且可以在给出一个点或者矩形框的操作提示下，针对提示的器官区域进行可提示的交互式分割，极大的提高了图像分割技术在医疗领域的应用价值
。
附图说明
[0013]图1为本申请一种多器官图像分割模型构建方法的流程图
。
[0014]图2为本申请一种多器官图像分割模型构建方法所构建的模型的原理图
。
[0015]图3为本申请一种多器官图像分割模型构建方法中编码器层
encoder
中每个
transformer
结构的示意图
。
[0016]图4为本申请一种多器官图像分割模型构建方法中控制模块的示意图
。
[0017]图5为本申请一种多器官图像分割方法的流程图
。
[0018]图6为本申请一种多器官图像分割方法的示例图
。
实施方式
[0019]下面结合附图和具体实施方式对本专利技术做进一步描述
。
[0020]实施例1[0021]本申请的一种多器官图像分割模型构建方法，如图1所示为本方法的流程图，如图2为所构建的多器官图像分割模型模型的原理图，所述方法包括以下步骤
。
[0022]步骤
S101
，获取的预训练模型
。
[0023]所述预训练模型基于
transformer
架构，包括编码器层
encoder、
解码器层
decoder、
以及编码器层
encoder
输出的嵌入层
embedding
；所述的编码器层
encoder
，用于将待分割图像和输入的
prompt
映射到对应的特征空间并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多器官图像分割模型构建方法，其特征是，所述方法包括以下步骤：获取图像分割的预训练模型，所述预训练模型基于
transformer
架构，包括编码器层
encoder、
解码器层
decoder、
以及编码器层
encoder
输出的嵌入层
embedding
；所述的编码器层
encoder
，用于将待分割图像和输入的
prompt
映射到对应的特征空间并输出到对应的嵌入层
embedding
，所述的
prompt
包括点或外接矩形框；编码器层
encoder
包括多头注意力模块
Multi
‑
headAttention
和全连接模块；在所述预训练模型中增加控制模块获得第一模型，所述控制模块，连接编码器层
encoder
中的多头注意力模块
Multi
‑
headAttention
，用于将多头注意力机制模块
Multi
‑
headAttention
的特征进行处理与后续的全连接模块进行融合；采集公开数据集，经预处理后，获得微调训练集，所述公开数据集包括来自多供应商
、
多阶段
、
多器官
、
多模态的医学三维图像及对应的分割标注；冻结第一模型中属于预训练模型的原始的嵌入层
embedding
，将微调训练集输入第一模型中，对第一模型进行训练，获得微调后的多器官图像分割模型
。2.
根据权利要求1所述的一种多器官图像分割模型构建方法，其特征是，所述的预训练模型中编码器层
encoder
包括图像编码器层
Image encoder
和提示编码器层
prompt encoder
，图像编码器层
Image encoder
，用于映射待分割的图像到图像特征空间；提示编码器层
prompt encoder
，用于映射输入的
prompt
到
prompt
的特征空间，所述的
prompt
包括点或外接矩形框；解码层
decoder
，用于整合图像编码器层
Image encoder
和提示编码器层
prompt encoder
分别输出的两个嵌入层
embedding
，然后从其中的特征图
feature map
解码出最终的分割
mask。3.
根据权利要求2所述的一种多器官图像分割模型构建方法，其特征是，所述采集公开数据集，进行预处理，获得微调训练集的步骤，进一步包括以下步骤：将公开数据集中的医院图像卡窗宽窗位归一化到0‑
255
的区间；对分割的掩模在
z
轴方向切片处理成
2D
的图像，得到
2D
切片图像
、2D
切片
mask、
以及取
2D
切片
mask
外接矩形获得的外接框的
bbox
张量，然后存成
npz
文件，获得微调训练集
。4.
根据权利要求3所述的一种多器官图像分割模型构建方法...

【专利技术属性】
技术研发人员：洪波，梁姬慧，季红丽，程国华，
申请(专利权)人：杭州健培科技有限公司，
类型：发明
国别省市：