【技术实现步骤摘要】
本专利技术涉及图像分割的，尤其是指一种小样本三维医疗影像分割系统。
技术介绍
1、在生物医学图像中将感兴趣的部分从图像中分割出来在临床研究中发挥着重要的作用，是后续疾病诊断与治疗的基础。近年来，基于深度网络的模型在医学图像语义分割的各种任务中都取得了极大的成功，例如：肿瘤分割，器官分割等。但是，现有大多数的医学图像分割模型都是全监督模型，需要大量的像素级标注数据进行模型训练，缺乏灵活性。在医疗领域，医学图像的标注具有很强的专业性，图像标注对于放射科医生而言是一项费力且耗时的任务，并且对于三维数据而言，标注更为困难，它要求标注者对三维图像数以百计的二维切片逐层标注。所以，研究数据资源受限情况下的三维医学图像分割非常重要。
2、为解决资源受限的问题，人们研究了大量的技术，近年来，基于元学习的小样本学习引起了广泛的关注，其基本思想是提取查询图像和支持图像之间的特征相关性，通过学习支持图像来获取表征原型并用于查询图像的任务预测，从而使其能够使用少量的支持图像标注信息来类比查询图像从而在查询图像中提取和标注相似的信息。但是，一般基于元学习的小样本学习方法需要在大量有标签的数据集上进行训练，以使得模型可以泛化到未见类别的图像上。但由于医学图像难以有大规模的标注数据，这导致难以将小样本学习运用到医学图像领域。为了解决这个问题，一种利用自监督来进行小样本模型的训练方式被提出，其使用超像素生成伪标签来构建训练集，达到不使用注释的情况下就可以对模型进行训练。
3、然而，现有医学图像领域的小样本模型也面临着共性的问题：一、数据
技术实现思路
1、本专利技术的目的在于克服现有技术的缺点与不足，提供了一种在资源受限情况下的小样本三维医疗影像分割系统，缓解现有全监督模型对于大量数据资源的依赖。
2、为实现上述目的，本专利技术所提供的技术方案为：一种小样本三维医疗影像分割系统，使用预训练模型和3d十字交叉注意力挖掘模块来实现在资源受限情况下的三维医疗影像分割，包括：
3、超体素生成模块，根据图像局部特征将感知上相似的体素聚合在一起，以此来提供图像数据的紧凑表示，其每一个聚类都能够作为一种相似体素的伪标签来引导模型训练；
4、3d预训练特征提取模块，使用超体素生成模块生成的伪标签，并经过强度和几何变换随机生成支持图像和查询图像，获得支持图像和查询图像的信息表征；
5、3d双十字交叉注意力挖掘模块，输入由所述3d预训练特征提取模块得到的原始图像特征，挖掘支持图像和查询图像之间的相互关联关系，进一步突出图像中的相关空间和上下文信息；
6、小样本原型学习网络模块，用于计算支持图像和查询图像之间的相似度，并利用计算得到的相似度得分生成最终的分割输出结果，进一步使用分割结果和原始标签计算模型损失进而反向传播更新模型参数。
7、进一步，所述超体素生成模块的具体情况如下：
8、初始化种子点，设定超体素个数n′，在图像内均匀地选择n′个体素点作为种子点，计算该种子点邻域内所有体素点的梯度值，将种子点移到该邻域内梯度最小的地方，在每个种子点周围的邻域内为每个体素点分配类标签，再进行距离度量，包括颜色距离和空间距离，对于每个搜索到的体素点，分别计算它和该种子点的距离，最终进行多次迭代优化，直到误差收敛。
9、进一步，所述3d预训练特征提取模块的具体情况如下：
10、为了提高模型对于小样本三维医学图像的表征能力，并充分利用空间信息，修改了医疗领域的预训练模型swin-unetr，去掉了swin-unetr的输出层作为模型的3d预训练特征提取模块，重点利用其特征提取功能来增强小样本分割任务；
11、首先，使用超体素生成模块为训练样本生成伪标签，并同时将样本和伪标签经过强度和几何变换生成参照副本，在训练阶段前，随机选择样本或者参照副本作为模型训练的支持图像和查询图像来进行元学习，模型的3d预训练特征提取模块定义为f(.)，在编码阶段，输入三维支持图像is和查询图像iq，代表数字集合，d、w、h分别代表特征的深度、长和宽，将三维图像分解为patch进行计算，每个patch的深度、长和宽为d′、w′、h′，创建大小为的三维patchs序列，并映射到特征空间，将输入体积块volumes划分为非重叠窗口，并计算每个patch区域内的局部自注意力，对于编码阶段第l层输出zl和第l+1层的输出zl+1能够由以下公式得到：
12、
13、
14、
15、
16、式中，msm代表多头自注意力模块，w-msm代表分窗多头自注意力模块，zl代表模型l-1层的输出，和分别代表msm和w-msm的输出，norm代表层规范化layernormalization，mlp代表多层感知机，其包含两个gelu线性激活函数，自注意力是一个参数化函数，用于学习q和序列z中相应的k和v的表示映射，自注意力计算由以下公式定义：q、k、v分别代表queries、keys和values，t代表转置，d′代表k和q的大小；
17、所述3d预训练特征提取模块为由基于swin-transformer的特征编码网络和基于cnn的特征解码网络形成的一个u型网络，该u型网络能够扩大感受野，关注图像的全局特征，通过跳跃连接融合像素和语义特征能够充分保留边缘信息，将3d预训练特征提取模块中的瓶颈bottleneck和每一个阶段的输出都输入到由两个经过归一化的3×3×3三维卷积构成的残差模块，在后续过程中，每一个阶段的特征都经过反卷积模块进行上采样，并且与前一个阶段的特征进行合并，最终得到经过u型网络提取的特征。
18、进一步，所述3d双十字交叉注意力挖掘模块的具体情况如下：
19、使用两个3d十字交叉注意力挖掘模块将支持图像和查询图像的图像特征分别作为qcc和kcc，通过数值向量vcc来提取双向交叉注意力；
20、所述3d十字交叉注意力挖掘模块由三个1×1×1卷积块、一个亲和模块affinity以及一个特征聚合模块aggregdtion组成，输入图像特征通过三个1×1×1卷积块本文档来自技高网...
【技术保护点】
1.一种小样本三维医疗影像分割系统，其特征在于，使用预训练模型和3D十字交叉注意力挖掘模块来实现在资源受限情况下的三维医疗影像分割，包括：
2.根据权利要求1所述的一种小样本三维医疗影像分割系统，其特征在于，所述超体素生成模块的具体情况如下：
3.根据权利要求2所述的一种小样本三维医疗影像分割系统，其特征在于，所述3D预训练特征提取模块的具体情况如下：
4.根据权利要求3所述的一种小样本三维医疗影像分割系统，其特征在于，所述3D双十字交叉注意力挖掘模块的具体情况如下：
5.根据权利要求4所述的一种小样本三维医疗影像分割系统，其特征在于，所述小样本原型学习网络模块的具体情况如下：
【技术特征摘要】
1.一种小样本三维医疗影像分割系统，其特征在于，使用预训练模型和3d十字交叉注意力挖掘模块来实现在资源受限情况下的三维医疗影像分割，包括：
2.根据权利要求1所述的一种小样本三维医疗影像分割系统，其特征在于，所述超体素生成模块的具体情况如下：
3.根据权利要求2所述的一种小样本三维医疗影像分...
【专利技术属性】
技术研发人员：董守斌，李净，郑潇柔，胡金龙，
申请(专利权)人：中山市华南理工大学现代产业技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。