【技术实现步骤摘要】
本专利技术属于三维医学图像分割，具体是构建了一种基于原型学习的自监督实例自适应的医学图像分割方法。
技术介绍
1、医学图像分割(medical image segmentation，mis)的目的是将图像划分为表示不同语义类别的部分，在癌症诊断、外科机器人导航和放射治疗剂量来的控制等方面具有重要的作用。早期的mis方法主要是基于轮廓和传统机器学习的算法，然而随着计算机技术的快速发展，目前大多mis模型是基于深度cnns和transfomer的方法，如res-unet，u-net++，swin-unet，unetr和unetr++等。这些方法在生成表示性的像素级embeddings方面具有显著的效果，然而由于其固定的类别使得模型缺乏捕捉类别多样性的能力。
2、原型学习指的是学习一系列代表类的原型，将模型网络输出的像素级embeddings映射到对应的原型中心。基于原型学习的网络由于其最直接的输出层和对新类别的快速泛化性，在小样本学习或零样本学习方面取得了显著的效果，如matching network，relationnetworks等。然而目前基于原型学习的图像分割方法有了重大改进，主要是通过像素与原型的比较来生成分割掩码，但是在如何使原型适应不同的输入以及缺乏捕捉类别多样性方面仍然缺乏灵活性。
3、鉴于二者的以上限制，我们发现将原型学习引入到mis可以互相弥补二者各自的缺陷，即将mis看成是将图像的像素点聚类到对应的语义类别的一种分割方法。如果我们想实现这种方法，我们必须解决两个问题，一个是使得模型可以捕
技术实现思路
1、为了解决
技术介绍
中的问题，本专利技术提供了一种基于原型学习的自监督实例自适应的医学图像分割方法。本专利技术的目的在于通过构建自监督的掩码生成(smg)模块，其中目标queries代表类及其子类，并且queries数目大于类别数目来建模类的丰富性；同时构建自适应的原型学习(ipl)模块使得原型可以根据不同的输入产生自适应。
2、本专利技术采用的技术方案如下，具体包括以下步骤：
3、一、一种基于原型学习的自监督实例自适应的医学图像分割方法
4、包括如下步骤：
5、1)将三维医疗图像经过数据预处理操作进行标准化以减少不同图像间的区域差异；所述的数据预处理操作包括各向同性间距和均匀强度尺度；
6、2)将步骤1)得到的标准化的三维图像输入3d backbone，经编码器生成中间特征图谱f，再经像素解码器生成像素级的空间嵌入特征(per-pixel embeddings)fo；
7、3)通过自监督的掩码生成smg模块生成伪标签m：
8、初始化n个目标查询q，kmax解码器使用像素解码器生成的多尺度(l层)特征指导目标查询(queries)的学习更新，生成伪标签m；
9、4)将步骤2)生成的中间特征图谱f和步骤3)生成的伪标签m输入自适应原型学习ipl模块，生成最终的分割预测结果。
10、所述步骤3)具体为：
11、3.1)初始化n个目标查询q，其中n>k，k表示目标类别数(当n>k时，可以建模子类信息)；
12、3.2)目标查询q的更新：
13、根据当前l层的图像特征和前一层即l-1层的目标查询ql-1指导当前l层的目标查询ql的更新：
14、其中，l∈l，l表示像素解码器生成的多尺度特征层数；当前l层的图像特征由步骤2)的像素解码器生成；
15、通过矩阵相乘计算相似性，筛选出相似性最大的目标查询ql(cluster)所在的索引值：
16、
17、其中，表示矩阵相乘操作；
18、然后再通过多头自注意机制以及当前l层生成的图像特征更新当前l层的目标查询ql：
19、
20、其中，表示矩阵相乘操作，mhsa()表示多头自注意力机制；
21、3.3)基于步骤3.2)更新的查询嵌入(query embeddings)ql，将当前l层生成的图像特征映射到其对应的最接近的聚类，生成像素到聚类的指定图谱(pixel-to-clusterassignment map)公式表达如下：
22、
23、其中，h表示高度，w表示宽度，z表示深度，n表示通道；sim()表示相似性计算；聚类为步骤3.2)经过更新的目标查询ql；
24、3.4)基于步骤3.2)更新的查询嵌入ql，通过一个多层感知机mlp将其映射到对应的类别，生成当前l层由聚类到类别的映射矩阵(cluster-to-class projection matrix)
25、
26、其中，k+1表示除已知类别外还包含一个背景类，mlp表示线性层；
27、3.5)将步骤3.3)生成的和步骤3.4)生成的通过矩阵相乘生成第l层的伪标签ml；
28、
29、其中，ml∈(k+1)×h×w×z，k+1表示除已知类别外还包含一个背景类，表示矩阵相乘操作；
30、3.6)循环执行步骤3.2)～步骤3.5)，直至l层多尺度特征全部更新完成；
31、3.7)将得到的伪标签m通过softmax函数进行归一化；其中，m＝{m1,···,ml,···,ml}。
32、所述步骤4)具体为：
33、4.1)将步骤3)生成的伪标签m与步骤2)生成的中间特征图谱f融合，生成实例特异性原型建议(ipps)pi；
34、
35、其中，表示逐元素相乘，gap()表示全局平均池化操作；
36、4.2)随机初始化k个公共原型建议pc(cpps)，表示共有k个类别；
37、将步骤4.1)生成的实例特异性原型建议与公共原型建议融合，生成最终的原型g；
38、
39、其中，gk∈g，并且gk∈rd×1，d表示嵌入维度；表示拼接操作；mlp()表示一个全连接层；
40、4.3)将步骤4.2)生成的原型gk与步骤2)生成的像素级的空间嵌入特征fo融合，得到最终的分割预测结果
41、
42、其中，ρ表示sigmod激活函数，表示矩阵相乘。
43、本专利技术基于原型学习的自监督实例自适应的医学图像分割方法：
44、a：通过构建自监督过滤机制(sf)引导步骤3)随机初始化的n个目标查询q，用于更好地建模类别信息，避免造成背景偏差的情况；具体为：
45、由于步骤3)初始化的n个目标查询q在模型训练过程中没有合适的引导会造成基于背景的偏差，因此我们引入了一个自监督过滤机制(sf)来避免这种情况的发生；
46、5.1)计算第l-1层聚类的掩码和每个类别的掩码的交集，即计算当前激活的区域与每个类别的前景区域的重合度分数(iou本文档来自技高网...
【技术保护点】
1.一种基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，所述步骤3)具体为：
3.根据权利要求1所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，所述步骤4)具体为：
4.根据权利要求2或3所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，
5.根据权利要求4所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，构建自监督过滤机制的方法具体为：
6.根据权利要求4所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，所述辅助损失为：
7.根据权利要求4所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，根据步骤4)得到的预测结果计算分割损失：
8.根据权利要求1所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，所述的整体的目标损失为分割损失Lseg和辅助损失的总和：
9.一种
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求1～8任一所述的基于原型学习的自监督实例自适应的医学图像分割方法。
...【技术特征摘要】
1.一种基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，所述步骤3)具体为：
3.根据权利要求1所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，所述步骤4)具体为：
4.根据权利要求2或3所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，
5.根据权利要求4所述的基于原型学习的自监督实例自适应的医学图像分割方法，其特征在于，构建自监督过滤机制的方法具体为：
6.根据权利要求4所述的基于原型学习的自监...
【专利技术属性】
技术研发人员：梁国艳，周芹，王喆，陈静远，姚畅，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。