【技术实现步骤摘要】
本专利技术具体提出了一种基于图像文本协同约束的半监督医学图像分割方法，属于医学图像处理。
技术介绍
1、医学图像分割是对医学影像中的结构或区域进行精确标定和定位的过程，将医学图像划分成不同的区域，每个区域对应着图像中的特定结构、器官或病变。医学图像分割在医学影像领域中具有重要的作用，为医疗诊断、治疗和手术提供了精确而重要的信息，对改善患者的医疗护理和治疗效果具有深远的影响。
2、近年来，深度学习技术在医学图像分割方面取得了显著的进展，如：u-net模型，u-net是一种经典的深度学习架构，广泛用于医学图像分割，其特点是将图像输入经过编码器和解码器的网络结构，有助于捕捉不同层次的特征，尤其适用于小样本情况。生成对抗网络gans, gans被用于生成更真实的医学图像，同时也可以用于改进分割性能，通过生成更具医学实际特征的图像进行训练。这些进展使得深度学习在医学图像分割方面取得了更高的准确性和鲁棒性，为医学影像分析提供了更有前景的解决方案。虽然深度学习在医学图像分割方面取得了显著的进展，但是它们在许多医疗任务中仍然遭受次优性能，主要原因如下：
3、第一 ，标注困难和昂贵： 医学图像的标注通常需要专业的医生或医学领域的专业人士，这使得标注过程变得昂贵且耗时。同时，医学图像的标注对于每个像素的精确性和可靠性要求较高。
4、数据不平衡：医学图像数据集中可能存在类别不平衡的问题，即某些类别的样本数量远远多于其他类别。这可能导致模型在训练过程中偏向于出现频率较高的类别，而对于其他类别的性能较差。
技术实现思路
1、本专利技术的目的是提供一种基于图像文本协同约束的半监督医学图像分割方法，以弥补现有技术的不足。
2、本专利技术将clip与sam相结合，形成双分支网络模型，通过将clip模型与sam模型的优点相结合，建立了半监督医学图像分割模型，以解决半监督医学图像分割任务中数据不足、网络容易过拟合的问题。
3、为实现上述专利技术目的，本专利技术采取的具体技术方案如下：
4、一种基于图像文本协同约束的半监督医学图像分割方法，包括如下步骤：
5、s1：收集医学图像数据集，并对图像数据进行预处理；将数据集分为训练集和测试集，所述训练集包括有监督的图像数据和无监督的图像数据；
6、s2：利用大型视觉语言模型clip的文本编码器，对所选数据集的文本描述进行编码从而获得文本特征；
7、s3：构建网络模型，包括两个分支，分别是clip模型分支以及sam模型分支，两个分支采用共享的编码器，分割网络结构均为unet，参数初始化不同；
8、s4：将训练集输入所述网络模型后，对于sam模型分支 ，将提取到的图像特征与提示嵌入进行拼接，然后将其作为参数添加在后续操作当中作为指导得到分割结果；对于clip模型分支，对于提取到的图像特征与已经获取的文本特征进行拼接，然后将其作为参数添加在后续操作当中作为指导得到分割结果；
9、s5：构建所述网络模型中的损失函数，包括对于有标记数据的监督损失及对于无标记数据的一致性损失以及将二者相结合的总的损失函数；
10、s6：利用训练集中的有标记数据分别对clip模型分支和sam模型分支进行监督训练；
11、s7：利用训练集中的无标记数据对clip模型分支和sam模型分支通过一致性损失进行无监督训练；
12、s8：利用测试集中的测试数据通过sam模型分支进行输出最终的图像分割效果。
13、进一步的，所述s1中：所述预处理包括：处理图像格式，进行图像裁剪，并对图像进行归一化处理；然后构建训练阶段的数据集，包含有监督的部分和无监督的部分，即，其中 = ，其中表示带标记的医学图像，是其对应的真实标签，l代表带注释的医学图像数量， =，从l+1到m总共ml项代表不带注释的医学图像数。
14、进一步的，所述s2中：使用大型视觉语言模型clip的文本编码器来对文本描述进行特征提取，在整个训练过程中不对其进行微调，不仅可以极大程度上减少训练开销，并且也不会过于降低精度，文本描述是关于数据集中要分割的器官名称提示。然后将文本提示经过clip模型的文本编码器得到文本嵌入，具体公式如（1）所示：
15、（1）；
16、其中代表提取到的特征向量，代表文本编码器,t代表器官的文本描述,对于每个数据集而言，其中每个图像对应的文本描述都是相同的。
17、进一步的，所述s3中：构建总体的分割网络模型，包括一个共享的编码器以及clip模型分支以及sam模型分支，其中clip模型分支包含一个文本编码器以及clip图像解码器。sam模型分支包含nnunet网络，提示编码器以及sam图像解码器。
18、进一步的，所述s4中：为了充分利用sam模型的分割能力以及clip模型利用文本提示的能力，同时克服医学图像分割中缺少标注数据的问题，采用两个分割网络，分别是以及，均为unet，初始化参数不同。对于sam模型，由于sam模型需要输入图片的提示（点、框、文本等），而人工提示又成本太高，耗费大量时间，为克服上述缺点，本专利技术首先采用nnunet网络对输入图片进行粗分割，产生相应的框提示，然后将带有框提示的图片输入sam模型的提示编码器生成提示嵌入，具体公式如(2) 、 (3)所示：
19、（2）；
20、（3）；
21、其中代表输入到nnunet网络进行粗分割的第i个图像数据，代表带有框提示的图像数据,代表sam模型的提示编码器，相应的提示嵌入。在获得框提示嵌入的同时，将图像数据同样输入到的sam模型与clip模型共享的图像编码器中获得图像嵌入，具体公式如（4）所示：
22、（4）；
23、其中表示此时第i个图像输入网络，为sam模型与clip模型共享的编码器部分，则是提取到的图像特征。由于此时特征图的大小与之前得到的提示嵌入的大小不一致，所以将其经过全局平均池化之后才能与拼接，得到中间参数,如公式（5）所示：
24、（5）；
25、其中gap表示全局平均池化操作，表示向量拼贴操作，是待处理的中间参数变量；而对于编码器得到的图像特征,继续经过解码器的上采样部分，将特征图还原成原始图片的大小，并且与经过处理的相加，将相加的结果再经过卷积操作，得到最终的预测掩码，如下式（6）所示：
26、（6）；
27、其中表示sam分割网络的解码器部分，表示卷积操作，目的是使的通道数和经解码器过后得到的特征图的通道数相一致，是扩充操作，使得的大小经解码器过后得到的特征图的大小相一致，经过这两步处理才能进行相加操作。是得到最终分割结果的本文档来自技高网...
【技术保护点】
1.一种基于图像文本协同约束的半监督医学图像分割方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于图像文本协同约束的半监督医学图像分割方法，其特征在于，所述S1中：所述预处理包括：处理图像格式，进行图像裁剪，并对图像进行归一化处理；然后构建训练阶段的数据集，包含有监督的部分和无监督的部分，即，其中 = ，其中表示带标记的医学图像，是其对应的真实标签，L代表带注释的医学图像数量， =，从L+1到M总共M-L项代表不带注释的医学图像数。
3.如权利要求1所述的基于图像文本协同约束的半监督医学图像分割方法，其特征在于，所述S2中：使用大型视觉语言模型CLIP的文本编码器来对文本描述进行特征提取，如公式（1）所示：
4.如权利要求1所述的基于图像文本协同约束的半监督医学图像分割方法，其特征在于，所述S3中：构建两分支分割网络模型，分别是CLIP模型分支以及SAM模型分支；其中，两个模型采用一个共享的编码器，并在初始化的过程中由SAM模型的编码器进行初始化，在训练过程中逐渐吸收CLIP模型的知识；除共享编码器外，CLIP模型分支包括一个文本编码
5.如权利要求1所述的基于图像文本协同约束的半监督医学图像分割方法，其特征在于，所述S4中：输入图像首先经过由SAM模型与CLIP模型共享的编码器得到图像特征，如公式（2）所示：
6.如权利要求1所述的基于图像文本协同约束的半监督医学图像分割方法，其特征在于，所述S5具体如下：
...【技术特征摘要】
1.一种基于图像文本协同约束的半监督医学图像分割方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于图像文本协同约束的半监督医学图像分割方法，其特征在于，所述s1中：所述预处理包括：处理图像格式，进行图像裁剪，并对图像进行归一化处理；然后构建训练阶段的数据集，包含有监督的部分和无监督的部分，即，其中 = ，其中表示带标记的医学图像，是其对应的真实标签，l代表带注释的医学图像数量， =，从l+1到m总共m-l项代表不带注释的医学图像数。
3.如权利要求1所述的基于图像文本协同约束的半监督医学图像分割方法，其特征在于，所述s2中：使用大型视觉语言模型clip的文本编码器来对文本描述进行特征提取，如公式（1）所示：
4.如权利要求1所述的基于图像文本协同约束的半监督医学图像分割方法，其特征在于，所述s3中：构建两分支分割网络模型，分别是clip模型分支以及sam模型分支；其中，两个模型采...
【专利技术属性】
技术研发人员：蔡青，曹子彦，鄢柯，张帆，刘治，徐勇，王珊珊，董军宇，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。