【技术实现步骤摘要】
本专利技术涉及一种基于双分支解码器的医学图像分割方法及系统，属于图像处理。
技术介绍
1、医疗图像分割在临床治疗中起着至关重要的作用，准确的分割结果可以为临床诊断和随访提供有价值的信息。在临床医学中，传统的图像分割方法使用了比较严格的人工干预算法和专业知识。然而，这个过程耗时、成本高昂，并且可能导致医生疲劳，从而影响诊断准确性。随着计算机硬件设备的进步，基于深度学习的图像分割技术受到了广泛的关注，通过该技术可以准确地从医学图像中分割出解剖结构和病理区域，促进了患者的治疗效果。医学图像分割技术已成为提高医疗咨询效率和精度的关键工具。
2、在众多基于深度学习的分割方法中，基于cnn架构的神经网络，尤其是全卷积网络(fcns)，凭借着其可以处理任意尺寸的图片而在医疗图像分割中占据主导地位。特别是u-net及其变体因其在捕获空间上下文和生成精确分割掩码方面的有效性而备受关注。这些基于cnn的方法都是通过堆叠卷积层和池化层来提取特征信息。卷积层通过卷积核在局部区域内提取特征，然后通过池化层降低特征图的空间尺寸，减少计算复杂度和参数数量。然而，这种方法可能会忽略全局上下文信息，导致分割结果缺乏全局一致性，尤其是在处理复杂解剖结构面临挑战。
3、为了解决传统基于cnn的模型在处理长距离依赖关系时存在的局限性，transformer被提出，通过引入自注意力机制来实现全局依赖关系的建模，由于其不受序列长度的限制而在自然语言处理(nlp)方面取得的重大进展。随后，研究人员开始尝试将transformer引入视觉领域。visi
4、将transformer架构整合到医学图像分割模型中，引发了新型混合方法的开发。用于处理医疗影像的混合模型的先驱就是transunet网络，它充分发挥了卷积神经网络(cnns)和transformer的优势，具体利用resnet50提取底层特征，然后通过transformer对这些底层特征进行编码，以捕获长距离相关性。transunet通过叠加cnn和transformer的方式，能够有效地同时学习详细的图像特征和全局背景，从而提高了分割准确性和泛化性能。然而，先前的工作主要集中于在编码器阶段整合transformer和cnn的长处，而未对解码器做出任何改进，忽略了优化解码器的重要性。在医疗图像分割领域，我们常常面临样本数据集不均衡的挑战。现有的像素级分割模型通常通过网络内部的特征提取和处理来对每个像素进行分类，从而生成分割结果。然而，这些模型并没有充分利用类别信息来辅助分割任务，导致模型的预测效果受到一定影响。mask transformers试图通过独立的transformer块来增强基于cnn的骨干网络。maxdeeplab将detr中的对象查询解释为用于端到端全景分割的内存编码查询。maxquery和kmax-deeplab提出将查询解释为聚类中心，并添加监管约束来学习查询的聚类表示。据我们了解，目前对基于mask transformer的方法的研究比较少，对于如何把mask transformer更好地结合到现有的骨干网络中还有很大的研究空间。
技术实现思路
1、本专利技术为解决现有技术中u形网络的解码器通常使用简单的级联上采样，未能最大化transformer捕获长距离依赖关系的能力，并且现有像素级分割模型没有利用类别信息的技术问题，进而提出一种基于双分支解码器的医学图像分割方法及系统。
2、本专利技术为解决上述问题采取的技术方案是：本专利技术提出一种基于双分支解码器的医学图像分割方法，包括：
3、步骤1：基于cnn-transformer混合编码器提取医疗图像的图像特征；
4、步骤2：构建像素解码器，基于像素解码器对医疗图像的特征图进行恢复分辨率；
5、步骤3：构建含有lmax transformer的增强解码器，基于增强解码器进行聚类捕获解码后的医疗图像特征的细节信息，获取医疗图像的分割预测结果；
6、步骤4：设计对比聚类分配损失，获取特征增强视图并增强特征增强视图和聚类结果之间的相似度；
7、步骤5：设计多尺度分割损失，基于对比聚类分配损失和多尺度分割损失获取总分割损失，通过总分割损失反向传播优化混合编码器和增强解码器的参数，完成医疗图像的自动分割。
8、可选的，步骤1中提取医疗图像的图像特征的步骤包括：
9、步骤1.1：将医疗图像x∈rh×w×c输入至cnn编码器中进行尺度划分，分别得到和四个尺度的特征图，每个尺度的特征图输出的隐藏特征序列为其中，c为通道数，h为图像高度，w为图像宽度；
10、步骤1.2：对cnn编码器中每个尺度的特征图输出的隐藏特征序列进行重塑，得到个图像块其中每个图像块的大小均为p×p；
11、步骤1.3：使用线性投影将重塑后的图像块映射成d维的embedding，并记录每个图像块的位置信息，获取医疗图像的局部特征；
12、步骤1.4：将d维的embedding输入至由多头自我注意和多层感知器组成的transformer编码器中获取医疗图像的全局特征，cnn-transformer混合编码器输出的隐藏特征序列为
13、可选的，步骤2中对医疗图像的特征图进行恢复分辨率的步骤包括：
14、步骤2.1：对混合编码器输出隐藏特征序列的尺度进行重塑，得到尺度为的隐藏特征序列；
15、步骤2.2：通过级联多个上采样块，将尺度重塑后的隐藏特征序列的分辨率从逐步恢复到h×w。
16、可选的，步骤3中获取医疗图像的分割预测结果的步骤包括：
17、步骤3.1：通过过跳跃连接融合像素解码器和cnn-transformer混合编码器四个尺度的像素特征；
18、步骤3.2：将融合后的每个尺度的像素特征依次输入kmax transformer模块进行聚类；
19、步骤3.3：利用截断正态分布对聚类中心进行初始化，得到输出聚类中心b0,b0∈rn×c；
20、步骤3.4：对聚类中心进行更新；
21、步骤3.5：基于更新后的聚类中心对每个聚类内的像素进行聚合，获取聚类结果；
22、步骤3.6：基于聚类结果获取医疗图像的分割预测结果，并输出特征图f。
23、可选的，步骤3.4中对聚类中心进行更新的步骤包括：
24、步骤3.4.1：将第一个上采样块得到的尺度为的像素特征和聚类中心b0作为第一阶段kmax解码器的输入，得到第一阶段更新的聚类中心b1；
25、步骤3.4.2：依次将所有上采样块输出的像素特征和每个阶段获取的聚类中心作为下本文档来自技高网...
【技术保护点】
1.一种基于双分支解码器的医学图像分割方法，其特征在于，所述一种基于双分支解码器的医学图像分割方法的步骤包括：
2.根据权利要求1所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤1中提取医疗图像的图像特征的步骤包括：
3.根据权利要求1所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤2中对医疗图像的特征图进行恢复分辨率的步骤包括：
4.根据权利要求1所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤3中获取医疗图像的分割预测结果的步骤包括：
5.根据权利要求4所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤3.4中对聚类中心进行更新的步骤包括：
6.根据权利要求5所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤3.4.2中获取每个阶段获取的聚类中心的步骤包括：
7.根据权利要求4所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤3.5中对每个聚类内的像素进行聚合的步骤包括：
8.根据权利要求1所述的一种基于双支解码器的
9.根据权利要求1所述的一种基于双支解码器的医学图像分割方法，其特征在于，步骤5中通过总损失反向优化混合编码器和增强解码器的参数的步骤包括：
10.一种基于混合编码器和双分支解码器的医疗图像分割系统，应用于权利要求1-9任意一项所述的一种基于混合编码器和双分支解码器的医疗图像分割方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于双分支解码器的医学图像分割方法，其特征在于，所述一种基于双分支解码器的医学图像分割方法的步骤包括：
2.根据权利要求1所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤1中提取医疗图像的图像特征的步骤包括：
3.根据权利要求1所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤2中对医疗图像的特征图进行恢复分辨率的步骤包括：
4.根据权利要求1所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤3中获取医疗图像的分割预测结果的步骤包括：
5.根据权利要求4所述的一种基于双分支解码器的医学图像分割方法，其特征在于，步骤3.4中对聚类中心进行更新的步骤包括：
6.根据权利要求5所述的一种基于双分支解码器的医...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。