【技术实现步骤摘要】
本专利技术涉及医学影像处理，具体为一种异步训练的自适应预处理医学影像分割方法。
技术介绍
1、随着深度学习技术和transformer模型的发展，利用transformer模型进行医学影像分割任务的准确率不断提高，在一些特定影像部位的准确指标开始逐渐超越卷积网络。然而，要使得transformer模型充分发挥性能，通常需要在大规模、高质量的医学影像数据集进行预训练，再针对下游任务进行微调；但是，预训练通常需要消耗大量时间成本和计算资源，且大规模、高质量的医学影像数据集十分缺乏；在缺少预训练的情况下，transformer模型在常见的小规模、低质量医学数据集上的准确性和稳定性并不如卷积网络，其原因主要包括数据缺少自适应的预处理以及.transformer的结构中缺少类似卷积网络的偏置归纳，即对于神经网络通路的稀疏性假设；
2、而现有技术中将transformer模型与卷积网络进行合并，得到基于transformer-卷积混合模型的方法，如cotr,unetr,transunet等，均遵从数据预处理、训练、推理三个阶段；但是仍存在以下两个问题：
3、(1)预处理参数需要人为指定，为了在各种不同的数据集上达到最高性能需要增加额外的调试时间成本；
4、(2)transformer和卷积模块是简单级联组合并且并行训练的，由于两者的收敛速度不同，导致最后的网络更倾向收敛至卷积模块部分，使得transformer不能完全发挥性能。
5、为此，本专利技术提供一种基于异步训练门控卷积transfor
技术实现思路
1、本专利技术的目的在于提供了一种异步训练的自适应预处理医学影像分割方法，通过构建一个自适应预处理-训练方法，在缺少预训练的场景下结合卷积的特征学习特性来提升其在小规模、低质量医学数据集上的准确性和稳定性。
2、本专利技术可以通过以下技术方案实现：一种异步训练的自适应预处理医学影像分割方法，包括如下步骤：
3、步骤一、对医学影像进行自适应预处理并构建基于门控卷积transformer模型的u型网络架构，构建网络前的自适应预处理步骤包括数据读取与数据集划分、图像裁剪、空间缩放、数据增强、归一化处理和分块裁剪；
4、步骤二、基于所述u型网络架构对预处理后的图像数据进行异步训练，包括确定训练参数、计算网络损失并进行反向传播；
5、步骤三、对所述u型网络模型进行推理评价，计算相应的指标值并据此评价u型网络架构的性能。
6、本专利技术的进一步改进在于：步骤一中空间缩放，根据空间尺度信息对剪裁后的图像进行插值缩放，其缩放因子的大小驱动数据增强的概率值发生变化，缩放因子变大，则线性增加概率值以实现更强的数据增强。
7、本专利技术的进一步改进在于：数据增强具体为按照一定概率进行随机旋转、缩放、翻转、高斯加噪、高斯模糊、调整对比度、模拟低分辨率、gamma变换。
8、本专利技术的进一步改进在于：步骤一中分块裁剪为基于运行环境的gpu显存容量和网络模型大小，对默认状态下128体素的裁剪尺寸进行修正，进而确定出模型输入的批大小，充分利用gpu显存。
9、本专利技术的进一步改进在于：u型网络模型包括两侧的编码器、解码器以及三个跳跃连接和一个瓶颈层；
10、在每一个跳跃连接层中，经过偶数个门控卷积transformer模型，并在下采样层前形成跳跃连接传输至解码器，每个下采样层利用卷积在d、h、w维度上各对特征图减半，并使通道数扩大为本层的两倍，在解码器中，每个上采样层的输出特征图会和跳跃连接层相加，并级联输入解码器的门控卷积transformer模型。
11、本专利技术的进一步改进在于：门控卷积transformer模型，以窗口位移transformer为蓝本，对窗口自注意力层中的q、k、v矩阵采用卷积处理后和窗口自注意力的输出进行哈达玛积计算。
12、本专利技术的进一步改进在于：步骤二中训练参数包括迭代次数和异步训练步长，且两者根据参与训练数据集大小以及分布进行人为设定。
13、本专利技术的进一步改进在于：网络损失仅计算网络最终输出的损失，且在反向传播中如果未到达异步训练步长，保持卷积部分的可学习参数冻结，即不进行参数更新；如果到达异步训练步长，所有网络参数同时更新；如果到达最大训练步长，结束训练并进行步骤三；如果没有到达最大训练步长，则继续训练。
14、本专利技术的进一步改进在于：步骤三中的推理评价过程包括：
15、以高斯分布在图像分块中心生成一个高斯权重码；
16、以图像分块的二分之一边长为滑动步长，在待推理图像上进行滑动采样，将裁剪后的分块输入训练完成的模型，并用高斯权重码加权输出数值，所有输出通道经softmax函数计算后得到整体图像的预测掩膜；
17、根据各器官图像的预测掩膜，在测试集各器官图像的真实掩膜上计算d i ce、miou和hd95指标。
18、与现有技术相比，本专利技术具备以下有益效果：
19、1、本专利技术通过空间缩放的缩放因子来修正数据增强的概率值，使得在空间尺度上各向异性的数据能够获得更强的数据增强，从而优化训练过程；
20、2、在分块裁剪步骤中根据内存信息和模型大小自动修正裁剪边长，节省了手动计算的时间，并使得训练框架能够充分利用计算平台的性能；
21、3、引入了异步训练步长，通常为大于1小于5的整数，从而有计划地平衡卷积和transformer部分的收敛，使得网络更好发挥出两者结合的性能；
22、4、提出了门控卷积transformer，对transformer的自注意力层中的q、k、v矩阵采用卷积处理后和自注意力的输出进行哈达玛积计算，相较于简单级联组合能够更有效地耦合卷积和transformer的特征，有利于进行反向传播。
本文档来自技高网...【技术保护点】
1.一种异步训练的自适应预处理医学影像分割方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种异步训练的自适应预处理医学影像分割方法，其特征在于，步骤一中所述空间缩放，根据空间尺度信息对剪裁后的图像进行插值缩放，其缩放因子的大小驱动数据增强的概率值发生变化，缩放因子变大，则线性增加概率值以实现更强的数据增强。
3.根据权利要求2所述的一种异步训练的自适应预处理医学影像分割方法，其特征在于，所述数据增强具体为按照一定概率进行随机旋转、缩放、翻转、高斯加噪、高斯模糊、调整对比度、模拟低分辨率、Gamma变换。
4.根据权利要求1所述的一种异步训练的自适应预处理医学影像分割方法，其特征在于，步骤一中所述分块裁剪为基于运行环境的GPU显存容量和网络模型大小，对默认状态下128体素的裁剪尺寸进行修正，进而确定出模型输入的批大小，充分利用GPU显存。
5.根据权利要求1所述的一种异步训练的自适应预处理医学影像分割方法，其特征在于，所述U型网络模型包括两侧的编码器、解码器以及三个跳跃连接和一个瓶颈层；
6.根据权利要求5所述
7.根据权利要求1所述的一种异步训练的自适应预处理医学影像分割方法，步骤二中所述训练参数包括迭代次数和异步训练步长，且两者根据参与训练数据集大小以及分布进行人为设定。
8.根据权利要求7所述的一种异步训练的自适应预处理医学影像分割方法，所述网络损失仅计算网络最终输出的损失，且在反向传播中如果未到达异步训练步长，保持卷积部分的可学习参数冻结，即不进行参数更新；如果到达异步训练步长，所有网络参数同时更新；如果到达最大训练步长，结束训练并进行步骤三；如果没有到达最大训练步长，则继续训练。
9.根据权利要求1所述的一种异步训练的自适应预处理医学影像分割方法，步骤三中所述的推理评价过程包括：
...【技术特征摘要】
1.一种异步训练的自适应预处理医学影像分割方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种异步训练的自适应预处理医学影像分割方法，其特征在于，步骤一中所述空间缩放，根据空间尺度信息对剪裁后的图像进行插值缩放，其缩放因子的大小驱动数据增强的概率值发生变化，缩放因子变大，则线性增加概率值以实现更强的数据增强。
3.根据权利要求2所述的一种异步训练的自适应预处理医学影像分割方法，其特征在于，所述数据增强具体为按照一定概率进行随机旋转、缩放、翻转、高斯加噪、高斯模糊、调整对比度、模拟低分辨率、gamma变换。
4.根据权利要求1所述的一种异步训练的自适应预处理医学影像分割方法，其特征在于，步骤一中所述分块裁剪为基于运行环境的gpu显存容量和网络模型大小，对默认状态下128体素的裁剪尺寸进行修正，进而确定出模型输入的批大小，充分利用gpu显存。
5.根据权利要求1所述的一种异步训练的自适应预处理医学影像分割方法，其特征在于，所述u型网络模型包括两侧的编码器、...
【专利技术属性】
技术研发人员：章凌通，宋梦蝶，郝小涵，罗鹏辉，祁甫浪，
申请(专利权)人：安徽福晴医疗装备有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。