本发明专利技术公开了一种基于多尺度注意力和积累学习的多任务配准与分割方法，实现了配准与分割任务间的相互促进与增强。本发明专利技术通过双流共享编码器实现任务间的高效特征编码、多尺度注意力模块引导模型关注于具有挑战性的区域，并且通过积累学习策略进一步提升配准和分割的精确度，高效地实现了医学图像的多任务配准与分割，获得了优于当前主流方法的配准和分割精度。本发明专利技术对于医学图像辅助的疾病诊断、病灶监测以及手术导航具有重要的临床应用意义和参考价值。
【技术实现步骤摘要】
本专利技术涉及医学图像处理的，尤其是指一种基于多尺度注意力和积累学习的多任务配准与分割方法。
技术介绍
1、肺癌是对人类生命威胁最为严重的疾病之一，肺癌的初期临床表现为孤立的球状结节，即肺结节。在辅助医师进行肺结节的高效诊断中，准确的配准和分割方法起到了至关重要的作用。
2、医学图像配准和分割是医学图像处理领域最为关键的两项技术，它们在临床上都有广泛应用。其中，医学图像配准技术通过建模一个形变场以扭曲浮动图像与参考图像对齐，是疾病诊断、放射治疗和手术导航中采用的一项关键技术。医学图像分割技术用于分割特定器官或病灶，广泛应用于术中辅助定位和病灶生长监测。
3、尽管目前医学图像配准和分割方法取得了令人瞩目的发展，但它们仍然面临着一些挑战。例如，配准通常建模为无监督的形式，其本质上是一个不适定问题；并且在缺乏先验信息的情况下，配准的可行性将大打折扣。特定器官或病灶的分割需要分割标签的监督，而分割标签的获取需要一定的时间、精力和专业知识；这是一个成本高昂的过程，尤其是对于3d医学图像来说。
4、配准和分割还具有高度的相关性和互补性：配准生成的形变场可以为分割任务提供形变增广，分割获得的解剖先验信息可以为配准提供辅助监督。此外，两任务通常都被建模为相同的结构，都包含了一个编码器和解码器。因此，将多任务学习应用到配准与分割上能够实现这两项任务间的相互促进与增强。然而，配准通常需要拼接输入图像进行特征编码，而分割则不需要。配准和分割的不同编码形式导致这两项任务之间无法建立高效的多任务特征共享机制。
<
br/>技术实现思路
1、本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于多尺度注意力和积累学习的多任务配准与分割方法，实现了配准与分割任务间的相互促进与增强，获得了优于最先进多任务配准与分割方法的性能，对于医学图像辅助的疾病诊断、病灶监测以及手术导航具有重要的临床应用意义和参考价值。
2、为实现上述目的，本专利技术所提供的技术方案为：基于多尺度注意力和积累学习的多任务配准与分割方法，包括以下步骤：
3、1)将参考图像和浮动图像输入双流共享编码器进行特征提取，分别获得参考图像和浮动图像的编码特征图；
4、2)将参考图像和浮动图像的编码特征图输入多尺度注意力模块，提取多尺度解剖注意力；
5、3)将多尺度解剖注意力共享给配准解码器和分割解码器，由配准解码器输出从浮动图像到参考图像的形变场，由分割解码器输出参考图像和浮动图像的分割结果；
6、4)配准过程由参考图像和形变图像的相似性损失形变场的正则化损失共同监督，分割过程由参考图像和浮动图像的分割结果与对应分割标签的分割损失进行监督；其中，采用一致性损失保证配准与分割在解剖结构上的一致性。
7、进一步，在步骤1)中，所述双流共享编码器是以swin transformer为骨干网络进行构建；将上述双流共享编码器定义为dsse(,)，则由其提取的参考图像和浮动图像的编码特征图表示为：
8、f1,f2,…,f10＝dsse(f,m)
9、式中，f1,f2,…,f5表示从参考图像提取的不同分辨率水平的编码特征图，f6,f7,…,f10表示从浮动图像提取的不同分辨率水平的编码特征图；f为参考图像，m为浮动图像。
10、进一步，在步骤2)中，将多尺度注意力模块定义为msam(,)，则由其提取的多尺度解剖注意力表示为：
11、
12、式中，为用于分割解码的多尺度解剖注意力图，为用于配准解码的多尺度解剖注意力图；表示来自低一级分辨率水平的分割解码特征图，fi表示来自当前分辨率水平的编码特征图。
13、进一步，在步骤3)中，所述配准解码器和分割解码器均应用了积累学习策略，并且是以卷积为骨干网络进行构建；上述应用积累学习策略的配准解码器的解码过程表示如下：
14、
15、式中，conv(·)代表卷积操作，rh(·)为配准头，ups(·)代表上采样操作；ri为当前分辨率水平的配准解码特征图，为来自低一级分辨率水平的配准解码特征图；φi和分别为上采样前后的当前分辨率水平的形变场，为来自低一级分辨率水平的形变场；为浮动图像的多尺度解剖注意力图，代表形变操作；
16、上述应用积累学习策略的分割解码器的解码过程表示如下：
17、
18、式中，sh(·)为分割头，si为当前分辨率水平的分割解码特征图，为来自低一级分辨率水平的分割解码特征图；和分别为上采样前后的当前分辨率水平的形变场，为来自低一级分辨率水平的形变场。
19、进一步，在步骤4)中，所述参考图像和形变图像的相似性损失具体表示为：
20、
21、式中，mse(,)为均方误差算子；为形变图像，是由浮动图像m经过形变场φ形变后生成的；ω为参考图像和浮动图像所在三维空间，p为ω中的像素，p∈ω；
22、所述形变场的正则化损失具体表示为：
23、
24、式中，为梯度算子，||·||2为l2范数算子，形变场φ被定义为恒等变换i与位移场u的和，即φ＝i+u；因此，通过计算位移场u中像素位移梯度的l2范数以实现对形变场φ的正则化；
25、所述分割损失具体表示为：
26、
27、式中，fl和ml分别为参考图像和浮动图像的分割标签，fs和ms分别为参考图像和浮动图像的分割结果；代表dice相似性损失函数，代表二元交叉熵损失函数；
28、所述一致性损失具体表示为：
29、
30、式中，为形变后的浮动图像分割结果，是由浮动图像分割结果ms经过形变场φ形变后生成的。
31、本专利技术与现有技术相比，具有如下优点与有益效果：
32、1、本专利技术采用多任务的形式实现配准和分割的联合学习，充分地利用了配准与分割任务之间的相关性和互补性，实现这两项任务间的相互促进与增强。
33、2、本专利技术实现了配准与分割任务间的高效特征共享，通过所提出的双流共享编码器，打破了配准与分割不同编码形式的障碍，采用统一的特征编码形式实现了两任务间的高效特征共享。
34、3、本专利技术在具有挑战性的配准和分割区域表现优异，通过所提出的多尺度注意力模块提取多尺度解剖注意力，并共享给配准解码器和分割解码器，引导模型关注于具有挑战性的配准和分割区域，获得更高的配准和分割精确度。
35、4、本专利技术将积累学习策略应用到配准和分割解码器上，通过实现由粗到精的配准来优化配准过程，并通过融合多尺度的分割图来优化分割过程，进一步提高了配准和分割的精确度。
本文档来自技高网...
【技术保护点】
1.基于多尺度注意力和积累学习的多任务配准与分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多尺度注意力和积累学习的多任务配准与分割方法，其特征在于，在步骤1)中，所述双流共享编码器是以Swin Transformer为骨干网络进行构建；将上述双流共享编码器定义为DSSE(,)，则由其提取的参考图像和浮动图像的编码特征图表示为：
3.根据权利要求2所述的基于多尺度注意力和积累学习的多任务配准与分割方法，其特征在于，在步骤2)中，将多尺度注意力模块定义为MSAM(,)，则由其提取的多尺度解剖注意力表示为：
4.根据权利要求3所述的基于多尺度注意力和积累学习的多任务配准与分割方法，其特征在于，在步骤3)中，所述配准解码器和分割解码器均应用了积累学习策略，并且是以卷积为骨干网络进行构建；上述应用积累学习策略的配准解码器的解码过程表示如下：
5.根据权利要求4所述的基于多尺度注意力和积累学习的多任务配准与分割方法，其特征在于，在步骤4)中，所述参考图像和形变图像的相似性损失具体表示为：
【技术特征摘要】
1.基于多尺度注意力和积累学习的多任务配准与分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多尺度注意力和积累学习的多任务配准与分割方法，其特征在于，在步骤1)中，所述双流共享编码器是以swin transformer为骨干网络进行构建；将上述双流共享编码器定义为dsse(,)，则由其提取的参考图像和浮动图像的编码特征图表示为：
3.根据权利要求2所述的基于多尺度注意力和积累学习的多任务配准与分割方法，其特征在于，在步骤2)中，将多...
【专利技术属性】
技术研发人员：李彬，冯世享，田联房，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。