System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 扩散模型、多尺度与注意力模块的医学超声图像分割方法技术_技高网

扩散模型、多尺度与注意力模块的医学超声图像分割方法技术

技术编号:43808956 阅读:3 留言:0更新日期:2024-12-27 13:25
本发明专利技术公开了扩散模型、多尺度与注意力模块的医学超声图像分割方法,本发明专利技术将其扩散模型为改进的去噪扩散概率模型,多尺度与注意力模块分别为自行设计的多尺度动态条件模块和高斯交叉融合注意力模块。该方法使用去噪扩散概率模型,去除图像噪声和捕获重要细节信息;利用多尺度动态条件模块,提高图像对比度和对不同尺度上下文信息的整合能力;利用高斯交叉融合注意力模块,克服直接合并编码器特征和动态条件模块特征时的不兼容性。

【技术实现步骤摘要】

本专利技术涉及图像分割,特别涉及扩散模型、多尺度与注意力模块的医学超声图像分割方法


技术介绍

1、深度学习技术能够自动从图像中学习深层次信息,无需人工干预。基于卷积神经网络(convolutional neural network, cnn)的方法在医学超声图像分割领域取得了卓越效果。其中ronneberger等人提出的u-net因其对称的网络结构和跳跃连接,成为最受欢迎的网络架构之一。为了进一步提高分割精度,zhou等人提出了u-net++网络,重新设计跳跃连接结构,并引入了深度监督机制,对不同分割任务进行剪枝,减少了编码器和解码器之间的特征差异。此外,oktay等人提出的attention u-net在编码器和解码器之间添加了集成注意力门,突出了局部区域特征并抑制了不相关区域的信息,提高了分割精度。valanarasu等人提出的unext通过引入标记化的多层感知机(multilayer perceptron , mlp)块来完成标记和投影卷积操作,并使用标记化mlp对特征表示进行建模,有效捕获局部依赖关系。

2、尽管卷积神经网络具有较强的图像细节提取能力,但在建模显式的远程关系上通常存在局限性。为了克服这一局限性,序列到序列预测的transformer架构成为了一种替代方案,并在vision transformer和swin transformer的基础上提出了许多变体,如transunet、unetr、swin-unet和transunet+等,这些模型在医学图像分割任务中的性能均超越了传统u-net。与传统卷积神经网络相比,transformer更擅长处理全局依赖关系,这对于复杂图像的分割非常有利。特别是chen等人提出的transunet网络,将transformer与u-net结构相结合,既保留了u-net的局部特征提取能力,又增强了全局特征的捕捉能力。然而,由于该方法在最初的编码阶段使用传统卷积神经网络进行特征提取,导致后续卷积的接受域过大,未能充分发挥transformer的优势,在下采样阶段多尺度信息也没有得到有效整合和利用。纯transformer方法尚存在特性丢失的问题。

3、去噪扩散概率模型作为一种功能强大的生成模型,近年来受到了广泛关注和欢迎。该方法通过模拟数据的演化过程,逐步细化分割边界,生成高质量的图像,尤在处理复杂背景和细节丰富的图像时表现出色。例如medsegdiff方法取得了显著成功,并且超越了之前最先进的分割方法,医学图像的分割效果得到极大提升。然而,该方法在每一步只使用静态的病灶地面真实图像作为条件信息,难以学习到更丰富的病灶信息。因此,单一使用去噪扩散概率模型尚存在局限性,还需要添加相关模块来增强模型对病灶信息的学习能力,使生成的图像更接近地面真实图像。从而进一步提高分割的精度和鲁棒性。


技术实现思路

1、本专利技术目的就在于为了解决上述的问题,而提供扩散模型、多尺度与注意力模块的医学超声图像分割方法。

2、为实现上述目的,本专利技术采取的技术方案为:

3、包括采用编码器-解码器架构,由去噪扩散概率模型、多尺度动态条件模块和高斯交叉融合注意力模块三大核心部分构成,其特征在于:去噪扩散概率模型在正向扩散阶段,将高斯噪声逐步添加到初始图像中,模拟图像的逐步退化过程;在反向扩散阶段,从标准正态分布中采样出,并输入编码器中提取特征;

4、在编码器部分,首先通过stem模块对进行浅层特征提取,该编码器由3×3卷积、批标准化和线性修正单元组成,在至阶段,通过四个卷积模块进一步提取浅层特征并下采样;

5、多尺度动态条件模块从超声图像中捕捉不同尺度的长距离依赖关系,并通过高斯交叉融合注意力模块将两部分特征有效融合;

6、在解码器部分,首先在阶段,将高斯交叉注意力模块的特征与多尺度动态条件模块的跳跃连接特征进行通道拼接和1×1卷积,转化的图像保持与输入相同的分辨率,之后,通过3×3的转置卷积上采样,并输入到下一个阶段;在到阶段,将输入特征与动态条件模块相应层的跳跃连接特征经过通道拼接、1×1卷积和转置卷积逐渐恢复至原始分辨率,形成优化的端到端网络架构。

7、优选的,具体步骤如下:

8、步骤1:使用去噪扩散概率模型,去除图像噪声和捕获重要细节信息

9、去噪扩散概率模型由正向扩散阶段和反向扩散阶段组成;

10、在正向扩散过程中,将高斯噪声逐步添加到输入图像,执行个时间步长后,原始图像转化为几乎全是高斯噪声的图像,正向扩散过程可定义为:

11、

12、

13、式中:和分别代表步长和时的噪声图像;;是噪声级别的系数,控制噪声添加的比例,随步长的增大而减小;是单位矩阵;代表高斯分布;

14、在反向扩散过程中,噪声图像通过一系列迭代步骤逐渐去除噪声,并恢复为原始图像,假设存在一个逆向过程分布,该分布由具有可学习参数的神经网络来参数化,以精确地拟合图像在每个时间步长的均值和方差;

15、

16、

17、反向扩散过程可表示为:

18、

19、在去噪扩散概率模型的训练过程中,关键步骤是最小化估计分布和真实后验分布之间的kl散度,该kl散度衡量了两个概率分布间的差异,通过调整神经网络参数使得预测的分布接近最小化估计分布,ddpm的训练目标表示为:

20、

21、dma-useg模型的损失函数可表示为:

22、

23、其中,为动态条件模块分割图像;表示神经网络的拟合函数;ex0,ε表示括号内计算数值的数学期望;

24、步骤2:利用多尺度动态条件模块,提高图像对比度和对不同尺度上下文信息的整合能力

25、利用多尺度动态条件模块来捕获图像细节信息,突出目标区域特征,并作为辅助信息来指导解码器中的图像生成过程,首先通过一个stem层,之后采用四个特征提取模块至进行逐步特征提取和下采样,最后,将提取的特征输入到transfuse模块中;

26、再通过多尺度融合模块,将不同尺度间的信息进行交互,捕捉全局上下文依赖关系,充分利用深层特征,解决超声图像对比度低问题;首先将经过transformer模块输出特征经过1×1卷积运算调整尺寸后表示为,将cnn模块中阶段输出特征表示为。则控制不同尺度特征集成程度的软门控可表示为:

27、

28、其中,表示为线性映射;表示为激活函数;表示为通道拼接;

29、接下来,使用元素乘法将软门控与进行合并,然后与进行元素加法来实现特征的增强和细节的保留,融合图像可表示为:

30、

31、其中,为元素点积运算;为元素加法;

32、步骤3:利用高斯交叉融合注意力模块,解决编码器特征和动态条件模块特征融合时的不兼容问题

33、利用高斯交叉融合注意力模块来解决直接合并这两种特征时可能出现的不兼容问题;首先将两本文档来自技高网...

【技术保护点】

1.扩散模型、多尺度与注意力模块的医学超声图像分割系统,包括采用编码器-解码器架构,由去噪扩散概率模型、多尺度动态条件模块和高斯交叉融合注意力模块三大核心部分构成,其特征在于:去噪扩散概率模型在正向扩散阶段,将高斯噪声逐步添加到初始图像中,模拟图像的逐步退化过程;在反向扩散阶段,从标准正态分布中采样出,并输入编码器中提取特征;

2.根据权利要求1所述的扩散模型、多尺度与注意力模块的医学超声图像分割方法,其特征在于:具体步骤如下:

3.根据权利要求1所述的扩散模型、多尺度与注意力模块的医学超声图像分割方法,其特征在于:步骤2中的TransFuse模块包含CNN与Swin Transformer模块,具体过程如下:

【技术特征摘要】

1.扩散模型、多尺度与注意力模块的医学超声图像分割系统,包括采用编码器-解码器架构,由去噪扩散概率模型、多尺度动态条件模块和高斯交叉融合注意力模块三大核心部分构成,其特征在于:去噪扩散概率模型在正向扩散阶段,将高斯噪声逐步添加到初始图像中,模拟图像的逐步退化过程;在反向扩散阶段,从标准正态分布中采样出,并输入编码器中提取...

【专利技术属性】
技术研发人员:廉敬曹玉竹张怀堃杨雪丰郑礼刘冀钊石斌
申请(专利权)人:兰州交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1