【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于轻量化注意力模块的医学图像分割模型及模型的训练方法。
技术介绍
1、医学图像分割是医学影像分析中的一项重要任务，其目标是将病灶信息从背景中分离，从而为医生为病症进行定性、定量的评估和诊断提供支撑。近年来，医学图像分割任务在即时医疗设备中的使用一直在增加。例如，即时超声(pocus)设备已被证明可用于快速检查肺部胸膜不规则性和自动膀胱体积计算等。基于手机摄像头的图像也被用于检测和诊断皮肤状况。这些任务的主要基于unet的深度学习方案来解决。那是因为unet创新性的在全卷积网络之上提出了跳跃连接，在保证网络结构简单的同时充分利用了下采样中的多阶段特征信息，使得分割性能比较强大，但卷积运算通常在获取长距离信息之间的关系时表现出局限性。
2、与卷积不同，vit(vision transformer)通过将图像标记为序列并利用自我注意块来促进全局通信，从而更好地整合上下文信息。然而，自注意力模块每个头的参数数量为o(d^2)，其中d为输入的维度，这对于全局运算来说特别考验输入的大小。因此这类网络牺牲了模型结构精简度来换取分割精准性的提升，对于具有限制的医疗环境来说，并不能很好地应用于临床场景。
3、随着探究如何用小模型实现高性能的趋势逐渐升起，如何设计一个带有注意力性能的高效网络，使网络具有更少的计算开销，更少的参数数量，更快的推理时间，同时保持良好的性能，对满足医疗领域的即时性应用需求至关重要。
技术实现思路
1、针对上述现有
2、为了解决上述技术问题，本专利技术采用如下技术方案：
3、一种基于轻量化注意力网络的医学图像分割模型，基于unet网络构建分割模型，分割模型包括4～6个上下采样阶段，每个上下采用阶段包括一个卷积采样模块，上下采样阶段中的下采样层采用池化操作，上采样层采用插值操作，每个卷积层后连接着批量归一化层；在下采样层中串联加入由大核空洞卷积组合形成的局部空间注意力模块以及通道之间交互关注的通道注意力模块，局部空间注意力模块用于在局部的卷积空间上生成对不同特征的关注系数，通道注意力模块用于将信息沿着通道方向压缩，在通道维度进行特征学习；在跳跃连接和上采样层中加入卷积形式的门控注意力模块，门控注意力模块用于过滤无关信息，保证特征上采样中的有效性；在网络瓶颈处设置了全局注意力模块，全局注意力模块用于计算每个空间位置与全局所有其他空间位置之间的相关性，实现像素位置之间的远程依赖。
4、作为优化，所述分割模型包括5个上下采样阶段。上下采样阶段的数量在不影响性能的同时还满足轻量化的需求。
5、作为优化，局部空间注意力模块使用1×1卷积和gelu激活函数用来激活原有特征参数，接着用9×9、13×13、21×21三个不同大小的大核空洞卷积多尺度提取图像特征，继而融合生成注意力权重图，最后加一个残差结构连接输入与注意力图点乘后的结果，具体步骤如下：
6、x1,x2,x3＝gelu(conv1(x)) (1)
7、att＝conv1(d9(x1)+d13(x2)+d21(x3)) (2)
8、out＝x+conv1(att.x) (3)
9、其中x为输入的特征信息，d为大核空洞卷积，conv是普通卷积，att为注意力权重，gelu是激活函数；
10、通道注意力模块使用平均池化来生成通道特征，将深度卷积替换为全连接层，利用其高度非线性的全局效应，自适应生成通道注意图，具体公式如下：
11、att＝σ(linear(relu(linear(avepool(x))))) (4)
12、out＝x+x.att (5)
13、其中σ表示sigmod激活函数，linear表示全连接结构，relu表示激活函数，avepool是平均池化操作。
14、作为优化，门控注意力模块从粗糙尺度中提取的信息用来作为传入张量的大致特征，其与较细尺度提取的细节化特征信息在被不同激活函数激活后进行点乘，实现特征二次筛选的过程，让最后得出的权重地图拥有细致的分类能力，能精准鉴别信息的有用程度，注意力模块的公式如下所示：
15、f1＝σ(dw3(xacted)) (6)
16、f2＝gelu(dw5(xacted)) (7)
17、att＝gelu(dw3(f1.f2)) (8)
18、out＝conv1(xacted)+att (9)
19、其中(f1.f2)为特征权重矩阵，σ为sigmod激活函数，dw为深度可分离卷积。
20、作为优化，全局注意力模块通过输入特征与其转置矩阵的乘法，得到的注意力地图中的每个点即表示成空间上两个位置的所有通道的乘积之和，按照矩阵乘法的步骤，即可计算出每一行所代表的空间域与全局信息的关联度，具体公式如下：
21、
22、zi＝.yi+xi (11)
23、其中i是要计算的位置、j是要用作加权的位置，即特征图的位置；x是输入，y是点积的输出，f是计算相似性的函数，g是一个单变量，并且c为归一化；对于原始特征图x，首先使用1×1卷积来生成θ(xi)，然后通过softmax获得相似关系f(xi,xj)，并将其与g(xj)相乘以获得yi，执行另一个1×1卷积wz，最后与xi相加得到最终输出zi。
24、本专利技术还公开了一种医学图像分割模型的训练方法，包括以下步骤：
25、(1)获取图片集，将图片集中所有图片内容归一化到平均值为0、标准值为1的数值，并将分辨率调整为256×256的大小，之后将图片集划分设置为训练集和验证集；
26、(2)设定超参数和损失函数，初始化优化器，初始化用于进行图像分割的la-unet神经网络，la-unet神经网络为上述所述的基于轻量化注意力模块的医学图像分割模型；
27、(3)将训练集x输入la-unet神经网络，得到分割结果y，计算预测结果和真实值之间的loss，然后反向传播更新网络参数；
28、(4)利用验证集对步骤(3)中更新网络参数后的la-unet神经网络进行验证，计算当前模型在验证集上的dice系数和iou，如果dice系数优于历史最大值则保存当前模型参数，并且更新历史最优dice数值，
29、
30、
31、(5)当迭代次数达到设定值结束训练。
32、作为优化，所述损失函数使用交叉熵和骰子损失的组合，其公式为：
33、
34、
35、lours＝0.5lbce+ldice (16)
36、其中n为本文档来自技高网...
【技术保护点】
1.一种基于轻量化注意力模块的医学图像分割模型，其特征在于：基于UNet网络构建分割模型，分割模型包括4～6个上下采样阶段，每个上下采用阶段包括一个卷积采样模块，上下采样阶段中的下采样层采用池化操作，上采样层采用插值操作，并且每个卷积层后连接着批量归一化层；在下采样层中串联加入由大核空洞卷积组合形成的局部空间注意力模块以及通道之间交互关注的通道注意力模块，局部空间注意力模块用于在局部的卷积空间上生成对不同特征的关注系数，通道注意力模块用于将信息沿着通道方向压缩，在通道维度进行特征学习；在跳跃连接和上采样层中加入卷积形式的门控注意力模块，门控注意力模块用于过滤无关信息，保证特征上采样中的有效性；在网络瓶颈处设置了全局注意力模块，全局注意力模块用于计算每个空间位置与全局所有其他空间位置之间的相关性，实现像素位置之间的远程依赖。
2.根据权利要求1所述的基于轻量化注意力模块的医学图像分割模型，其特征在于：所述分割模型包括5个上下采样阶段。
3.根据权利要求2所述的基于轻量化注意力模块的医学图像分割模型，其特征在于：局部空间注意力模块使用1×1卷积和GELU激活函
4.根据权利要求2所述的基于轻量化注意力模块的医学图像分割模型，其特征在于：门控注意力模块从粗糙尺度中提取的信息用来作为传入张量的大致特征，其与较细尺度提取的细节化特征信息在被不同激活函数激活后进行点乘，实现特征二次筛选的过程，让最后得出的权重地图拥有细致的分类能力，能精准鉴别信息的有用程度，注意力模块的公式如下所示：
5.根据权利要求2所述的基于轻量化注意力模块的医学图像分割模型，其特征在于：全局注意力模块通过输入特征与其转置矩阵的乘法，得到的注意力地图中的每个点即表示成空间上两个位置的所有通道的乘积之和，按照矩阵乘法的步骤，即可计算出每一行所代表的空间域与全局信息的关联度，具体公式如下：
6.一种医学图像分割模型的训练方法，其特征在于：包括以下步骤：
7.根据权利要求6所述的医学图像分割模型的训练方法，其特征在于：所述损失函数使用交叉熵和骰子损失的组合，其公式为：
...【技术特征摘要】
1.一种基于轻量化注意力模块的医学图像分割模型，其特征在于：基于unet网络构建分割模型，分割模型包括4～6个上下采样阶段，每个上下采用阶段包括一个卷积采样模块，上下采样阶段中的下采样层采用池化操作，上采样层采用插值操作，并且每个卷积层后连接着批量归一化层；在下采样层中串联加入由大核空洞卷积组合形成的局部空间注意力模块以及通道之间交互关注的通道注意力模块，局部空间注意力模块用于在局部的卷积空间上生成对不同特征的关注系数，通道注意力模块用于将信息沿着通道方向压缩，在通道维度进行特征学习；在跳跃连接和上采样层中加入卷积形式的门控注意力模块，门控注意力模块用于过滤无关信息，保证特征上采样中的有效性；在网络瓶颈处设置了全局注意力模块，全局注意力模块用于计算每个空间位置与全局所有其他空间位置之间的相关性，实现像素位置之间的远程依赖。
2.根据权利要求1所述的基于轻量化注意力模块的医学图像分割模型，其特征在于：所述分割模型包括5个上下采样阶段。
3.根据权利要求2所述的基于轻量化注意力模块的医学图像分割模型，其特征在于：局部空间注意力模块使用1×1卷积和gelu激活函数用来激活原有特...
【专利技术属性】
技术研发人员：毛玉星，陆航，柳林均，朱琳，陈春旭，宁澜嘉，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。