基于卷积增强交叉自注意力变形器的U型图像分割网络制造技术

一种基于卷积增强交叉自注意力变形器的U型图像分割网络，包括：作为编码器的卷积嵌入模块、卷积合并模块和卷积增强交叉自注意力变形模块以及作为解码器的卷积上采样模块和卷积解码模块，本发明专利技术通过卷积增强交叉自注意力变形模块将图像块划分为横纵条带，并在通道维度上进行特征合并，大大增强了自注意力的感知范围的同时，将局部编码模块融合进入变形中增强了模型的局部信息处理能力，能够提供对象整体风格和轮廓的特征表示，对于局部变化剧烈的对象比基于卷积神经网络(CNN)的模型具有更稳定的识别性能和更为精确的分割效果。定的识别性能和更为精确的分割效果。定的识别性能和更为精确的分割效果。

【技术实现步骤摘要】
基于卷积增强交叉自注意力变形器的U型图像分割网络


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种基于卷积增强交叉自注意力变形器的U型图像分割网络。

技术介绍

[0002]基于变形器的模型由于能够获得长期的上下文信息而被广泛应用于图像分析中。变形器能够提供对象整体风格和轮廓的特征表示，对于局部变化剧烈的对象比基于卷积神经网络(CNN)的模型具有更稳定的识别性能。但现有的基于变形器架构的分割网络容易出现以下问题：1)CNN的提取特征方式与变形器模型有较大区别，特征编码器与解码器的融合会出现特征不匹配的问题。2)当网络的输入是如医学图像一样的高分辨率图像时，由于自注意力的计算复杂度较高，很难在保持性能的情况下，建立一种参数较少的模型。3)变形器在小规模数据集上的表现往往很差，因为它缺乏转换不变性，导致对识别对象的位置和大小不敏感。

技术实现思路

[0003]本专利技术针对现有变形器架构特征编码器无法获取详尽的局部信息的缺陷以及全局感知效果有限的不足，提出一种基于卷积增强交叉自注意力变形器的U型图像分割网络，通过卷积增强交叉自注意力变形器将图像划分为横纵条带，并在通道维度上进行特征合并，大大增强了自注意力的感知范围的同时，将局部编码模块融合进入变形器中增强了模型的局部信息处理能力，能够提供对象整体风格和轮廓的特征表示，对于局部变化剧烈的对象比基于卷积神经网络(CNN)的模型具有更稳定的识别性能和更为精确的分割效果。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于卷积增强交叉自注意力变形器的U型图像分割网络，包括：作为编码器的卷积嵌入模块、卷积合并模块和卷积增强交叉自注意力变形器以及作为解码器的卷积上采样模块和卷积解码模块，其中：编码器由五个依次连接的子编码块组成，解码器由四个依次连接的子解码块组成，第一子编码块与第四子解码块直接跳跃连接，第二子编码块与第三子解码块之间、第三子编码块与第二子解码块之间、第四子编码块与第一子解码块之间分别通过用于消除语义鸿沟的特征转换单元进行跳跃连接，第五子编码块与第一子解码块直接连接，第四子解码块输出端设有卷积上采样模块和用于拼接编码的维度映射模块，维度映射模块将融合特征图通过卷积上采样的维度映射生成分割掩码，实现图像分割。
[0006]所述的第一子编码块包括卷积嵌入模块和对应的卷积合并模块，其中：卷积嵌入模块将输入图像嵌入为特征图并进行局部编码提取细节信息，卷积合并模块对特征图进行卷积降采样。
[0007]所述的第二至第四子编码块均包括卷积增强交叉自注意力变形器和对应的卷积合并模块，其中：卷积增强交叉自注意力变形器在同一级别的特征图上进行局部和全局特
征学习，卷积合并模块对特征图进行卷积降采样。
[0008]所述的第五子编码块仅包括卷积增强交叉自注意力变形器。
[0009]所述的第一至第四子解码块均包括卷积上采样模块和对应的卷积解码模块，其中：卷积上采样模块对编码器输出的特征图进行上采样，卷积解码模块对特征图通过跳跃连接特征转换单元进行融合并进行降维和特征提取生成融合特征图。
附图说明
[0010]图1为本专利技术系统示意图；
[0011]图2为卷积增强交叉自注意力变形器示意图；
[0012]图3为特征转换单元示意图；
[0013]图4为实施例流程图；
[0014]图5为本专利技术实施例效果示意图。
具体实施方式
[0015]如图1所示，为本实施例涉及一种基于卷积增强交叉自注意力变形器的U型图像分割网络，包括：位于编码器端的卷积嵌入模块及其卷积合并模块和四个卷积增强交叉自注意力变形器及其卷积合并模块以及位于解码器端的五个卷积上采样模块、四个卷积解码模块、用于消除卷积增强交叉自注意力变形器和卷积解码模块之间语义鸿沟的三个特征转换单元和维度映射模块，其中：卷积嵌入模块将输入图像嵌入为输入1/2大小的特征图并进行局部编码提取细节信息；卷积合并模块对卷积嵌入模块或卷积增强交叉自注意力变形器输出的特征图进行2x的卷积降采样；卷积增强交叉自注意力变形器在同一级别的特征图上先后学习局部和全局特征；卷积上采样模块对第四卷积增强交叉自注意力变形器和卷积解码模块输出的特征图进行上采样；卷积解码模块对经过卷积上采样模块的特征图与三个卷积增强交叉自注意力变形器和一个卷积嵌入模块编码后的特征图通过跳跃连接进行融合并进行降维和特征提取；维度映射模块将卷积解码后的特征经上采样后得到的包含上下文信息的融合特征图通过投影生成分割掩码。
[0016]所述的卷积嵌入模块包括：用于高维度嵌入和降采样的第一卷积编码块和用于对嵌入后的特征图进行局部表示的第二卷积编码块。
[0017]所述的卷积编码块由卷积层、批归一化层和激活函数Gelu组成。
[0018]所述的卷积合并模块通过内置的步长为2填充为1的3
×
3卷积层对输入的特征图进行局部信息融合后，进行下采样和层归一化LN，以加速后续编码的收敛速度。
[0019]如图2a所示，所述的卷积增强交叉自注意力变形器包括：局部编码模块和与其残差连接的交叉自注意力模块、多层感知机MLP与两个层归一化单元LN，其中：局部编码模块对输入的特征图进行局部特征提取，交叉自注意力模块对局部编码模块输出的特征图进行全局建模，从特征图中划分多个窗口并计算窗口内的自我注意和窗口之间的注意力得到蕴含全局信息的特征，多层感知机MLP和层归一化单元LN对同时包含局部和全局信息的特征图进行语义信息整合并加速收敛，具体为：由第l
‑
1个卷积合并模块得到的局部收缩特征X
I
‑1输入局部编码模块得到编码后的输出将输入LN进行归一化得到规整后的特征输出将输入交叉自注意力模块得到蕴含全局信息的特征最后将运算后的残差
连接即即得到第l个卷积增强交叉自注意力变形器的局部收缩特征X
l
。
[0020]所述的局部编码模块包括：步长1填充为1卷积核大小为3
×
3的深度可分离卷积层DWconv、批归一化层BN和步长1填充为1的1
×
1卷积层Conv，其中：第l
‑
1个卷积合并模块得到的局部收缩特征X
l
‑1通过深度可分离卷积操作DWconv(BN(Conv(X
l
‑1)))，得到第l层卷积增强交叉自注意力变形器中局部编码部分的输出
[0021]如图2b所示，所述的交叉自注意力模块，通过以下方式计算得到：对第l层卷积增强交叉自注意力变形器中局部编码模块归一化得到规整后的维度为的特征输出在特征维度分为水平和垂直组，其中：C为特征维度，H和W分别为特征的长和宽，垂直组注意力和水平组注意力和水平组注意力然后分别进行交叉自注意力的计算，具体如下：
[0022]以交叉自注意力模块中垂直组注意力为例，将为例，将为例，将均匀地划分为宽度为d的非重叠垂直带{Vi1，V
i2
，
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积增强交叉自注意力变形器的U型图像分割网络，包括：作为编码器的卷积嵌入模块、卷积合并模块和卷积增强交叉自注意力变形模块以及作为解码器的卷积上采样模块和卷积解码模块，其中：编码器由五个依次连接的子编码块组成，解码器由四个依次连接的子解码块组成，第一子编码块与第四子解码块直接跳跃连接，第二子编码块与第三子解码块之间、第三子编码块与第二子解码块之间、第四子编码块与第一子解码块之间分别通过用于消除语义鸿沟的特征转换单元进行跳跃连接，第五子编码块与第一子解码块直接连接，第四子解码块输出端设有卷积上采样模块和用于拼接编码的维度映射模块，维度映射模块将融合特征图通过卷积上采样的维度映射生成分割掩码，实现图像分割。2.根据权利要求1所述的基于卷积增强交叉自注意力变形器的U型图像分割网络，其特征是，所述的第一子编码块包括卷积嵌入模块和对应的卷积合并模块，其中：卷积嵌入模块将输入图像嵌入为特征图并进行局部编码提取细节信息，卷积合并模块对特征图进行卷积降采样；所述的第二至第四子编码块均包括卷积增强交叉自注意力变形模块和对应的卷积合并模块，其中：卷积增强交叉自注意力变形模块在同一级别的特征图上进行局部和全局特征学习，卷积合并模块对特征图进行卷积降采样；所述的第五子编码块仅包括卷积增强交叉自注意力变形模块。3.根据权利要求1所述的基于卷积增强交叉自注意力变形器的U型图像分割网络，其特征是，所述的第一至第四子解码块均包括卷积上采样模块和对应的卷积解码模块，其中：卷积上采样模块对编码器输出的特征图进行上采样，卷积解码模块对特征图通过跳跃连接和特征转换单元进行融合并进行降维和特征提取生成融合的特征图。4.根据权利要求1或2所述的基于卷积增强交叉自注意力变形器的U型图像分割网络，其特征是，所述的卷积嵌入模块包括：用于高维度嵌入和降采样的第一卷积编码块和用于对嵌入后的特征图进行局部表示的第二卷积编码块；所述的卷积编码块由卷积层、批归一化层和激活函数Gelu组成。5.根据权利要求1或2所述的基于卷积增强交叉自注意力变形器的U型图像分割网络，其特...

【专利技术属性】
技术研发人员：张麒，严逸飞，
申请(专利权)人：上海大学，
类型：发明
国别省市：