基于块级自注意力和块相关机制的图像分割方法技术

本发明专利技术提供了一种基于块级自注意力和块相关机制的图像分割方法，包括以下步骤：1、搭建ResNet101主干网络；2、将主干网络的输出特征进行分块，并对每个特征块使用1

【技术实现步骤摘要】
基于块级自注意力和块相关机制的图像分割方法
[0001]本申请要求于2022年06月28日申请，申请号为202210739674.8，专利名称为“一种基于块级自注意力和块相关机制的食管癌前病变区域分割方法”的专利技术申请的本国优先权，该申请的全部内容以引用方式并入本文。


[0002]本专利技术涉及深度学习和医学图像分割领域，更具体地，涉及一种基于块级自注意力和块相关机制的图像分割方法。

技术介绍

[0003]自全卷积神经网络(Fully Convolutional Networks，FCN)提出以来，卷积神经网络成为了分割任务的主要手段，并且在自然图像分割任务中达到了很高的精度，图像分割技术已经快速应用到各行各业中，比如无人驾驶领域，但是在医学图像分割中的应用相对较少，对于食管癌前病变区域分割的研究起步就更晚。由于食管炎症、低瘤、高瘤和早癌四类癌前病变区域类间特征不明显，外观差异小，网络无法提取到各类病变的判别性特征，导致分割精度相对较低。
[0004]有效提高网络的精度可采用较大的感受野、获取全局信息等手段，但这几种方法在实施过程中会引入大量的计算量，网络的训练更加困难，使得食管癌前病变区域的分割技术很难应用在实际场景中。
[0005]在医学图像分割中应用较为广泛的是U
‑
Net网络，通过不断堆叠的卷积和池化操作来增加网络深层的感受野，在眼底图像分割中实现了很高的精度，但是该网络在下采样过程中会丢失位置信息，所以提出了很多U
‑
Net网络的变体，比如2018年的U
‑
Net++和Attention Unet等来弥补U
‑
Net网络的缺陷，这类基于编码器
‑
解码器的网络虽然可以实现较高的分割精度，但网络包含了大量的待训练参数和计算量，实际应用中较为困难。同样有一些网络使用特征金字塔来获得多尺度的特征，从而提高分割精度，Chen等人提出空洞空间池化金字塔(Atrous Spatial Pyramid Pooling，ASPP)模块和PSPNet中提出的金字塔池化模型最具有代表性，这类网络通过不同空洞率的空洞卷积和不同尺度的池化，来增加网络深层感受野，受限于空洞率和池化核的大小，深层特征所能得到的感受野也是有限的，在食管癌数据集上尚不能达到很高的精度。自注意力在获取全局信息和远距离依赖信息方面有天然的优势，但会引入大量的计算量，CCNet和Medt都是在自注意力上的改进，前者使用十字交叉路径上的像素点来获得全局信息，这样获得的特征会丢失这些像素点的位置信息，而后者在注意力中引入了位置信息，但引入的位置嵌入与自注意力所需要的Q、K和V三个矩阵相乘，也会给网络带来相当大的计算量。基于以上研究现状，目前在食管癌数据集上的分割网络难以实现以较少的计算量达到相对较高的分割精度。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种基于块级自注意力和块相关机制的图像分割方法。
[0007]本专利技术提供的基于块级自注意力和块相关机制的图像分割方法包括：利用主干网络处理内镜图像，得到第一输出特征；对上述第一输出特征进行分块处理，得到多个特征块；对于每个上述特征块，利用3个1
×
1卷积分别处理上述特征块，得到查询矩阵、第一键矩阵和第一值矩阵；利用块相关机制处理上述查询矩阵，得到第一分块矩阵；基于上述第一分块矩阵、上述第一键矩阵和上述第一值矩阵各自的相对位置偏移，对上述第一分块矩阵、上述第一键矩阵和上述第一值矩阵进行自注意力计算，得到第二输出特征；将与上述多个特征块各自对应的多个第二输出特征在空间维度上拼接，得到第三输出特征；以及利用分割头处理上述第三输出特征，得到上述内镜图像的分割结果。
[0008]根据本专利技术的实施例，上述利用块相关机制处理上述查询矩阵，得到第一分块矩阵，包括：对上述第一输出特征进行卷积处理，得到块相关矩阵；以及基于上述块相关矩阵和上述查询矩阵，得到上述第一分块矩阵。
[0009]根据本专利技术的实施例，上述基于上述块相关矩阵和上述查询矩阵，得到上述第一分块矩阵，包括：使用上述块相关矩阵R将上述特征块和第一输出特征X＝{X
11
，
…
，X
ij
，
…
，X
IJ
}进行关联，其中，i∈{1，
…
，I}，j∈{1，
…
，J}分别表示上述第一输出特征X的第i行、第j列的特征块，H和W是上述第一输出特征X的高度和宽度，和是上述特征块的高度和宽度，C是特征通道数，上述第一分块矩阵M的公式如下：
[0010][0011]在该式中，是在第i行第j列的上述特征块X
ij
通过1
×
1卷积生成的查询矩阵，表示1
×
1卷积，上述块相关矩阵R＝Conv(X)，表示上述块相关矩阵R由第一输出特征X通过卷积得到。
[0012]根据本专利技术的实施例，上述基于上述第一分块矩阵、上述第一键矩阵和上述第一值矩阵各自的相对位置偏移，对上述第一分块矩阵、上述第一键矩阵和上述第一值矩阵进行自注意力计算，得到第二输出特征，包括：基于上述第一分块矩阵和上述第一键矩阵之间的相对位置偏移来处理上述第一分块矩阵，得到第二分块矩阵；基于上述第一分块矩阵和上述第一键矩阵之间的相对位置偏移来处理上述第一键矩阵，得到第二键矩阵；基于上述第一值矩阵的相对位置偏移来处理上述第一值矩阵，得到第二值矩阵；以及对上述第二分块矩阵、上述第二键矩阵和上述第二值矩阵进行自注意力计算，得到上述第二输出特征。
[0013]根据本专利技术的实施例，上述主干网络为ResNet101。
附图说明
[0014]通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其他目的、特征和优点将更为清楚，在附图中：
[0015]图1示意性示出了根据本专利技术实施例的深度学习模型的整体流程示意图。
[0016]图2示意性示出了根据本专利技术实施例的深度学习模型的整体网络结构示意图。
[0017]图3示意性示出了根据本专利技术实施例的带有相对位置偏移的自注意力网络结构示意图。
[0018]图4示意性示出了根据本专利技术实施例的块级自注意力模块的网络结构示意图。
具体实施方式
[0019]以下，将参照附图来描述本专利技术的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本专利技术实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。
[0020]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本专利技术。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0021]在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于块级自注意力和块相关机制的图像分割方法，包括：利用主干网络处理内镜图像，得到第一输出特征；对所述第一输出特征进行分块处理，得到多个特征块；对于每个所述特征块，利用3个1
×
1卷积分别处理所述特征块，得到查询矩阵、第一键矩阵和第一值矩阵；利用块相关机制处理所述查询矩阵，得到第一分块矩阵；基于所述第一分块矩阵、所述第一键矩阵和所述第一值矩阵各自的相对位置偏移，对所述第一分块矩阵、所述第一键矩阵和所述第一值矩阵进行自注意力计算，得到第二输出特征；将与所述多个特征块各自对应的多个第二输出特征在空间维度上拼接，得到第三输出特征；以及利用分割头处理所述第三输出特征，得到所述内镜图像的分割结果。2.根据权利要求1所述的方法，其中，所述利用块相关机制处理所述查询矩阵，得到第一分块矩阵，包括：对所述第一输出特征进行卷积处理，得到块相关矩阵；以及基于所述块相关矩阵和所述查询矩阵，得到所述第一分块矩阵。3.根据权利要求2所述的方法，其中，所述基于所述块相关矩阵和所述查询矩阵，得到所述第一分块矩阵，包括：使用所述块相关矩阵R将所述特征块和第一输出特征X＝{X
11
，
…
，X
ij
，
…
，X
IJ
}进行关联，其中...

【专利技术属性】
技术研发人员：李小霞，刘波，周颖玥，刘爽利，张晓强，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：