一种基于门控注意力结构的眼底图像实例分割方法及系统技术方案

本发明专利技术涉及一种基于门控注意力结构的眼底图像实例分割方法及系统，涉及图像处理技术领域，利用门控分割模型对图像进行分割，得到类别概率。首先对图像进行连续n层降采样，然后将第i层降采样输出特征与第n

【技术实现步骤摘要】
一种基于门控注意力结构的眼底图像实例分割方法及系统


[0001]本专利技术涉及图像处理
，特别是涉及一种基于门控注意力结构的眼底图像实例分割方法及系统。

技术介绍

[0002]图像分割技术是根据某些规则将图像分割成若干特定的、具有独特性质的区域，并抽取出感兴趣的目标。实例分割除了抽取出感兴趣区域外，同时要区分出分割的区域归属与哪一类别。近年来，随着深度学习技术的逐步深入，图像分割技术有了突飞猛进的发展，其相关技术被广泛应用于无人驾驶、增强现实、医学图像病灶识别、安防监控等。
[0003]然而现有技术中为了提取到更丰富的特征，往往会将网络模型设置的很深，这不但导致了算法运行时间过长，同时还占用了过多的GPU资源。
[0004]因此，本领域亟需一种能够在保证分割精度的前提下，更加有效的利用GPU资源以及压缩推理时间的技术方案。

技术实现思路

[0005]本专利技术的目的是提供一种基于门控注意力结构的眼底图像实例分割方法及系统，引入一种门控注意力结构（AttentionGate，AG），并将此结构连接在原始UNet模型跳跃连接的末端，这样能够抑制UNet模型过多的学习背景区域信息，着重学习与感兴趣区域相关的特征，从而更加有效的利用GPU资源，降低算法运行时间。
[0006]为实现上述目的，本专利技术提供了如下方案：一种基于门控注意力结构的眼底图像实例分割方法，所述方法包括：获取待使用的眼底图像；利用门控分割模型对所述眼底图像进行实例分割，得到每个像素的类别概率；所述门控分割模型包括n层连续的下采样层和n层连续的上采样层，第n层下采样层与第一层上采样层连接：采用所述门控分割模型对所述眼底图像进行连续n层降采样，得到n层降采样输出特征；将第i层降采样输出特征与第n
‑
i+1层的上采样层的输出特征输入门控注意力结构，得到第n
‑
i+1层门控特征，并将第n
‑
i+1层门控特征与第n
‑
i+1层的上采样层的输出特征堆叠后输入第n
‑
i+2层上采样层，；其中，将第1层降采样输出特征与第n层的上采样层的输出特征输入门控注意力结构，得到第n层门控特征，并将第n层门控特征与第n层的上采样层的输出特征堆叠，得到堆叠特征；对所述堆叠特征进行分类卷积操作，得到每个像素的类别概率。
[0007]在一些实施例中，在所述获取眼底图像之后，还包括：将所述眼底图像的无效黑边区域裁掉。
[0008]在一些实施例中，在所述获取眼底图像之后，还包括：
利用createCLAHE函数对所述眼底图像进行自适应直方图均衡化处理，得到均衡化图像；利用resize函数将所述均衡化图像统一缩放到标准大小。
[0009]在一些实施例中，所述采用所述门控分割模型对所述眼底图像进行连续n层降采样，得到n层降采样输出特征，具体包括：对所述眼底图像进行n次卷积操作、Relu函数激活操作和最大池化操作，得到n层降采样输出特征。
[0010]在一些实施例中，所述对所述堆叠特征进行分类卷积操作，得到每个像素的类别概率，具体包括：对所述堆叠特征进行卷积操作，得到每个像素的类别概率；其中，c表示分类的类别数目。
[0011]在一些实施例中，在所述对所述堆叠特征进行分类卷积操作之后，还包括：利用softmax归一化函数对卷积结果进行归一化。
[0012]在一些实施例中，所述将第i层降采样输出特征与第n
‑
i+1层的上采样层的输出特征输入门控注意力结构，得到第n
‑
i+1层门控特征，具体包括：分别对第i层降采样输出特征和第n
‑
i+1层的上采样层的输出特征进行1x1卷积操作，得到编码特征图和解码特征图；将所述编码特征图和所述解码特征图中相对应的特征相加，得到叠加特征图；对所述叠加特征图进行1x1x1卷积操作，得到卷积特征图；将所述卷积特征图进行Sigmoid归一化，得到注意力权重矩阵；将所述注意力权重矩阵与相应的所述输出特征进行点乘运算，得到第n
‑
i+1层门控特征。
[0013]在一些实施例中，所述门控分割模型的训练过程，具体包括：获取标注眼底图像；所述标注眼底图像为通过专业眼科医师标注过目标区域的图像；利用所述标注图像训练基于门控注意力机制的网络模型，得到门控分割模型。
[0014]在一些实施例中，在训练过程中利用正向旋转、反向旋转、垂直翻转、水平翻转、随机裁剪、亮度变化、对比度变换以及高斯模糊的方法进行图像扩增。
[0015]本专利技术还提供了一种基于门控注意力结构的眼底图像实例分割系统，所述系统包括：数据获取单元，用于获取待使用的眼底图像；病变分割单元，用于利用门控分割模型对所述眼底图像进行图像分割，得到病变概率：所述门控分割模型包括n层连续的下采样层和n层连续的上采样层，第n层下采样层与第一层上采样层连接；降采样模块，用于采用所述门控分割模型对所述眼底图像进行连续n层降采样，得到n层降采样输出特征；门控上采样模块，用于将第i层降采样输出特征与第n
‑
i+1层的上采样层的输出特征输入门控注意力结构，得到第n
‑
i+1层门控特征，并将第n
‑
i+1层门控特征与第n
‑
i+1层的上采样层的输出特征堆叠后输入第n
‑
i+2层上采样层，；其中，将第1层降采样输出
特征与第n层的上采样层的输出特征输入门控注意力结构，得到第n层门控特征，并将第n层门控特征与第n层的上采样层的输出特征堆叠，得到堆叠特征；分割模块，用于对所述堆叠特征进行分类卷积操作，得到每个像素的病变概率。
[0016]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术利用门控分割模型对所述眼底图像进行图像实例分割，得到每个像素的类别概率；所述门控分割模型包括n层连续的下采样层和n层连续的上采样层，第n层下采样层与第一层上采样层连接，首先对眼底图像进行连续n层降采样，得到n层降采样输出特征；然后将第i层降采样输出特征与第n
‑
i+1层的上采样层的输出特征输入门控注意力结构，得到第n
‑
i+1层门控特征，并将第n
‑
i+1层门控特征与第n
‑
i+1层的上采样层的输出特征堆叠后输入第n
‑
i+2层上采样层，；最后得到堆叠特征，并对所述堆叠特征进行分类卷积操作，得到每个像素的类别概率，由于其引入一种门控注意力结构，并将此结构连接在原始UNet模型跳跃连接的末端，这样能够抑制UNet模型过多的学习背景区域信息，着重学习感兴趣区域的特征，从而更加有效的利用GPU资源，降低算法运行时间。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于门控注意力结构的眼底图像实例分割方法，其特征在于，所述方法包括：获取待使用的眼底图像；利用门控分割模型对所述眼底图像进行图像分割，得到每个像素类别的概率；所述门控分割模型包括n层连续的下采样层和n层连续的上采样层，第n层下采样层与第一层上采样层连接：采用所述门控分割模型对所述眼底图像进行连续n层降采样，得到n层降采样输出特征；将第i层降采样输出特征与第n
‑
i+1层的上采样层的输出特征输入门控注意力结构，得到第n
‑
i+1层门控特征，并将第n
‑
i+1层门控特征与第n
‑
i+1层的上采样层的输出特征堆叠后输入第n
‑
i+2层上采样层，；其中，将第1层降采样输出特征与第n层的上采样层的输出特征输入门控注意力结构，得到第n层门控特征，并将第n层门控特征与第n层的上采样层的输出特征堆叠，得到堆叠特征；对所述堆叠特征进行分类卷积操作，得到每个像素的类别概率。2.根据权利要求1所述的基于门控注意力结构的眼底图像实例分割方法，其特征在于，在所述获取待使用的眼底图像之后，还包括：将所述待使用的眼底图像的无效黑边区域裁掉。3.根据权利要求1所述的基于门控注意力结构的眼底图像实例分割方法，其特征在于，在所述获取待使用的眼底图像之后，还包括：利用createCLAHE函数对所述待使用的眼底图像进行自适应直方图均衡化处理，得到均衡化图像；利用resize函数将所述均衡化图像统一缩放到标准大小。4.根据权利要求1所述的基于门控注意力结构的眼底图像实例分割方法，其特征在于，所述采用所述门控分割模型对所述眼底图像进行连续n层降采样，得到n层降采样输出特征，具体包括：对所述眼底图像进行n次卷积操作、Relu函数激活操作和最大池化操作，得到n层降采样输出特征。5.根据权利要求1所述的基于门控注意力结构的眼底图像实例分割方法，其特征在于，所述对所述堆叠特征进行分类卷积操作，得到每个像素的类别概率，具体包括：对所述堆叠特征进行卷积操作，得到每个像素的类别概率；其中，c表示分类的类别数目。6.根据权利要求1所述的基于门控注意力结构的眼底图像实例分割方法，其特征在于，在所述对所述堆叠特征进行分类卷积操作之后，还包括：利用softmax归一化函数对卷积结果进行归一化。7.根据权利要求1所述的基于门控注意力结构的眼底图像实例分割方法，其特...

【专利技术属性】
技术研发人员：张冬冬，
申请(专利权)人：北京至真互联网技术有限公司，
类型：发明
国别省市：