一种跨维度交互式显著检测模型及其检测方法技术

本发明专利技术公开一种跨维度交互式显著检测模型及其检测方法。跨维度交互式显著检测模型依次包括基础特征提取模块、有效特征提取模块、聚合模块。使用跨维度交互式显著检测模型进行显著目标检测的方法包括：使用基础特征模块提取原始图像的不同纹理、不同尺度、不同层数的基础特征；有效特征提取模块负责提取基础特征，得到有用顶层特征信息和全局上下文特征信息；将有用顶层特征信息和全局上下文特征信息输入聚合模块，输出特征图。本发明专利技术在复杂度、计算量没有改变的情况下解决空间和通道之间无法产生跨维交互的问题，充分提取有效特征信息，高精度提取完整的显著信息。高精度提取完整的显著信息。高精度提取完整的显著信息。

【技术实现步骤摘要】
一种跨维度交互式显著检测模型及其检测方法


[0001]本专利技术属于显著性检测
，涉及一种跨维度交互式显著检测模型及其检测方法。

技术介绍

[0002]显著的目标检测和固定的眼睛视觉检测是计算机视觉研究涉及的两个方面。显著目标检测目的是对图像的弱像素和突出像素之间进行有效、准确的分割，它在图像分割、桥梁裂缝检测、图像检索、车辆检测等领域应用比较广泛。
[0003]近年来，随着深度学习的快速发展，许多学者通过CNN对显著目标进行学习、研究。例如PiCANet利用对全局上下信息和局部上下文信息的整合实现对显著区域进行识别提取，该网络无法适应复杂背景对显著目标进行有效提取，详见“Liu N,Han J,and Yang M H,et al.PiCANet:Learning pixel
‑
wise contextual attention for saliency detection.IEEE/CVF Conference on Computer Vision and Pattern Recognition,2018,3089
–
3098.”。GCPANet增强了顶层特征、减少了信息冗余，但该网络在对显著物体边缘细节处理上，存在模糊和丢失现象，详见“Chen Z,Xu Q,Cong R,et al.Global Context
‑
Aware Progressive Aggregation Network for Salient Object Detection[J].Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(7):10599
‑
10606.”。BASNet利用空洞卷积充当注意力机制来获取更多顶层特征信息，提升网络的性能，详见“Qin X.,Zhang Z,Huang C,et al.BASNet:Boundary
‑
Aware Salient Object Detection,IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),2019,pp.7471
‑
7481.”。CAGNet(详见“Sina Mohammadi,Mehrdad Noori,Ali Bahri,et al.CAGNet:Content
‑
Aware Guidance for Salient Object Detection,Pattern Recognition,2020,107303.”)和U2
‑
Net(详见“Qin X B,Zhang Z C,Huang C Y,et al.U2
‑
Net:Going deeper with nested U
‑
structure for salient object detection,Pattern Recognition,2020,107404.”)两种模型也分别实现了显著目标的检测。
[0004]由以上可知，基于深度学习的方式虽然可以对显著目标进行提取，但在边缘细节以及复杂环境下进行提取，仍存在许多问题。如何可以适应不同背景的干扰，可以有效的对显著目标进行提取检测，与背景完整的分割，是目前亟待解决的问题。

技术实现思路

[0005]本专利技术实施例提供一种跨维度交互式显著检测模型及其检测方法，以解决现有基于深度学习的显著性检测方法对边缘提取模糊，复杂环境下显著区域提取不完整等问题。
[0006]本专利技术实施例所采用的技术方案是，一种跨维度交互式显著检测模型，包括依次连接的基础特征提取模块、有效特征提取模块和聚合模块；
[0007]所述基础特征提取模块，用于对原始图像的纹理、空间、颜色等特征信息进行提
取；
[0008]所述有效特征提取模块，用于对基础特征关注更多有效区域的，同时抑制背景噪声的干扰；
[0009]所诉聚合模块，用于对基础特征、高级特征和全局上下文特征进行融合，生成预测显著图。
[0010]本专利技术实施例所采用的另一技术方案是，一种跨维度交互式显著检测模型的显著检测方法，按照以下步骤进行：
[0011]步骤S1、将待检测的原始图像输入到基础特征提取模块中；
[0012]步骤S2、基础特征提取模块对待检测的原始图像进行特征提取，得到待检测的原始图像不同尺度、不同空间的基础特征图Out
t
；
[0013]步骤S3、将待检测的原始图像不同尺度的基础特征图Out
t
输入到有效特征提取模块中，经有效特征模块进行跨维度交互和全局上下文有效区域关注，得到高级特征和全局上下文特征F2；
[0014]步骤S4、利用聚合模块将待检测的原始图像的基础特征Out
t
、高级特征和全局上下文特征F2进行融合，得到显著预测图。
[0015]本专利技术实施例的有益效果是，提出了一种跨维度交互式显著检测模型及其检测方法，引入ResNet50作为基础特征提取模块，通过不同尺度可以充分的对图像的不同特征信息提取，有利于对显著图像更加完整的提取。同时引入三重注意力和空间注意力进行修改，然后并联作为有效特征提取模块，对基础特征进行有效区域关注，避免基础特征中背景噪声对显著区域的干扰。此外，引入的聚合模块可以有效的将基础特征信息、高级语义信息、全局上下文信息进行融合，可以很好的吸收基础特征中的纹理、空间等重要信息，并且通过全局上下文信息可以很好的为整个网络提取提供全局信息，解决了现有的显著检测方法中显著区域不突出和信息丢失等重要问题。
[0016]本专利技术可以在复杂度、计算量没有改变的情况下，解决空间和通道之间无法产生跨维交互的问题，充分提取有效特征信息，高精度提取完整的显著信息。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术实施例的一种跨维度交互式显著检测模型的结构示意图。
[0019]图2是本专利技术实施例的一种跨维度交互式显著检测模型的显著检测方法的流程图。
[0020]图3是本专利技术实施例的一种跨维度交互式显著检测模型中的有效特征提取模块中CL和SR串联的结构示意图。
[0021]图4是本专利技术实施例的一种跨维度交互式显著检测模型中的有效特征提取模块中CF的流程图。
[0022]图5是本专利技术实施例的一种跨维度交互式显著检测模型的检测方法与其他算法对DUT
‑
MORN数据集获得的F
‑
measure图、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨维度交互式显著检测模型，其特征在于，包括依次连接的基础特征提取模块、有效特征提取模块和聚合模块；所述基础特征提取模块，用于对原始图像的纹理、空间、颜色等特征信息进行提取；所述有效特征提取模块，用于对基础特征关注更多有效区域的特征，同时抑制背景噪声的干扰；所述聚合模块，用于对基础特征、高级特征和全局上下文特征进行融合，生成显著预测图。2.根据权利要求1所述的一种跨维度交互式显著检测模型，其特征在于，所述基础特征提取模块由多个多尺度特征提取单元组成，所述多尺度特征提取单元包含3到5个结构相同的Bottleneck，每个Bottleneck均采用1
×
1、3
×
3、1
×
1的卷积核组成；输入的特征通过多尺度特征提取单元的第一个Bottleneck结构，通过1
×
1的卷积对输入的特征进行降维，做一次3
×
3卷积操作，最后通过1
×
1卷积恢复维度，在卷积处理完后需要进行归一化和激活操作；后面的Bottleneck与第一个Bottleneck操作相似，第一个Bottleneck进一步下采样操作；最后输出的特征图作为下一个多尺度特征提取单元的输入。3.根据权利1所述的一种跨维度交互式显著检测模型，其特征在于，所述有效特征提取模块包括CL模块、SR模块和CF模块；所述CL模块，用于对基础特征进行空间和通道之间跨维度交互，生成权重反作用基础特征，对基础特征背景噪声进行抑制，关注、保留更多有效区域信息，作为SR模块的输入；所述SR模块，用于对CL模块处理后的特征进行增强、细化处理；所述CF模块，用于对基础特征的显著区域进行增强响应，作用于网络的全局上下文信息。4.根据权力3所述的一种跨维度交互式显著检测模型，其特征在于，所述CL模块由三个分支平行连接，最终通过平均运算对三个分支特征进行融合；其中，第一分支以空间H为轴，进行空间W和通道C维度交换：输入特征以空间H为轴，逆时针旋转90
°
，接着由Z
‑
Pool里的平均聚合和最大聚合算法进行处理，生成的特征图进行拼接，然后通过Sigmoid函数激活，生成反码和偏置，通过加法和乘法用于旋转特征，最后再以空间H为轴，顺时针旋转90
°
，输出第一分支特征图；第二、第三分支操作与第一分支区别在于：第二之分支以空间W为轴旋转，第三分支不需要旋转，其他操作过程都和第一分支相同；得到的三个分支特征通过平均算法进行融合；所述SR模块，用于对CL模块的输出进行增强、细化操作；再通过卷积核为3
×
3的卷积，上采样操作后，作为聚合模块的输入；所述CF模块，主要有两个平行分支构建，其中第一分支通过卷积核为3
×
3，通道为256的卷积对基础特征进行处理；第二分支通过卷积核为3
×
3，通道为512的卷积对基础特征进行处理，然后生成偏置和掩码，通过乘法和加法操作与第一分支特征进行融合，作为聚合模块的输入，为整个网络提供用于获取全局上下文信息。5.根据权利1所述的一种跨维度交互式显著检测模型，其特征在于，所述聚合模块将基础特征Out
t
(t＝2,3,4)、高级特征和全局上下纹特征F2进行三分支处理，然后将
处理后的特征通过拼接融合；所述拼接融合过程为：将Out
t
、F2通过卷积核为3
×
3，通道为256，步长为1的操作进行压缩处理后，将所有特征通道统一为256，卷积后经过归一化和激活处理得到特征通道统一为256，卷积后经过归一化和激活处理得到对于第一分支，首先通过卷积核为3
×
3，通道为256，步长为1进行处理，然后与进行乘积得到对于第二分支，首先通过卷积核为3
×
3，通道为256，步长为1进行处理，然后与上采样后的进行乘积得到对于第三分支，通过卷积核为3
×
3，通道为256，步长为1进行处理，然后与进行乘积得到最后通过Concat将进行拼接融合，通过卷积核为3
×
3的卷积层输出显著预测图。6.如权利要求1～5任一项所述的一种跨维度交互式显著检测模型的显著检测方法，其特征在于，按照以下步骤进行：步骤S1、将待检测的原始图像输入到基础特征提取模块中；步骤S2、基础特征提取模块对待检测的原始图像进行特征提取，得到待检测的原始图像不同尺度、不同空间的基础特征图Out
t
；步骤S3、将待检测的原始图像不同尺度的基础特征图Out
t
输入到有效特征提取模块中，经有效特征模块进行跨维度交互和全局上下文有效区域关注，得到低级特征和全局上下文特征F2；步骤S4、利用聚合模块将待检测的原始图像的低级特征Out
t
、高级特征和全局上下文特征F2进行融合，得到显著预测图。7.根据权力要求6所述的一种跨维度交互式显著检测模型的显著检测方法，其特征在于，所述步骤S2中基础特征提取模块中单个Bottleneck输出计算公式如下：f1＝δ((T1×1(X))f2＝δ(T3×3(f1))f3＝δ(T1×1(f2))其中，X为当前Bottleneck提取层的输入；T表示Bottleneck提取层中的卷积操作，其下标表示卷积核的尺度；δ表示当前提取层的激活函数；f1表示当前Bottleneck卷积结构中1
×
1卷积处理、激活处理后的结果；f2表示当前Bottleneck卷积结构中3
×
3卷积处...

【专利技术属性】
技术研发人员：赵佰亭，张华，郭永存，贾晓芬，黄友锐，马天兵，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：