一种基于特征重构的显著性目标检测算法制造技术

本发明专利技术属于显著性目标检测领域，提供了一种基于特征重构的显著性目标检测算法，包括以下步骤：1)首先输入原始RGB图像利用预训练好的ResNet

【技术实现步骤摘要】
一种基于特征重构的显著性目标检测算法

：
[0001]本专利技术涉及计算机视觉领域，具体来说，涉及了一种基于特征重构的显著性目标检测算法。

技术介绍
：
[0002]本部分的陈述仅仅是涉及到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]受人类视觉注意力机制快速高效处理图像数据的能力所启发，显著性目标检测致力于从图像中快速准确地定位显著性目标并将其完整地从背景中分割出来。由于其出色地处理图像数据的能力，近年来，显著性目标检测作为一个预处理阶段被广泛的应用于计算机视觉领域，例如语义分割、目标追踪、图像检索、目标识别、目标检测等等。
[0004]根据模型针对特征选择的不同方式，显著性目标检测模型可以分为两类，一类是基于刺激驱动传统的显著性目标检测模型，另一类是基于数据驱动深度学习的显著性目标检测模型。基于刺激驱动传统的显著性检测模型主要是依赖手工特征和一些低层次的视觉先验信息(如对比度、颜色、纹理)定位显著性目标，然后将其从背景中分割出来。然而，由于传统的显著性目标检测模型不能有效利用高层次的语义信息，使得很难从复杂环境中准确定位显著性目标并完整地将其分割出来。
[0005]近年来，随着深度学习的不断发展，大量的基于深度学习的方法开始广泛应用于显著性目标检测领域。基于数据驱动深度学习的显著性目标检测方法利用特征金字塔网络可以处理尺度多变的显著性目标，提取不同层次的多尺度特征，低层次的特征包含大量的局部细节信息可以丰富显著性目标的边缘信息，而高层次的特征包含大量全局语义信息可以帮助准确定位显著性目标，多尺度特征充分高效地利用对于显著性目标检测至关重要。尽管相较于传统的显著性目标检测模型，基于深度学习的显著性目标检测模型性能上有了很大的提升。但是基于深度学习的诸多方法仍然存在很多的限制。第一个限制是多尺度特征无法被充分高效地利用，例如方法DGRL直接利用主干模型中生成的多尺度特征直接进行聚合生成显著性图，这些方法是次优化的，性能无法达到令人满意的效果。基于此受RFB所启发，WU等人提出方法CPD通过直接串联不同感受野的卷积和空洞卷积操作，优化多尺度特征，增加多尺度特征的多样性。然而，直接利用不同感受野卷积和空洞卷积进行特征提取，会丢失部分特征信息，降低模型的性能。同时特征金字塔网络随着多尺度特征不断聚合，高层次特征的语义信息逐渐消释对于低层次特征无法有效指导，使得很难准确定位显著性目标并完整地将其从背景中分割出来。第二个限制是许多模型通过增加网络宽度和深度，提升模型的性能，尽管模型性能有了提升，但由于庞大的网络参数量，使得模型内存过大，大大限制显著性目标检测未来工业化的应用。

技术实现思路

[0006]为了缓解上述问题，我们设计了基于特征重构的显著性目标检测算法，不仅可以
高效地利用多尺度特征，而且模型相关参数少和内存小。此方法主要包含两个模块，残差特征重构模块和残差短连接模块。我们设计的残差特征重构模块，利用不同感受野的卷积、空洞卷积以及特征重构操作对多尺度特征进行优化重构，可以有效地增加特征之间的依赖，缓解特征提取过程中由于感受野过大造成局部信息丢失问题，同时我们聚合不同感受野所提取的特征增强特征多样性，优化多尺度特征。残差短连接模块中优化后的多尺度特征可以互补性融合交互多种信息，同时为了更充分利用融合后的特征，我们聚合所有特征用于预测初始显著性图。残差特征重构模块和残差短连接模块的设计，使得模型中冗余参数进一步减少，有效缓解模型内存过大的问题。本专利技术的技术方案是提供了一种基于特征重构的显著性目标检测算法，该方法包括以下步骤：
[0007]1.输入RGB图像，此算法利用从ImageNet中预训练好的 ResNet
‑
50网络进行初始多层次特征提取并对初始多层次进行特征编码，用于后续使用；
[0008]1.1)首先，收集整理显著性检测领域相关数据集，如DUTS数据集、ECSSD数据集、DUT
‑
OMRON数据集、HKU
‑
IS数据集、PASCAL
‑
S数据集，用于后续算法训练和测试。
[0009]1.2)一种基于特征重构的显著性目标检测方法，根据相关经验利用具有10553张图像的DUTS数据集进行算法训练，然后分别使用ECSSD数据集、DUTS
‑
TE数据集、DUT
‑
OMRON数据集、PASCAL
‑
S数据集以及HKU
‑
IS数据集作为测试数据集检测训练完成后算法的泛化性能。
[0010]1.3)进行迁移学习使用从ImageNet中训练好的仅包含所有卷积层的ResNet50网络对输入的DUTS数据集进行最原始多层次特征提取，然后编码多层次特征I{I1,I2,I3,I4,I5}。
[0011]2.残差特征重构模块通过集成不同提取特征范围的卷积、空洞卷积操作以及特征重构操作从初始多层次特征中高效提取局部和全局上下文信息，聚合上下文信息优化初始多层次特征；
[0012]2.1)首先利用不同大小卷积核的卷积操作，在这一阶段中我们设计了卷积核大小为{1,3,5,7}卷积层，为了进一步减少参数在卷积大小为5和7时，我们引入不对称卷积。初始多尺度特征首先进入一个卷积核大小为1的卷积操作中降维到128个通道，然后分别进入不用卷积核大小的卷积操作中，考虑到不同感受野特征之间的关系，我们引入特征重构操作，充分利用所提取到的特征。经过卷积操作后生成多种特征{Z1,Z3,Z5,Z7}。公式如下：
[0013]L
i
＝γ(I
i
)i＝1，2，3，4，5
ꢀꢀꢀ
(1)
[0014]这里γ()是卷积核1
×1×
128的降维操作，I
i
是基础特征提取模块中生成的多尺度特征。
[0015][0016]这里σ()是ReLU激活函数，C1(),C3(),C5(),C7()是卷积核分别为 {1,3,5,7}的卷积操作。I
i
是来自基础特征提取模块中提取出的多尺度特征{I1,I2,I3,I4,I5}。
[0017]2.2)随后利用不同填充率的空洞卷积进一步提取上下文信息，同时引入特征重构
操作，不同填充率空洞卷积提取到的特征之间进行优化重构。将生成的多种特征{Z1,Z3,Z5,Z7}依次输入到填充率分别为 {0,2,4,6}的空洞卷积同时进行特征重构操作中生成最显著特征表示 {W0,W2,W4,W6}。公式如下：
[0018][0019]这里σ是Relu激活函数，M0，M2，M4，M6是填充率分别为{0,2,4,6}的空洞卷积。Z1，Z3，Z5，Z7是第一阶段所提取的特征。
[0020]2.3)最后将2.2步骤中生成的特征进行聚合，为了保留更多的特征聚合操作中我们引入残差连接，然后聚合后的特征进行特征降维，生成优化特征{O1,O2,O3,O4,O5}.公式如下：
[0021]O...

【技术保护点】

【技术特征摘要】
1.一种基于特征重构的显著性目标检测算法，其特征在于，该算法运行包含以下步骤：1)输入RGB图像，此算法利用从ImageNet中预训练好的ResNet
‑
50网络进行初始多层次特征提取并对初始多层次进行特征编码，用于后续使用；2)残差特征重构模块通过集成不同提取特征范围的卷积、空洞卷积操作以及特征重构操作从初始多层次特征中高效提取局部和全局上下文信息，聚合上下文信息优化初始多层次特征；3)通过残差短连接操作，交互包含不同信息的优化后的多层次特征，生成即包含准确显著性目标信息又具有丰富目标边缘细节信息的特征表示；4)将特征表示进行降维激活生成最原始的显著性图，然后使用多次监督策略利用真值标签对算法进行训练，生成损失最小的参数文件。2.根据权利要求1所述的一种基于特征重构的显著性目标检测算法其特征在于：所述步骤1)具体方法是：2.1)首先，收集整理显著性检测领域相关数据集，如DUTS数据集、ECSSD数据集、DUT
‑
OMRON数据集、HKU
‑
IS数据集、PASCAL
‑
S数据集，用于后续算法训练和测试。2.2)此专利一种基于特征重构的显著性目标检测方法，根据相关经验利用具有10553张图像的DUTS数据集进行算法训练，然后分别使用ECSSD数据集、DUTS
‑
TE数据集、DUT
‑
OMRON数据集、PASCAL
‑
S 数据集以及HKU
‑
IS数据集作为测试数据集检测训练完成后算法的泛化性能。2.3)进行迁移学习使用从ImageNet中训练好的仅包含所有卷积层的ResNet50网络对输入的DUTS数据集进行最原始多层次特征提取，然后编码多层次特征I{I1,I2,I3,I4,I5}。3.根据权利要求1所述的一种基于特征重构的显著性目标检测算法其特征在于：所述步骤2)具体方法是：3.1)首先利用不同大小卷积核的卷积操作，在这一阶段中我们设计了卷积核大小为{1,3,5,7}卷积层，为了进一步减少参数在卷积大小为5和7时，我们引入不对称卷积。初始多尺度特征首先进入一个卷积核大小为1的卷积操作中降维到128个通道，然后分别进入不用卷积核大小的卷积操作中，考虑到不同感受野特征之间的关系，我们引入特征重构操作，充分利用所提取到的特征。经过卷积操作后生成多种特征{Z1,Z3,Z5,Z7}。公式如下：L
i
＝γ(I
i
) i＝1，2，3，4，5
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)这里γ()是卷积核1
×1×
128的降维操作，I
i
是基础特征提取模块中生成的多尺度特征。这里σ()是ReLU激活函数，C1(),C3(),C5(),C7()是卷积核分别为{1,3,5,7}的卷积操作。I
i
是来自基础特征提取模块中提取出的多尺度特征{I1,I2,I3,I4,I5}。3.2)随后利用不同填充率的空洞卷...

【专利技术属性】
技术研发人员：孙延光，夏晨星，段松松，李续兵，段秀珍，陶展鹏，陈迪逢，杨凤，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：