一种对抗鲁棒的图像显著性检测方法及系统技术方案

本发明专利技术公开了一种对抗鲁棒的图像显著性检测方法及系统，该方法包括：步骤S1，在原始图像上，针对显著性检测的对抗攻击，基于迭代梯度的方法生成针对显著性检测的对抗攻击样本作为系统的输入图像；步骤S2，以步骤S1中得到的对抗样本作为输入，使用基于能量的生成模型重建输入图像，利用神经网络近似能量函数进行似然建模，生成去除对抗噪声的重建图像；步骤S3，将步骤S2得到的重建图像作为骨干网络的输入并产生密集标记的显著图，本发明专利技术可提高现有密集标记方法的鲁棒性并维持效率。

【技术实现步骤摘要】
一种对抗鲁棒的图像显著性检测方法及系统
本专利技术涉及基于深度学习的计算机视觉
，特别是涉及一种基于能量模型的对抗鲁棒的图像显著性检测方法及系统。
技术介绍
显著性检测的目的是在图像或视频帧中定位和分割对象，这些对象对人眼最具视觉特征。设计一个显著性检测模型来模拟人类，不仅有助于理解人类视觉和心理的内在机制，而且有助于计算机视觉和计算机图形学的许多应用。例如，将显著性检测应用于上下文感知图像编辑、图像缩略图、目标分割和人物再识别。显著性检测是计算机视觉中的基本任务，长期以来被广泛地研究，目前已存在着大量相关工作。近年来，深度神经网络的运用更是大大提高了显著性检测的效果，逐渐成为主流方法。由深度卷积神经网络驱动的显著性检测方法可分为两组，稀疏标签和密集标签。其中，稀疏标签方法出现在早年，由于这些方法将区域作为计算单元并且包含特征提取和显著值推断两个单独步骤，通常效率低并且需要大量空间用于特征存储；受到全卷积网络在像素级语义分割中成功应用的启发，最近密集标签方法已经在显著性检测中建立了新的先进技术，如Wang,T等人的工作Detectglobally,refinelocally:Anovelapproachtosaliencydetection(ICCV)。现有性能最好的检测方法中，基本都采用了全卷积神经网络作为模型架构的方法。Hou,Q等人2018年的研究工作Deeplysupervisedsalientobjectdetectionwithshortconnections(PAMI)通过引入跳接层结构的短连接来适应整体嵌套边缘检测器结构。近年来，虽然全卷积神经网络在显著物体检测问题上得到了大量成功应用，然而这些方法均存在一些弱点可能会降低它们的性能。首先端到端可训练属性允许梯度容易地从监督目标传播到输入图像，这使得显著物体检测模型面临对抗攻击的风险；其次，密集标记模型没有明确地模拟不同图像部分之间的对比度，而是隐含地估计单个FCN中的显著性。一旦输入图像受到对抗噪声的污染，低层和高层特征都会受到影响。第三，与具有数百万个样本的图像分类任务相比，当前显著性检测训练集非常小，同时包括的显著对象类别也非常有限。因此在某种程度上现有模型是在数据内拟合偏差，例如，检测目标经常出现在训练集中而不是定位最显著的对象，同时这些方法可能依赖于捕获过多的高级语义，并且可能对低级扰动，如对抗噪声敏感。由于在系统的早期阶段通常采用显著的对象检测技术作为初始化或预处理，因此效率和鲁棒性非常重要。假设预处理阶段的性能受到一些精心设计的输入噪声的严重影响，接下来的阶段可能会产生错误的结果，这可能是整个系统的灾难。因此，实有必要关注显著性监测的鲁棒性，提供一种准确、快速、稳定的显著性检测模型用于显著物体检测任务中。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种对抗鲁棒的图像显著性检测方法及系统，以提高现有密集标记方法的鲁棒性并维持效率。为达上述目的，本专利技术提出一种对抗鲁棒的图像显著性检测方法，包括如下步骤：步骤S1，在原始图像上，针对显著性检测的对抗攻击，基于迭代梯度的方法生成针对显著性检测的对抗攻击样本作为系统的输入图像；步骤S2，以步骤S1中得到的对抗样本作为输入，使用基于能量的生成模型重建输入图像，利用神经网络近似能量函数进行似然建模，生成去除对抗噪声的重建图像；步骤S3，将步骤S2得到的重建图像作为骨干网络的输入并产生密集标记的显著图。优选地，于步骤S1中，使用基于迭代梯度的白盒攻击。优选地，于步骤S1中，最大迭代次数T限制，整个运行时间成本，一旦完成T次迭代或达到L∞范数界限，迭代就会停止并返回在当前时间步获得的对抗样本。优选地，步骤S2进一步包括：步骤S201，使用神经网络近似能量函数，从能量函数定义的概率分布中产生样本；步骤S202，在重建图像时进一步引入噪声模型；步骤S203，沿最大化对数似然的方向训练近似能量函数的神经网络参数，能量模型完成训练后，从能量函数梯度中采样的重建图像也逐渐靠近原输入图像。优选地，于步骤S201中，采用朗之万动力学的迭代精炼过程，利用能量函数的梯度进行采样从而重建输入图像。优选地，于步骤S202中，采用朗之万动力学来增加梯度下降的扰动:其中，IR为当前重建图像，IR+1为下一步更新的图像，是能量函数关于图像I的梯度，对应于学习率α，为IR的惯性因子。优选地，于步骤S3中，所述骨干网络选择任意基于全卷积网络的视觉显著性模型。优选地，所述方法还包括：步骤S4，采用滤波方法对输入图像即对抗样本，做平滑，用于上下文感知恢复的对比建模；S5，利用平滑后的对抗样本的像素之间的低级特征相似性和图像上下文信息来改善由骨干网络提供的显著性分数，通过最小化部分能量函数来调整显著图。优选地，于步骤S5中，衡量低级色彩空间和空间位置中像素之间的相似性，恢复组件通过最小化某些能量函数来调整显著图。为达到上述目的，本专利技术还提供一种对抗鲁棒的图像显著性检测系统，包括：对抗样本生成单元，用于在原始图像上，针对显著性检测的对抗攻击，基于迭代梯度的方法生成针对显著性检测的对抗攻击样本作为系统的输入图像；输入图像重建单元，用于使用基于能量的生成模型重建输入图像，利用神经网络近似能量函数进行似然建模，生成去除对抗噪声的图像；显著性检测单元，用于将所述输入图像重建单元得到的重建图像作为骨干网络的输入并产生密集标记的显著图，以降低该骨干网络在对抗样本上的高敏感度。与现有技术相比，本专利技术一种对抗鲁棒的图像显著性检测方法及系统通过利用基于能量的模型在似然建模中具有的通用性和简单性对被添加对抗噪声的输入图像进行重建，从而有效消除攻击效应，并在主干网络之后，利用上下文之间的相似性细化显著图，可明显提升检测效果。附图说明图1为本专利技术一种对抗鲁棒的图像显著性检测方法的步骤流程图；图2为本专利技术具体实施例抗鲁棒的图像显著性检测的过程图；图3为本专利技术一种对抗鲁棒的图像显著性检测系统的系统架构图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。目前的对抗攻击主要采用如下方法：基于一步梯度的方法(快速梯度符号法FGSM)以及基于迭代的方法。其中，快速梯度符号法(FGSM)在无穷范数阈值∈的约束下，计算一步梯度以最大化输出与真实值的损失函数，FGSM生成对抗样本的公式如下：其中，x*，x和y分别表示对抗样本、原始图像和真实值，f(·；θ)表示参数为θ的神经网络模型。基于迭代的方法方法则以步长α多次进行FGSM，其公式如下所示本文档来自技高网...

【技术保护点】
1.一种对抗鲁棒的图像显著性检测方法，包括如下步骤：/n步骤S1，在原始图像上，针对显著性检测的对抗攻击，基于迭代梯度的方法生成针对显著性检测的对抗攻击样本作为系统的输入图像；/n步骤S2，以步骤S1中得到的对抗样本作为输入，使用基于能量的生成模型重建输入图像，利用神经网络近似能量函数进行似然建模，生成去除对抗噪声的重建图像；/n步骤S3，将步骤S2得到的重建图像作为骨干网络的输入并产生密集标记的显著图。/n

【技术特征摘要】
1.一种对抗鲁棒的图像显著性检测方法，包括如下步骤：
步骤S1，在原始图像上，针对显著性检测的对抗攻击，基于迭代梯度的方法生成针对显著性检测的对抗攻击样本作为系统的输入图像；
步骤S2，以步骤S1中得到的对抗样本作为输入，使用基于能量的生成模型重建输入图像，利用神经网络近似能量函数进行似然建模，生成去除对抗噪声的重建图像；
步骤S3，将步骤S2得到的重建图像作为骨干网络的输入并产生密集标记的显著图。


2.如权利要求1所述的一种对抗鲁棒的图像显著性检测方法，其特征在于：于步骤S1中，使用基于迭代梯度的白盒攻击。


3.如权利要求2所述的一种对抗鲁棒的图像显著性检测方法，其特征在于：于步骤S1中，最大迭代次数T限制，整个运行时间成本，一旦完成T次迭代或达到L∞范数界限，迭代就会停止并返回在当前时间步获得的对抗样本。


4.如权利要求1所述的一种对抗鲁棒的图像显著性检测方法，其特征在于，步骤S2进一步包括：
步骤S201，使用神经网络近似能量函数，从能量函数定义的概率分布中产生样本；
步骤S202，在重建图像时进一步引入噪声模型；
步骤S203，沿最大化对数似然的方向训练近似能量函数的神经网络参数，能量模型完成训练后，从能量函数梯度中采样的重建图像也逐渐靠近原输入图像。


5.如权利要求4所述的一种对抗鲁棒的图像显著性检测方法，其特征在于：于步骤S201中，采用朗之万动力学的迭代精炼过程，利用能量函数的梯度进行采样从而重建输入图像。


6.如权利要求5所述的一种对抗鲁棒的...

【专利技术属性】
技术研发人员：曾怡瑞，马争鸣，李冠彬，林倞，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44