一种遮挡弹性的行人重识别对抗攻击方法技术

本发明专利技术公开了一种遮挡弹性的行人重识别对抗攻击方法，采用二阶段的训练方式生成攻击图案，并将图像迁移领域的上下文损失应用于攻击图案生成的损失函数中，增强了在应用遮挡模板分区域训练时子攻击模块的攻击效果，保证了攻击图案在完整情况下的攻击性能，又使生成的攻击图案在部分遮挡的情况下仍具有较好的攻击效果。击效果。击效果。

【技术实现步骤摘要】
一种遮挡弹性的行人重识别对抗攻击方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种遮挡弹性的行人重识 别对抗攻击方法。

技术介绍

[0002]近年来，基于深度学习的计算机视觉技术取得了令人瞩目的成就，为 智慧城市的发展提供了强有力的支持。基于深度学习的计算机视觉系统在 实现智能城市的目标检测、人脸识别、行人检测与识别、图像分割等基础 任务方面展现出了良好的前景。智能城市系统可以利用这些技术帮助我们 发现可疑车辆，分析交通状况，为智能交通，改善城市管理，打击犯罪， 和许多其他智能服务。
[0003]其中，行人重识别(Re
‑
ID)是智慧城市的重要任务之一，具有广泛的应 用前景。行人重识别是利用多个摄像头捕捉行人的外观或姿态特征，实现 跨摄像头行人识别。我们可以利用目标图像查询监控数据库，然后行人重 识别系统将返回许多与查询目标相似的结果图像。结果由监控数据库中图 片的排序组成，与查询的目标图像相似度越高排序就越靠前。由于行人重 识别系统具有连续识别同一目标的能力，因此可以将其与人脸识别相结合， 应用于系统中，以协助人员在各种场景下，如追踪罪犯、社区内外人员进 出管理等。
[0004]早期的行人重识别技术通常与多摄像头跟踪技术相结合，利用动态贝 叶斯网络生成的标签与行人特征之间的概率关系，得到识别结果。最近的 基于深度学习的方法通过比较行人之间的相似性，提高了从大量输入行人 数据中提取行人特征的能力。虽然现有的行人重识别方法已经在准确率上 已有了显著提高，但其鲁棒性的问题尚未得到充分的研究。
[0005]最近对抗攻击的相关研究表明，一些难以察觉的对抗性扰动可能会导 致最先进的深度神经网络输出的错误结果。对抗性攻击可以发现深层神经 网络的弱点，我们通过攻击的方式评估基于深度学习的行人重识别任务的 鲁棒性。
[0006]AdvPattern是一种针对行人重识别系统的攻击手段。AdvPattern的攻击 方法生成了T恤上的攻击图案实现了对物理世界的攻击。数据库中图像是 由多个不同角度的相机拍摄的，该方法通过拉远不同摄像头下同一行人的 相似度和拉近相同摄像头下同一行人的相似度的训练方法生成攻击图案。 应用此方法数据库中与查询目标为同一个行人的图片在行人重识别系统输 出的排列顺序相对靠后，实现了对行人重识别系统的攻击效果。
[0007]AdvPattern可以成功地欺骗行人重识别模型，并破坏行人重识别应用 程序。但是，AdvPattern没有考虑到攻击图案由于行人的行为而被部分遮 挡的情况。例如，在行走过程中，摆动的手臂可以阻挡攻击图案的底部部 分。经观察发现被遮挡的像素会导致攻击图案失去攻击能力。因此，为了 进一步评价现实世界中的行人重识别系统，需要进一步提高攻击图案对遮 挡的鲁棒性。

技术实现思路

[0008]本专利技术针对以上技术缺点，目的是提供一种遮挡弹性的行人重识别对 抗攻击方法。
[0009]为了实现上述目的，本专利技术提供如下技术方案：
[0010]一种遮挡弹性的行人重识别对抗攻击方法，包括以下步骤：
[0011]S1、攻击块分区：将攻击图案划分为两个区域，分别为四角部分和中 心部分，对这两个区域分别进行训练，命名为δ
central
和δ
corner
，将初始化 δ
central
和δ
corner
的对抗样本分别放入预先训练好的行人重识别网络中，提取 样本的深度特征；
[0012]S2、相似度计算：来自不同摄像机的行人图像的特征组成特征集合， 通过引导损失函数向相反的方向变化来实现攻击，得到了具有一定攻击效 果的两个子攻击图案δ
central
和δ
corner
，两个子攻击图案没有攻击能力的区域 的像素值为0；
[0013]S3、微调：将两个子攻击图案拼接，并将其像素相加，利用其经过透 视变换覆盖在行人图像形成新的对抗样本，同步更新以上两个子攻击图案， 经过数次微调，找到攻击块的整体攻击性能和子攻击块的攻击性能之间的 相对平衡点。
[0014]进一步地，步骤S1中的两个区域分别采用梯度引导训练。
[0015]进一步地，步骤S1中针对不同的视角的行人图片，将透视变换应用到 攻击图案中，攻击样本集合可以表示为：
[0016]X
′
i
＝{q
j
+T(δ
i
)}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0017]其中X
i
′
代表了行人X
i
的对抗样本集合，q
j
是X
i
集合中在不同的摄像机下 的图片。
[0018]进一步地，步骤S1中，在图片中标出行人将附着的攻击图案的区域， 该标记将攻击图案映射到行人的空间平面上，表示为T(δ
i
)，δ
i
属于δ的集合， δ包含集合X的所有攻击图案。
[0019]进一步地，步骤S1中的行人重识别网络由特征提取器和分类器组成， 特征提取器用于提取样本的深度特征，分类器用于得到一组向量V，分别 对应于不同相机下行人图像的特征。
[0020]进一步地，通过公式(2)计算两个目标之间的相似度，来衡量两幅图 片是否相似：
[0021]Sim(q
j
，q
k
)＝∑v
j
×
v
k
,j≠k
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0022]其中v
j
和v
k
属于V，表示分类器q
j
和q
k
的输出向量，v
j
是1
×
t的向量。
[0023]进一步地，步骤S2中采用的损失函数为上下文损失。
[0024]进一步地，步骤S2中采用的损失函数具体方法为，将来自不同摄像机 的行人图像的特征表示为其中i表示行人的标签，f
p
表 示图像j的局部特征p；形式上，定义图像深度特征间的上下文相似度为：
[0025][0026]是和之间的Cosine距离，记作m1和m2在p的范 围之内；
[0027][0028]被式(7)子归一化：
[0029][0030]最终，上下文损失可由式(8)表示：
[0031][0032]将与分区训练部分的优化目标相结合，训练攻击图案的总损失函数 为：
[0033][0034]其中α、β是的参数。
[0035]进一步地，步骤S3中将δ
central
和δ
corner
拼接起来记作δ，利用其经过透 视变换覆盖在行人图像形成新的对抗样本，此过程使用的损失函数可以表 示为：
[0036][0037]其中γ，η，α，θ和β是以上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遮挡弹性的行人重识别对抗攻击方法，其特征在于，包括以下步骤：S1、攻击块分区：将攻击图案划分为两个区域，分别为四角部分和中心部分，对这两个区域分别进行训练，命名为δ
central
和δ
corner
，将初始化δ
central
和δ
corner
的对抗样本分别放入预先训练好的行人重识别网络中，提取样本的深度特征；S2、相似度计算：来自不同摄像机的行人图像的特征组成特征集合，通过引导损失函数向相反的方向变化来实现攻击，得到了具有一定攻击效果的两个子攻击图案δ
central
和δ
corner
，两个子攻击图案没有攻击能力的区域的像素值为0；S3、微调：将两个子攻击图案拼接，并将其像素相加，利用其经过透视变换覆盖在行人图像形成新的对抗样本，同步更新以上两个子攻击图案，经过数次微调，找到攻击块的整体攻击性能和子攻击块的攻击性能之间的相对平衡点。2.根据权利要求1所述的遮挡弹性的行人重识别对抗攻击方法，其特征在于，步骤S1中的两个区域分别采用梯度引导训练。3.根据权利要求1所述的遮挡弹性的行人重识别对抗攻击方法，其特征在于，步骤S1中针对不同的视角的行人图片，将透视变换应用到攻击图案中，攻击样本集合可以表示为：X
′
i
＝{q
j
+T(δ
i
)}
ꢀꢀꢀꢀꢀꢀꢀ
(1)其中X
i
′
代表了行人X
i
的对抗样本集合，q
j
是X
i
集合中在不同的摄像机下的图片。4.根据权利要求1所述的遮挡弹性的行人重识别对抗攻击方法，其特征在于，步骤S1中，在图片中标出行人将附着的攻击图案的区域，该标记将攻击图案映射到行人的空间平面上，表示为T(δ
i
)，δ
i
属于δ的集合，δ包含集合X的所有攻击图案。5.根据权利要求1所述的遮挡弹性的行人重识别对抗攻击方法，其特征在于，步骤S1中的行人重识别网络由特征提取器和分类...

【专利技术属性】
技术研发人员：郑霄龙，刘亮，马华东，王欣宇，朱玉鹏，周东青，
申请(专利权)人：中国人民解放军三二八零二部队，
类型：发明
国别省市：