一种面向人脸识别的对抗补丁攻击方法技术

本发明专利技术涉及一种面向人脸识别的对抗补丁攻击方法，属于深度学习领域。本发明专利技术所提出的基于对抗口罩补丁的对抗样本攻击方法，相比于一般对抗补丁方法提出了更适合人脸识别模型的口罩形状且提出更适合应用场景的隐蔽性生成方法，提高了此类方法的攻击鲁棒性，增加在现实世界中攻击成功的可能性。本发明专利技术的主要创新在于针对人脸识别系统设计一种生成扰动的方法，相关损失函数通过针对人脸识别网络对嵌入向量的依赖并通过设计风格损失的环节增强补丁的隐蔽性，从而大大提升攻击现实系统的可能性，在考虑方法成功率的前提下，增加隐蔽性因素的考虑。在现实生活中的例如，攻击者可以假冒其他身份进行人脸核验，通过后盗用他人账户信息等。该攻击方法给防御提出一种隐蔽性相关的评估标准。关的评估标准。关的评估标准。

【技术实现步骤摘要】
一种面向人脸识别的对抗补丁攻击方法


[0001]本专利技术属于深度学习领域，涉及一种面向人脸识别的对抗补丁攻击方法。

技术介绍

[0002]对抗样本攻击方法是指在原始输入图像的局部或全局增设肉眼不易察觉的扰动，以干预分类或回归等深度学习网络对输入的判断。它通常通过极小的噪声存在与图片中，而这些噪声正是通过利用网络复杂迭代的结构特征来专门制定的，通过利用梯度、输出向量等特点迭代输入图片从而诱导网络误判。对抗样本攻击的存在为市面上绝大多数的身份信息核验系统、自动驾驶系统以及目标检测系统带来了很大的潜在威胁，研究并提出相应攻击办法对成功防御和加强实际应用中的网络带来了很大的价值。
[0003]目前对抗样本的方法可以分为局部攻击方法和全局攻击方法两种，其中全局攻击方法是在输入图像整体上盖上一层生成的对抗噪声，从而将原输入图像变成对抗样本。这种方法在现实生活中的意义不大，因为攻击者很难将相关图片在输入系统之前捕获并修改。而局部扰动攻击方法更易迁移到物理世界，它是以在输入图片的局部区域隐藏一块微小对抗补丁的形式来篡改输入图像，从而诱导网络做出错误判断。对于这类补丁形式的扰动更有利于迁移到现实世界中，从而对现实中的应用带来极大的威胁。由于这些对抗样本类方法不需要操作网络和训练集，只是在测试的样本上进行篡改，因此实施起来的难度较低，研究这些攻击方法才能更有效的为应用增设相应防御提高系统的鲁棒性。
[0004]现有的基于补丁的攻击方法都是在针对网络梯度上进行扰动生成的，由于深度学习网络是通过不断迭代和卷积推测最终结果的，每一层的输出结果都将作为下一层的输入进行计算，所以通过向原始正确类别梯度的反方向设计损失函数，可以有效的误导网络每一层对正确类别的判断，从而累积下来最终判断出错。现有的方法大都是利用这种想法设计迭代补丁的损失函数而忽略了生成补丁隐蔽性的考虑，隐蔽性也是对一个补丁效果考量的重要标准之一。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种面向人脸识别的对抗补丁攻击方法。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]一种面向人脸识别的对抗补丁攻击方法，该方法包括以下步骤：
[0008]S1：选择随机补丁进行预处理，切割出口罩形状与输入类原图进行拼接，模拟口罩在人脸的图片做为初始输入；
[0009]S2：生成图片和原始图像交给网络进行特征提取，分别得到两个的图片的映射向量输出，并记录下特征值；
[0010]S3：将对抗补丁合成图片输出向量与真实类的输出向量带入损失函数计算，通过梯度方向更新补丁像素并生成全新的对抗补丁；
[0011]S4：进行迭代，重复第一步操作达到约设置迭代次数阈值，输出最终的对抗补丁。
[0012]可选的，所述S4中，进行迭代的迭代方法是对每张图片x连续重复m次训练，计算扰动r时复用上一步的梯度，为保证速度且增强隐蔽性，整体epoch会除以m；其中r的更新公式为：
[0013]r
t+1
＝r
t
+∈
·
sign(g)
[0014]其中sign(g)代表梯度方向，∈为预设的超参数来控制梯度方向到大小；其中输入x，标签y对于损失函数的梯度写为：
[0015][0016]具体的迭代步骤算法如下：
[0017]对于原始输入样本x及对应的标签y，选择出书补丁p0进行训练；在N/m次迭代过程中，每轮对补丁进行更新；在其中的每一轮内，第一步对图片x进行补丁的覆盖得到全新的人脸图片，进而模拟佩戴口罩；第二步通过损失函数L(x0，y，θ)计算损失值；第三步计算损失函数对应的梯度第四步通过随机梯度下降方法更新模型参数θ，更新公式为：通过更新后的θ对输入x更新梯度，从而得到更新对抗补丁的梯度方向最终在原始补丁上累加上梯度方向单位值，即p0←
p0+∈
·
sign(g
adv
)；重复第四步m次直到得到梯度下降结束；
[0018]总的损失函数为：
[0019][0020]其中P
adv
代表生成的对抗补丁，P0代表未进行迭代的初始补丁，这里选择随机噪声，x代表输入人脸图像，x
t
代表目标对象；
[0021]相似损失函数对于定向攻击写成：
[0022]l
tsim
(P
adv
，x，x
t
)＝cos(em(T(P
adv
，x))，em(x
t
))
[0023]其中em(...)代表将图片输入给人脸识别网络输出的映射向量(Embedding)，T(...)代表将将补丁转到人脸上的变换操作，cos(...)是向量之间的余弦距离；对于非定向攻击，相似损失函数的形式是：
[0024]l
utsim
(P
adv
，x，x
t
)＝
‑
cos(em(T(P
adv
，x)，em(x))
[0025]通过最小化生成映射向量与目标向量的余弦距离来诱导网络误判；风格损失表示为生成补丁和初始补丁之间的格莱姆矩阵的差：
[0026][0027]其中G(...)是格莱姆矩阵，用来表示特定图结构和计算相关性系数的矩阵，描述图中结点之间的关系和一个内部网层的结构；采用格拉姆矩阵来保持补丁来自原始的风格性；原始的格拉姆矩阵需要迭代网络的底层到高层，每次把最高层的输入带入损失一同参与迭代。
[0028]本专利技术的有益效果在于：本专利技术所提出的基于对抗口罩补丁的对抗样本攻击方法，相比于一般对抗补丁方法提出了更适合人脸识别模型的口罩形状且提出更适合应用场景的隐蔽性生成方法，提高了此类方法的攻击鲁棒性，增加在现实世界中攻击成功的可能性。本专利技术的主要创新在于针对人脸识别系统设计一种生成扰动的方法，相关损失函数通过针对人脸识别网络对嵌入向量的依赖并通过设计风格损失的环节增强补丁的隐蔽性，从
而大大提升攻击现实系统的可能性。在现实生活中的例如，攻击者可以假冒其他身份进行人脸核验，通过后盗用他人账户信息等。该攻击方法给防御提出一种隐蔽性相关的评估标准。
[0029]与一般攻击分类类型的对抗样本相比，本方法可以更好的利用人脸识别网络的信息生成更具针对性的方法补丁，对于人脸识别算法这种类间距离较大但类内距离较小的攻击数据来说，更合适人脸识别模型的损失函数才能更好的在现实中完成攻击。有了更好的攻击效果则可以为对抗防御、对抗训练等领域带来新的突破。
[0030]与相关人脸方法的分类攻击补丁相比，本方法新增的隐蔽性方法可以更好的因此补丁，从而可以更有效地针对现实世界中的人脸识别系统。通过风格损失和平滑损失的辅助能够将目标特征信息更柔和的隐藏进周边像素信息，从而在实现效果上更加自然且隐蔽。
[0031]本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人脸识别的对抗补丁攻击方法，其特征在于：该方法包括以下步骤：S1：选择随机补丁进行预处理，切割出口罩形状与输入类原图进行拼接，模拟口罩在人脸的图片做为初始输入；S2：生成图片和原始图像交给网络进行特征提取，分别得到两个的图片的映射向量输出，并记录下特征值；S3：将对抗补丁合成图片输出向量与真实类的输出向量带入损失函数计算，通过梯度方向更新补丁像素并生成全新的对抗补丁；S4：进行迭代，重复第一步操作达到约设置迭代次数阈值，输出最终的对抗补丁。2.根据权利要求1所述的一种面向人脸识别的对抗补丁攻击方法，其特征在于：所述S4中，进行迭代的迭代方法是对每张图片x连续重复m次训练，计算扰动r时复用上一步的梯度，为保证速度且增强隐蔽性，整体epoch会除以m；其中r的更新公式为：r
t+1
＝r
t
+∈
·
sign(g)其中sign(g)代表梯度方向，∈为预设的超参数来控制梯度方向到大小；其中输入x，标签y对于损失函数的梯度写为：具体的迭代步骤算法如下：对于原始输入样本x及对应的标签y，选择出书补丁p0进行训练；在N/m次迭代过程中，每轮对补丁进行更新；在其中的每一轮内，第一步对图片x进行补丁的覆盖得到全新的人脸图片，进而模拟佩戴口罩；第二步通过损失函数L(x0，y，θ)计算损失值；第三步计算损失函数对应的梯度第四步通过随机梯度下降方法更新模型参数θ，更新公式为：通过更新后的θ对输入x更新梯度，从而得到更新对抗补丁的梯度方向最终在原始补丁上累加上梯度方向单位值，即p0←
...

【专利技术属性】
技术研发人员：米建勋，王绪东，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：