【技术实现步骤摘要】
本专利技术涉及一种面向肖像保护的人脸主动防御方法，属于人工智能。
技术介绍
1、当下主流的被动防御技术只能事后取证真伪、已有的主动防御技术防御类型单一，均不能有效阻止用户肖像图像被恶意伪造。
2、此外，具有目标属性的虚假面部图像可能会通过商业应用的生物识别认证或者直接骗取他人的信任，从而潜在地破坏被盗用肖像的安全性与用户隐私。
3、然而，当下研究集中于被动防御方面，现有被动防御技术通过训练深度伪造探测器检测修改内容。但它们只能在事后取证特定的图像是否具有深度伪造痕迹，并不能提前阻止肖像图像本身被恶意伪造，仅仅起到亡羊补牢的效果，其时效性低、泛化性差且易出错漏报。同时被动防御面对不断更新迭代的深度伪造模型，需要持续更新与训练防御模型，成本压力巨大。而现有的主动防御技术也只能生成特定于图像和模型的对抗性扰动，即嵌入的扰动只能保护一个面部图像免受特定深度伪造模型的攻击，并不能同时抵御多种不同模型的攻击。
技术实现思路
1、本专利技术的目的在于克服现有技术中的不足，提出一种面向肖像保护的人脸主动防御方法，通过并行设置多种防御深度伪造模型的扰动生成路径，得到最佳的通用防御扰动并将其嵌入到用户上传的肖像图像中。
2、为达到上述目的，本专利技术是采用下述技术方案实现的：
3、本专利技术提供一种面向肖像保护的人脸主动防御方法，所述方法包括以下步骤：
4、获取训练集；所述训练集中包括多张肖像图片；
5、对所述训练集进行数据增强，
6、生成初始扰动和初始步长；
7、将所述数据增强图像、初始扰动和初始步长输入深度伪造网络中，通过混合攻击方式及显著性偏向融合方法进行对抗感知扰动生成，迭代得到最终的对抗感知扰动；所述深度伪造网络包括多个并行的扰动生成分支，每个扰动生成分支上设置有深度伪造模型；
8、获取待保护的人脸肖像图像，将所述最终的对抗感知扰动嵌入待保护的人脸肖像图像，得到输出图像。
9、进一步的，对所述训练集进行数据增强，包括：
10、将训练集中的肖像图片从rgb模式转到lab空间域，得到lab空间域的图片；
11、对lab空间域的图片进行数据增强，得到增强后的lab空间域的图片；
12、对增强后的lab空间域的图片进行随机跳动参数处理，得到噪声图片；
13、将噪声图片从lab空间域转换回rgb模式，得到rgb模式的噪声图片；
14、将rgb模式的噪声图片添加至训练集，得到数据增强图像。
15、进一步的，所述初始扰动和初始步长均为随机生成；
16、所述深度伪造模型包括4条并行的扰动生成路径；一轮中四条路径共生成四个不同的对抗结果；初始步长为4个，包括s1、s2、s3、s4；
17、每条扰动生成路径上设置有深度伪造模型，每条扰动生成路径的输入为对抗样本，输出是每个路径中深度伪造模型各自生成的分支扰动。
18、进一步的，将所述数据增强图像、初始扰动和初始步长输入深度伪造网络中，通过混合攻击方式及显著性偏向融合方法进行对抗感知扰动生成，迭代得到最终的对抗感知扰动，包括：
19、步骤a：将所述数据增强图像添加初始扰动，得到对抗样本；将所述初始步长作为各路径中深度伪造模型的步长；
20、步骤b：分别将所述数据增强图像和本轮的对抗样本并行输入到深度伪造网络的所有扰动生成分支中，得到各分支的深度伪造模型针对数据增强图像的伪造结果和针对此时的对抗样本的伪造结果；
21、步骤c：根据各分支的深度伪造模型针对数据增强图像的伪造结果和针对此时的对抗样本的伪造结果，计算各分支的损失函数的梯度值，根据所述各分支的损失函数的梯度值以及步长，生成各分支的分支扰动；
22、步骤d：将所述各分支的分支扰动进行横向融合，得到本轮的临时扰动；
23、步骤e：通过tpe参数优化，基于历史最佳测量值选取下一轮各路径中深度伪造模型的的步长；
24、步骤f：在每一轮横向融合生成临时扰动后，都与之前所有轮的临时扰动进行纵向融合，更新形成纵向扰动，将所述纵向扰动作为下一轮的开始扰动与所述数据增强图像结合，更新形成下一轮的对抗样本；
25、步骤g：重复步骤b-步骤f，直到生成最佳的对抗感知扰动。
26、进一步的，步骤b：分别将所述数据增强图像和本轮的对抗样本并行输入到深度伪造网络的所有扰动生成分支中，得到各分支的深度伪造模型针对数据增强图像的伪造结果和针对此时的对抗样本的伪造结果，包括：
27、按照下式生成伪造结果：
28、添加扰动：
29、实施伪造：
30、其中，表示数据增强图像，上标l表示为数据增强图像，表示第r轮的对抗样本，上标p表示输入层攻击得到的对抗样本，wr表示第r轮添加的开始扰动；
31、在并行分支中，表示第r轮迭代中经过第i分支的深度伪造模型攻击对抗样本后的伪造结果，i表示分支号，i=1,2,...,m,m表示深度伪造网络的分支总数；
32、表示第i分支的篡改人脸肖像的深度伪造模型，用于攻击输入的肖像图像，
33、gi（）表示第i分支的深度伪造模型的伪造结果，ci对应第i分支的深度伪造模型所使用的攻击属性，表示对目标图像进行伪造的类型或方向。
34、进一步的，步骤c：根据各分支的深度伪造模型针对数据增强图像的伪造结果和针对此时的对抗样本的伪造结果，计算各分支的损失函数的梯度值，根据所述各分支的损失函数的梯度值以及步长，生成各分支的分支扰动，包括：
35、使用投影梯度下降法pgd作为输入层攻击方法，根据各分支的深度伪造模型针对数据增强图像的伪造结果和针对此时的对抗样本的伪造结果，计算各分支的损失函数的梯度值；
36、按以下公式，根据所述各分支的损失函数的梯度值以及步长，生成各分支的分支对抗样本变动量：
37、
38、其中，ti表示第i分支的更新扰动后的对抗样本变动量，si表示第i分支的攻击步长，表示数据增强图像，wr表示第r轮添加的开始扰动，表示损失函数当前的梯度值，表示第i分支的深度伪造模型针对此时的对抗样本的伪造结果，表示第i分支的深度伪造模型针对数据增强图像的伪造结果；
39、loss（）表示攻击损失函数，采用均方根误差rmse方法；
40、sign（）表示sign函数，用于确保更新方向正确；
41、根据各分支的分支对抗样本变动量，按照下式更新各分支的分支对抗样本：
42、
43、其中，xip表示第i分支的分支对抗样本，表示操作保证范围约束在之间的clip操作;ɛ表示阈值，x表示未添加扰动的数据增强图像或者原始图像；
44、按下式对第i分支的分支对抗样本进行分解表示：
45、
46、其中，为第i轮的第i分本文档来自技高网...
【技术保护点】
1.一种面向肖像保护的人脸主动防御方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的面向肖像保护的人脸主动防御方法，其特征在于，对所述训练集进行数据增强，包括：
3.根据权利要求1所述的面向肖像保护的人脸主动防御方法，其特征在于，所述初始扰动和初始步长均为随机生成；
4.根据权利要求1所述的面向肖像保护的人脸主动防御方法，其特征在于，将所述数据增强图像、初始扰动和初始步长输入深度伪造网络中，通过混合攻击方式及显著性偏向融合方法进行对抗感知扰动生成，迭代得到最终的对抗感知扰动，包括：
5.根据权利要求4所述的面向肖像保护的人脸主动防御方法，其特征在于，步骤B：分别将所述数据增强图像和本轮的对抗样本并行输入到深度伪造网络的所有扰动生成分支中，得到各分支的深度伪造模型针对数据增强图像的伪造结果和针对此时的对抗样本的伪造结果，包括：
6.根据权利要求5所述的面向肖像保护的人脸主动防御方法，其特征在于，步骤C：根据各分支的深度伪造模型针对数据增强图像的伪造结果和针对此时的对抗样本的伪造结果，计算各分支的损失函数的梯
7.根据权利要求6所述的面向肖像保护的人脸主动防御方法，其特征在于，步骤C：根据各分支的深度伪造模型针对数据增强图像的伪造结果和针对此时的对抗样本的伪造结果，计算各分支的损失函数的梯度值，根据所述各分支的损失函数的梯度值以及步长，生成各分支的分支扰动，还包括：
8.根据权利要求7所述的面向肖像保护的人脸主动防御方法，其特征在于，步骤D：将所述各分支的分支扰动进行横向融合，得到本轮的临时扰动，包括：
9.根据权利要求5所述的面向肖像保护的人脸主动防御方法，其特征在于，步骤F：在每一轮横向融合生成临时扰动后，都与之前所有轮的临时扰动进行纵向融合，更新形成纵向扰动，包括：
10.根据权利要求5所述的面向肖像保护的人脸主动防御方法，其特征在于，步骤G：重复步骤B-步骤F，直到生成最佳的对抗感知扰动，包括：
...【技术特征摘要】
1.一种面向肖像保护的人脸主动防御方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的面向肖像保护的人脸主动防御方法，其特征在于，对所述训练集进行数据增强，包括：
3.根据权利要求1所述的面向肖像保护的人脸主动防御方法，其特征在于，所述初始扰动和初始步长均为随机生成；
4.根据权利要求1所述的面向肖像保护的人脸主动防御方法，其特征在于，将所述数据增强图像、初始扰动和初始步长输入深度伪造网络中，通过混合攻击方式及显著性偏向融合方法进行对抗感知扰动生成，迭代得到最终的对抗感知扰动，包括：
5.根据权利要求4所述的面向肖像保护的人脸主动防御方法，其特征在于，步骤b：分别将所述数据增强图像和本轮的对抗样本并行输入到深度伪造网络的所有扰动生成分支中，得到各分支的深度伪造模型针对数据增强图像的伪造结果和针对此时的对抗样本的伪造结果，包括：
6.根据权利要求5所述的面向肖像保护的人脸主动防御方法，其特征在于，步骤c：根据各分支的深度伪造模型针...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。