【技术实现步骤摘要】
本专利技术是关于一种基于对抗评分蒸馏采样的高效数据隐私保护方法、装置、设备及介质，涉及图像处理领域。
技术介绍
1、随着生成模型的发展，现在许多研究聚焦在生成模型的可控性上，例如定制化生成，定制化生成通过给定同一个概念，例如同一个人、同一个物体的几张照片，可以通过微调开源大模型实现该概念在不同场景虚拟照片的生成，当概念是人的时候，这类技术的出现导致人们丧失了他们的肖像权。因此，在这种场景下如何很好地保护用户图片不被定制化学习生成是一个具有现实意义的话题。
2、现有的研究的做法是在图片上加一些微小的扰动使得这些图片无法被定制化学习，例如anti-dreambooth基于projected gradient descent（pgd）的做法，通过不断梯度迭代使得扰动后的图片在扩散模型的损失最大，这样的做法会让扩散模型将这个图片理解成一个错误的概念或者是不合理的概念。但这种做法存在几个问题：（1）anti-dreambooth是对每个图片寻找他们特有的扰动，这个扰动不具有普遍性；（2）由于anti-dreambooth需要不断梯度迭代，其计算开销较大，由于其基于开源大模型进行迭代扰动，因此需要多次推断对应模型并梯度回传，所需要的算力和计算时间均较大，因此平台方使用算法的时候，需要先将用户图片上传至云平台，无法在用户端进行边缘计算，为用户隐私埋下隐患，并且时间成本较大（约10mins）。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，针对上述问题，本
2、为了实现上述专利技术目的，本专利技术提供的技术方案为：
3、第一方面，本专利技术提供一种基于对抗评分蒸馏采样的高效数据隐私保护方法，包括：
4、获得扰动生成器；
5、使用对抗评分蒸馏采样相反梯度优化扰动生成器；
6、使用优化后的扰动生成器为图片添加扰动，使得添加扰动后的图片不能被定制化学习成功。
7、一些可能的优选实施例中，获得扰动生成器，包括：
8、获取训练数据；
9、采用dit网络结构为扰动模型结构，输入为一个图片，输出为一个扰动；
10、通过训练数据对dit网络结构进行训练获得扰动生成器。
11、一些可能的优选实施例中，dit网络结构设置条件为：
12、dit网络结构输入为图片，将adaln-zero结构的输入变成固定的不训练参数；
13、dit网络结构最后一层加上一个非线性的tanh函数，并加上一个系数a调节最后输出的范围落在[-a,a]之间。
14、一些可能的优选实施例中，训练数据采用vgg-face数据。
15、一些可能的优选实施例中，使用对抗评分蒸馏采样相反梯度优化扰动生成器，包括：
16、图片经过扰动生成器得到一个扰动，将该扰动加上原始图片得到攻击样本；
17、将攻击样本经过扩散模型前向过程随机加噪到扩散模型的噪声空间；
18、计算该攻击噪声样本对应的扩散模型损失函，目的是最大化该损失回传梯度给扰动生成器；
19、离线计算训练数据集中部分数据基于anti-dreambooth计算下的扰动，通过让扰动生成器输出扰动和基于anti-dreambooth计算下的扰动逼近实现回归项，实现扰扰动生成器的优化。
20、一些可能的优选实施例中，使用优化后的扰动生成器为图片添加扰动具体为将扰动直接加在图片上，即在像素空间两者相加。
21、第二方面，本专利技术还提供一种基于对抗评分蒸馏采样的高效数据隐私保护装置，包括：
22、扰动模型单元，被配置为获得扰动生成器；
23、优化单元，被配置为使用对抗评分蒸馏采样相反梯度优化扰动生成器；
24、扰动添加单元，被配置为使用优化后的扰动生成器为图片添加扰动，使得添加扰动后的图片不能被定制化学习成功。
25、一些可能的优选实施例中，优化后的扰动生成器设置在用户端。
26、第三方面，本专利技术还提供一种电子设备，包括：
27、至少一个处理器；以及
28、与所述处理器通信连接的存储器；其中，
29、所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行任一项所述的方法。
30、第四方面，本专利技术还提供一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括计算机指令，所述计算机指令用于使计算机执行任一项所述的方法。
31、本专利技术由于采取以上技术方案，其具有以下特点：
32、1、本专利技术设置有扰动生成器，通过一次网络推断即可实现扰动的添加，而不需要基于大模型多次迭代。
33、2、为了学习这个网络，本专利技术提出使用最大化带有回归正则adversarial scoredistillation sampling（adv-sds）的思路去优化扰动生成器，图片在添扰动生成器推断后的扰动能够有效实现防止被定制化学习。
34、3、本专利技术平台方（用户上传图片的平台）可实现无需用户上传图片到平台的云服务器，在用户端进行边缘计算即可实现用户的图片隐私保护。
35、4、本专利技术提出了一个新的范式，以往的防止图片被定制化学习的方法都是通过迭代寻找一个图片特有的扰动来实现，而本专利技术提出使用一个扰动生成器实现，这样的框架具有通用性、高效计算的特点。
36、综上，本专利技术可以广泛应用于防止图片定制化学习。
本文档来自技高网...【技术保护点】
1.一种基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，包括：
2.根据权利要求1所述的基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，获得扰动生成器，包括：
3.根据权利要求2所述的基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，DiT网络结构设置条件为：
4.根据权利要求2所述的基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，训练数据采用VGG-Face数据。
5.根据权利要求3所述的基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，使用对抗评分蒸馏采样相反梯度优化扰动生成器，包括：
6.根据权利要求1所述的一种基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，使用优化后的扰动生成器为图片添加扰动具体为将扰动直接加在图片上，即在像素空间两者相加。
7.一种基于对抗评分蒸馏采样的高效数据隐私保护装置，其特征在于，包括：
8.根据权利要求7所述的基于对抗评分蒸馏采样的高效数据隐私保护装置，其特征在于，优化后的扰动生成器设置在用户端。
9.一种
10.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括计算机指令，所述计算机指令用于使计算机执行根据权利要求1-6中任一项所述的方法。
...【技术特征摘要】
1.一种基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，包括：
2.根据权利要求1所述的基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，获得扰动生成器，包括：
3.根据权利要求2所述的基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，dit网络结构设置条件为：
4.根据权利要求2所述的基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，训练数据采用vgg-face数据。
5.根据权利要求3所述的基于对抗评分蒸馏采样的高效数据隐私保护方法，其特征在于，使用对抗评分蒸馏采样相反梯度优化扰动生成器，包括：
6.根据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。