【技术实现步骤摘要】
本专利技术涉及文本识别，具体涉及一种文本到图像扩散快速概念擦除方法。
技术介绍
1、文本到图像技术是近年来生成模型领域的一个重大突破。通过输入文本描述，文本到图像模型能够生成与文本语义紧密一致的图像。该技术的进步不仅允许用户创建逼真的图像，还可以对模型进行微调以满足特定需求，便于个性化定制。
2、目前，主流的文本到图像概念擦除方法有以下两类：(1)通过负面指导对稳定扩散模型中的u-net模块权重进行微调，以消除特定的概念；(2)通过调整提示相关的投影矩阵，对交叉注意块进行细化，旨在对于u-net的概念移除交叉注意块进行优化。尽管取得了这些进步，但这些方法更专注于稳定扩散模型的u-net模块，这通常需要大量的计算资源，导致计算成本高，性能不稳定。
技术实现思路
1、专利技术目的：本专利技术的目的是提供一种文本到图像扩散快速概念擦除方法，解决现有模型计算复杂、时间成本高且效果不稳定问题。
2、技术方案：本专利技术所述的一种文本到图像扩散快速概念擦除方法，包括以下步骤：
3、(1)利用开源网站获取误导性或虚假的图像并进行预处理；
4、(2)构建文本到图像扩散模型：包括通过使用知识蒸馏框架设计目标概念擦除策略；引入校准集设计其它概念保留策略；
5、(3)生成与文本描述对应的图像。
6、进一步的，步骤(2)中，通过使用知识蒸馏框架设计目标概念擦除策略具体如下：
7、首先，通过将多模态预训练模型clip，分别加
8、emb＝eclip(y)
9、其中，c为概念嵌入矩阵，y为目标概念；
10、然后，基于知识蒸馏框架微调模型使其在文本空间中将目标概念与空概念具备相同的特征，计算公式为：
11、
12、其中，embθ(c)使用参数为θ的学生clip模型表示目标概念c的文本嵌入；和分别为使用参数为θ*的冻结教师clip模型表示空概念c0和目标概念c的文本嵌入，系数a和β控制来自教师模型的嵌入在损失函数中的贡献。
13、进一步的，步骤(2)中，引入校准集设计其它概念保留策略具体如下：设计基于嵌入之间差异的概念保留损失函数，计算公式为：
14、
15、其中，δ是用于平衡保留其他概念和擦除目标概念之间的权衡的正则化系数，ci表示从校准集中随机选择的与目标概念c不同的其他概念。
16、进一步的，步骤(3)具体如下：通过输入文本提示，模型生成与文本描述对应的图像而不包含目标概念。
17、本专利技术所述的一种文本到图像扩散快速概念擦除系统，包括：
18、图像获取模块：用于利用开源网站获取误导性或虚假的图像并进行预处理；
19、文本到图像扩散模块：用于构建文本到图像扩散模型：包括通过使用知识蒸馏框架设计目标概念擦除策略；引入校准集设计其它概念保留策略；
20、生成模块：用于生成与文本描述对应的图像。
21、进一步的，文本到图像扩散模块中，通过使用知识蒸馏框架设计目标概念擦除策略具体如下：
22、首先，通过将多模态预训练模型clip，分别加载为教师clip模型和学生clip模型，同时，将需要擦除的概念文本、空的概念文本和其他无关概念文本分别输入教师和学生clip模型得到文本嵌入矩阵，计算公式为：
23、emb＝eclip(y)
24、其中，c为概念嵌入矩阵，y为目标概念；
25、然后，基于知识蒸馏框架微调模型使其在文本空间中将目标概念与空概念具备相同的特征，计算公式为：
26、
27、其中，embθ(c)使用参数为θ的学生clip模型表示目标概念c的文本嵌入；和分别为使用参数为θ*的冻结教师clip模型表示空概念c0和目标概念c的文本嵌入，系数a和β控制来自教师模型的嵌入在损失函数中的贡献。
28、进一步的，文本到图像扩散模块中，引入校准集设计其它概念保留策略具体如下：设计基于嵌入之间差异的概念保留损失函数，计算公式为：
29、
30、其中，δ是用于平衡保留其他概念和擦除目标概念之间的权衡的正则化系数，ci表示从校准集中随机选择的与目标概念c不同的其他概念。
31、进一步的，生成模块中，具体如下：通过输入文本提示，模型生成与文本描述对应的图像而不包含目标概念。
32、本专利技术所述的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现任一项所述的一种文本到图像扩散快速概念擦除方法。
33、本专利技术所述的一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述的一种文本到图像扩散快速概念擦除方法。
34、有益效果：与现有技术相比，本专利技术具有如下显著优点：能够高效地实现特定概念的擦除，同时保留其他相关概念的语义一致性，从而显著提高了图像生成过程的安全性和可靠性。通过采用知识蒸馏的微调方法，本专利技术不仅大幅减少了概念擦除所需的训练时间，缩短至约15秒内完成，同时避免了对复杂模型结构的修改，降低了计算资源的消耗。
本文档来自技高网...【技术保护点】
1.一种文本到图像扩散快速概念擦除方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种文本到图像扩散快速概念擦除方法，其特征在于，步骤(2)中，通过使用知识蒸馏框架设计目标概念擦除策略具体如下：
3.根据权利要求2所述的一种文本到图像扩散快速概念擦除方法，其特征在于，步骤(2)中，引入校准集设计其它概念保留策略具体如下：设计基于嵌入之间差异的概念保留损失函数，计算公式为：
4.根据权利要求1所述的一种文本到图像扩散快速概念擦除方法，其特征在于，步骤(3)具体如下：通过输入文本提示，模型生成与文本描述对应的图像而不包含目标概念。
5.一种文本到图像扩散快速概念擦除系统，其特征在于，包括：
6.根据权利要求5所述的一种文本到图像扩散快速概念擦除系统，其特征在于，文本到图像扩散模块中，通过使用知识蒸馏框架设计目标概念擦除策略具体如下：
7.根据权利要求6所述的一种文本到图像扩散快速概念擦除系统，其特征在于，文本到图像扩散模块中，引入校准集设计其它概念保留策略具体如下：设计基于嵌入之间差异的概念保留损失函数
8.根据权利要求6所述的一种文本到图像扩散快速概念擦系统，其特征在于，生成模块中，具体如下：通过输入文本提示，模型生成与文本描述对应的图像而不包含目标概念。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-4任一项所述的一种文本到图像扩散快速概念擦除方法。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-4任一项所述的一种文本到图像扩散快速概念擦除方法。
...【技术特征摘要】
1.一种文本到图像扩散快速概念擦除方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种文本到图像扩散快速概念擦除方法，其特征在于，步骤(2)中，通过使用知识蒸馏框架设计目标概念擦除策略具体如下：
3.根据权利要求2所述的一种文本到图像扩散快速概念擦除方法，其特征在于，步骤(2)中，引入校准集设计其它概念保留策略具体如下：设计基于嵌入之间差异的概念保留损失函数，计算公式为：
4.根据权利要求1所述的一种文本到图像扩散快速概念擦除方法，其特征在于，步骤(3)具体如下：通过输入文本提示，模型生成与文本描述对应的图像而不包含目标概念。
5.一种文本到图像扩散快速概念擦除系统，其特征在于，包括：
6.根据权利要求5所述的一种文本到图像扩散快速概念擦除系统，其特征在于，文本到图像扩散模块中，通过使用知识蒸馏框架设计...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。