【技术实现步骤摘要】
本专利技术涉及信息安全以及图像水印技术，具体涉及一种基于稳定扩散模型的生成式不可见水印方法。
技术介绍
1、由于深度学习技术的不断发展，生成技术也取得了迅速进展，在众多生成模型中，扩散模型以生成高质量内容而出名，逐步占据了生成领域的主导地位，其中，稳定扩散模型由于可以生成许多高质量图像而被人们熟知。扩散模型（diffusion model）是一类基于概率模型的生成模型，通过逐步向数据添加噪声并学习去噪过程来生成新数据。这种模型以马尔科夫链为基础，通过两个阶段完成：正向扩散过程和反向生成过程。
2、ddpm是扩散模型的基础版本，扩散模型采样过程分为包括正向扩散采样过程和逆扩散采样过程，正向扩散过程中，定义初始的数据概率分布随着时间不断增加，每一步都向已有的数据分布中添加高斯噪声，最终数据分布会呈现出高斯分布，一共加入步，从而每个时刻都产生一系列加噪声的样本，加入噪声的均值和方差由决定；
3、；
4、这里，是一个预定义的参数，迭代的前向步骤是一个马尔可夫链过程，p和q都表示概率分布。
5、根据上式推导出一个特殊的分布转移过程：
6、；
7、；
8、从而可推导出分布在t > 1时的均值和方差。
9、接着，去噪步骤表述如下：
10、；
11、其中表示训练好的噪声预测模型，是与相关的常数。
12、ddim作为扩散模型的一种重要变体，在ddpm的基础上，提出了一种高效的采样方法，通过减少采样步骤，大幅度加
13、前向过程推导所得：
14、；
15、其中，可推导为：
16、；
17、当时，那么生成过程就是确定的，这种情况下为ddim。
18、如果，这种前向过程就变成了马尔科夫链，该生成过程等价于ddpm的生成过程。
19、潜在扩散模型是扩散模型更具实用性的一种高效变体，稳定扩散模型就是其代表性应用的一种，相较于经典的扩散模型ddpm，潜在扩散模型引入的潜在空间的概念，其核心思想是使用自动编码器将图像数据映射到低维的潜在空间，再在潜在空间中进行前向扩散和后向采样的过程。在潜在空间中对潜在噪声向量进行扩散和采样，再将潜在噪声向量解码还原到像素空间生成高分辨率图像，节省了算力。潜在扩散模型能够使公司甚至个人可以轻松得到高质量图像，目前已经被广泛应用。
20、然而，随着生成技术的不断发展，许多生成图像逐步进入人们的生活，由于缺乏对生成图像的有效管制，扩散模型和生成图像的滥用给日常生活带来了诸多不便。
21、为解决上述问题，很多现有技术致力于生成图像的保护和溯源。例如采用水印进行主动防御，即通过在扩散模型生成的图像上添加水印，可以实现产权保护，同时防止虚假内容传播。
22、为保证图像内容能够被正常使用，相对与可见水印，隐形水印（不可见水印）在很多场景下被大量使用，现有方法是向已经生成的图像中添加水印，不参与图像的生成过程，嵌入的隐形水印容易被移除。
技术实现思路
1、专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于稳定扩散模型的生成式不可见水印方法，为稳定扩散模型提供即插即用的水印嵌入方案，能够抵抗目前针对图像的几何攻击以及深度学习网络的二次重构攻击；在不影响图像生成任务的同时，在图像生成过程嵌入不可见水印，使生成图像可以携带不可见水印信息。
2、技术方案：本专利技术一种基于稳定扩散模型的生成式不可见水印方法，基于稳定扩散模型stable diffusion，在将文本生成图像的过程中嵌入不可见水印，包括以下步骤：
3、输入文本提示/图像提示（text2img任务为例，接受图像提示和文本提示），依次经分词器和文本编码器处理后，得到嵌入向量表示ft，即是潜变量；
4、前向扩展过程中，利用所得潜变量指导生成图像，先通过变分自编码器vae中的编码器e将图像转换为低维潜在表示，变分自编码器vae中的解码器d将低维潜在表示转换为图像；依据低维潜在表示生成潜在噪声，结合潜在噪声和低维潜在表示进行多次迭代生成含噪声图像；
5、该过程中，利用预训练的水印解码器（基于hidden网络）来微调变分自编码器vae中的解码器d，从而在生成的图像中嵌入微调后的权重水印；同时，在稳定扩散模型stablediffusion生成图像时，使用变分自编码器vae将图像压缩为潜在噪声，再将所得潜在噪声进行小波变换得到噪声水印，并将噪声水印信息映射为环状图案水印并嵌入到噪声低频子带；
6、反向扩散过程中，将低维潜在表示输入unet，u-net进行逐步去除噪声恢复图像；
7、最后，利用含有水印噪声进行图像生成，得到含水印图像。
8、进一步地，所述稳定扩散模型stable diffusion包括文本编码器、变分自编码器vae、unet；文本编码器将输入的文本提示（例如，“a pikachu fine dining with view tothe effiel tower”）转换为潜在嵌入向量表示ft，便于后续u-net可以理解；
9、变分自编码器vae包括编码器和解码器，编码器将图像转换为低维潜在表示latent，解码器将潜在表示转换回图像；
10、u-net包括编码器和解码器，编码器和解码器均设有resne块和交叉注意层，编码器将图像表示压缩为较低分辨率的图像，解码器将较低分辨率图像解码回较高分辨率的图像；且编码器的下采样 resnet 块和解码器的上采样 resnet 块设有快捷连接
11、u-net由编码器和解码器部分组成，两者都由resne块组成；编码器将图像表示压缩为较低分辨率的图像，解码器将较低分辨率解码回较高分辨率的图像；为防止u-net在下采样时丢失重要信息，通常在编码器的下采样 resnet 和解码器的上采样 resnet 之间添加快捷连接；此外，稳定扩散 u-net 能够通过交叉注意层调节其在文本嵌入上的输出；交叉注意层被添加到 u-net 的编码器和解码器部分，通常在 resnet 块之间。
12、进一步地，在步骤2中，对变分自编码器vae中解码器进行微调时使用的水印解码器微调基于hidden网络，并联合优化水印编码器（we）和提取器网络（w）的参数，将k位消息嵌入到图像中，并对训练期间应用的变换保持鲁棒性。在潜在扩散模型中本文档来自技高网...
【技术保护点】
1.一种基于稳定扩散模型的生成式不可见水印方法，其特征在于，基于稳定扩散模型Stable Diffusion，在将文本生成图像的过程中嵌入不可见水印，包括以下步骤：
2.根据权利要求1所述的基于稳定扩散模型的生成式不可见水印方法，其特征在于，所述稳定扩散模型Stable Diffusion包括文本编码器、变分自编码器VAE和UNet；所述文本编码器将输入的文本提示转换为潜在嵌入向量表示；所述U-Net包括编码器和解码器，编码器和解码器均设有ResNet块和交叉注意层，编码器将图像表示压缩为较低分辨率的图像，解码器将较低分辨率图像解码回较高分辨率的图像；且编码器的下采样 ResNet 块和解码器的上采样 ResNet 块设有快捷连接。
3.根据权利要求1所述的基于稳定扩散模型的生成式不可见水印方法，其特征在于，对变分自编码器VAE中解码器进行微调时使用的水印解码器微调基于HIDDEN网络，并联合优化水印编码器和提取器网络的参数，将k位消息嵌入到图像中，完成潜在扩散结束后得到的潜在向量z被输入到解码器D中以产生图像；具体内容为：
4.根据权利要求1
5.根据权利要求1所述的基于稳定扩散模型的生成式不可见水印方法，其特征在于，在反向扩散过程中，反演采样的每一个时间步长内，均采用梯度优化策略，基于对抗学习最小化编码器和解码器之间的重构误差损失，反演采样的迭代过程中，不断调整水印向量的潜在表示；
6.根据权利要求5所述的基于稳定扩散模型的生成式不可见水印方法，其特征在于，得到优化后的损失函数后，获得包含水印信息得到初始噪声向量，然后根据掩码mask和赋值参数S对水印信息M进行提取；提取水印时，需先对水印图像Image进行压缩，将其从像素空间转为潜在空间，然后经过T个时间迭代回到初始嵌入水印的噪声状态。
...【技术特征摘要】
1.一种基于稳定扩散模型的生成式不可见水印方法，其特征在于，基于稳定扩散模型stable diffusion，在将文本生成图像的过程中嵌入不可见水印，包括以下步骤：
2.根据权利要求1所述的基于稳定扩散模型的生成式不可见水印方法，其特征在于，所述稳定扩散模型stable diffusion包括文本编码器、变分自编码器vae和unet；所述文本编码器将输入的文本提示转换为潜在嵌入向量表示；所述u-net包括编码器和解码器，编码器和解码器均设有resnet块和交叉注意层，编码器将图像表示压缩为较低分辨率的图像，解码器将较低分辨率图像解码回较高分辨率的图像；且编码器的下采样 resnet 块和解码器的上采样 resnet 块设有快捷连接。
3.根据权利要求1所述的基于稳定扩散模型的生成式不可见水印方法，其特征在于，对变分自编码器vae中解码器进行微调时使用的水印解码器微调基于hidden网络，并联合优化水印编码器和提取器网络的参数，将k位消息嵌入到图像中，完成潜在扩散结束后得...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。