一种图像处理模型与图像处理算法的产权保护方法技术

本发明专利技术公开了一种图像处理模型与图像处理算法的产权保护方法，利用了空域不可见水印机制，能在保证原有模型输出图像视觉质量的前提下，从攻击者使用窃取数据所训练的替代模型中提取嵌入的水印信息，达到模型版权保护的目的。该方法对于攻击者使用不同网络结构及不同目标函数训练的替代网络具有迁移性。另外，整个方案的方法框架可以方便地扩展到重要图像数据和传统图像处理算法的保护上。

An image processing model and property protection method of image processing algorithm

【技术实现步骤摘要】
一种图像处理模型与图像处理算法的产权保护方法
本专利技术涉及深度学习模型产权保护
，尤其涉及一种图像处理模型与图像处理算法的产权保护方法。
技术介绍
深度学习已经在各个领域取得了巨大的成功，诸如图像分类、语音识别、自然语言处理等。训练一个性能好的深度学习模型往往需要大量的高质量的数据和昂贵的计算资源。然而，这些模型存在着严重的被侵权的风险。例如，已知包括目标网络的详细网络结构和参数在内的全部信息(白盒攻击场景)，攻击者可以根据目标模型在新的特定数据集上进行微调或剪枝从而达到有效的攻击目的。即使只能通过API访问目标模型的输出(黑盒攻击场景)，攻击者仍然可以通过使用一个替代模型来模仿目标模型从而窃取目标模型的知识产权。这种攻击方法具体来说就是：攻击者首先可以根据目标模型生成大量的输入输出训练对，然后直接通过将目标模型的输出视为真实标签，以有监督方式训练，便可以得到一个和目标模型性能相近的替代模型。我们需要设计出一种版权标识，使其在经过攻击者的模型窃取攻击后，该标识仍能够得以保存。数字水印是保护多媒体版权的最重要方法之一。近二十年来，许多各式各样的图像数字水印算法被提出，其中大致可分为两个类型：可见水印(如logo)和不可见水印。与可见水印相比，不可见水印更加安全可靠。不可见水印算法又细分为空域不可见水印和变换域不可见水印。对于空域不可见水印算法，1999年Kutter首次提出了对图像变换(平移、旋转、放缩)鲁棒的水印算法；随后两年里，Voloshynovskiy和Deguillaume相继提出了图像内容自适应的空域水印算法以及水印的评估准则；对于其他图像变换域，也提出了各具特色的不可见水印算法，例如离散余弦变换(DCT)域，离散小波转换(DWT)域和离散傅里叶变换(DFT)域。但是，所有这些传统的水印算法通常只能隐藏几位或几十位比特信息，对于嵌入大容量的logo图像来说，这些算法无能为力。近年来，一些基于深度神经网络(DNN)的水印算法也开始出现。例如，Zhu等人在2018年提出了一种基于自动编码器(Auto-encoder)的网络架构来实现水印的嵌入和提取。基于此工作，Tancikp等人进一步实现了通过添加模拟相机拍摄失真噪音层来实现对于相机拍摄具有鲁棒性的水印算法。与这些图像水印算法相比，深度学习模型具有很大规模的(指数级别)搜索空间，因此深度学习模型水印更具挑战性。针对深度学习模型的产权保护方法仍然处于初步研究阶段。2017年，Uchida等人首次提出模型水印的概念，他们在训练正常网络的目标函数中添加了一个正则项，用来在网络权重中嵌入信息，而且水印的嵌入不会造成网络精度的大幅下降。但水印只能在白盒场景(能够完全访问模型权重和结构)下提取。为了能对部署在云端的模型提取水印以验证版权，Merrer等人提出了一种能在黑盒条件下(仅访问模型输出)验证水印的模型水印方案，他们用对抗防御技术微调模型的决策边界，使得微调后的网络对边界附近的几个选定的正确分类的样本仍能正确分类，选定的几个对抗样本可以分类正确，但不足之处在于没有考虑对抗样本的迁移性问题；Zhang等人设计了一种基于作者签名的黑盒模型水印，他们分别设计了3种水印样式：英文、随机噪声、无关图片，分别将这些水印打上作者指定的目标标签后混入训练集训练，训练得到的网络在正常的图片输入上表现一切正常，但当遇到打上水印的图片时，就会输出指定的目标标签，从而证明了水印的存在。Adi等人提出了一种基于后门攻击的黑盒模型水印算法，他们随机挑选一些抽象的图片，打上目标标签，混入训练集中训练网络，训练完成的网络在正常输入上表现正常，在遇到选定的抽象图片时，模型会输出指定的目标标签，从而证明了水印的存在。但此阶段的黑盒模型水印都是0-1水印算法，即嵌入的水印只能表达0-1信息(“水印存在”或“水印不存在”)。Guo等人设计了一种多比特黑盒模型水印算法，他们先将作者信息转化成n比特的二元序列，之后分别送入随机数产生器和随机排序器以指定添加水印后的图像的标签和嵌入水印的位置及水印内容，提取水印时，只有用作者信息计算出嵌入水印的位置才可以正确提取水印。Chen等人也实现了多比特黑盒模型水印算法，嵌入水印时，首先将训练集中的所有图片送入网络，对输出的logits取均值并聚类成两类，之后按照作者的版权标识(0、1序列)对应地从两类图片中选择图片和目标标签，并生成对抗样本，之后对模型进行微调，以增强对抗样本的攻击效果。Darvish等人通过将水印嵌在隐藏层和输出层的概率分布函数里，分别设计了一种白盒和黑盒模型水印框架。然而，现有的方法都专注于针对图像分类任务的深度学习模型，但是没有针对图像处理的深度学习模型，以及传统图像处理算法的产权保护方案。
技术实现思路
本专利技术的目的是提供一种图像处理模型与图像处理算法的产权保护方法，能够实现基于深度学习的图像处理模型以及传统图像处理算法的产权保护，具有较强的鲁棒性。本专利技术的目的是通过以下技术方案实现的：一种图像处理模型与图像处理算法的产权保护方法，利用了空域不可见水印机制，包括：给定图像域A，输入至对要保护的基于深度学习的图像处理模型M或者图像处理算法，得到对应的图像域B；设置模型水印网络，训练阶段包含两部分：初始训练部分，对图像域B中的图像通过水印嵌入子网络进行水印嵌入，得到图像域B'，训练目标为水印嵌入前后图像的视觉一致性；将图像域A、图像域B与图像域B'中的图像通过水印提取子网络进行水印提取，训练目标为不同含水印图像中提取到的水印图像一致，以及能从不含水印的图像中提取一张空白图像；对抗训练部分，通过设置替代网络SM来模拟攻击者，替代网络SM的输入为图像域A，输出构成图像域B”，将图像域B、图像域B'与图像域B”通过水印提取子网络进行水印提取，从而优化水印提取子网络；训练完毕后，通过水印嵌入子网络对图像域B中的图像进行水印嵌入后输出；版权验证时，对于待检测的图像，通过水印提取子网络进行水印提取，从而实现版权验证。由上述本专利技术提供的技术方案可以看出，引入了一致性约束损失函数和干净提取约束损失函数，使得水印对于网络二次学习具有鲁棒性，同时，利用双阶段训练策略，提高了整个方案对于不同黑盒攻击场景(攻击者使用不同的网络结构和不同的目标函数训练替代网络)的鲁棒性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的空域可见水印示意图；图2为本专利技术实施例提供的基于空域不可见水印的深度模型水印框架；图3为本专利技术实施例提供的模型水印网络双阶段训练流程图；图4为本专利技术实施例提供的水印嵌入提取的实验结果图；图5为本专利技术实施例提供的有无一致性约束的实验结果图；图6为本专利技术实施例提供的有无干净提取约束的实验结果图。具体实施本文档来自技高网...

【技术保护点】
1.一种图像处理模型与图像处理算法的产权保护方法，利用了空域不可见水印机制，其特征在于，包括：/n给定图像域A，输入至对要保护的基于深度学习的图像处理模型M或者图像处理算法，得到对应的图像域B；/n设置模型水印网络，训练阶段包含两部分：初始训练部分，对图像域B中的图像通过水印嵌入子网络进行水印嵌入，得到图像域B'，训练目标为水印嵌入前后图像的视觉一致性；将图像域A、图像域B与图像域B'中的图像通过水印提取子网络进行水印提取，训练目标为不同含水印图像中提取到的水印图像一致，以及能从不含水印的图像中提取一张空白图像；对抗训练部分，通过设置替代网络SM来模拟攻击者，替代网络SM的输入为图像域A，输出构成图像域B”，将图像域B、图像域B'与图像域B”通过水印提取子网络进行水印提取，从而优化水印提取子网络；/n训练完毕后，通过水印嵌入子网络对图像域B中的图像进行水印嵌入后输出；版权验证时，对于待检测的图像，通过水印提取子网络进行水印提取，从而实现版权验证。/n

【技术特征摘要】
1.一种图像处理模型与图像处理算法的产权保护方法，利用了空域不可见水印机制，其特征在于，包括：
给定图像域A，输入至对要保护的基于深度学习的图像处理模型M或者图像处理算法，得到对应的图像域B；
设置模型水印网络，训练阶段包含两部分：初始训练部分，对图像域B中的图像通过水印嵌入子网络进行水印嵌入，得到图像域B'，训练目标为水印嵌入前后图像的视觉一致性；将图像域A、图像域B与图像域B'中的图像通过水印提取子网络进行水印提取，训练目标为不同含水印图像中提取到的水印图像一致，以及能从不含水印的图像中提取一张空白图像；对抗训练部分，通过设置替代网络SM来模拟攻击者，替代网络SM的输入为图像域A，输出构成图像域B”，将图像域B、图像域B'与图像域B”通过水印提取子网络进行水印提取，从而优化水印提取子网络；
训练完毕后，通过水印嵌入子网络对图像域B中的图像进行水印嵌入后输出；版权验证时，对于待检测的图像，通过水印提取子网络进行水印提取，从而实现版权验证。


2.根据权利要求1所述的一种图像处理模型与图像处理算法的产权保护方法，其特征在于，初始训练部分的损失函数包含水印嵌入损失函数和水印提取损失函数两部分：



其中，λ为超参数。


3.根据权利要求1或2所述的一种图像处理模型与图像处理算法的产权保护方法，其特征在于，所述训练目标为水印嵌入前后图像的视觉一致性表示为：



其中，λ1、λ2、λ3均为超参数；
l基础以L2损失函数作为误差衡量标准，表示为：



其中，Nc表示图像像素值总数，b′i表示图像域B'中的图像，bi表示图像域B中的图像；
l感知是水印嵌入前后的图像在特征层的误差损失，通过外部的VGG网络来实现，即将图像bi与b′i输入至VGG网络，将VGG网络第k层输出作为特征层，获得对应的特征VGGk(bi)与VGGk(b′i)，从而计算...

【专利技术属性】
技术研发人员：张卫明，俞能海，张杰，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34