【技术实现步骤摘要】
本专利技术属于模型知识产权保护，涉及了一种基于大型基础模型的低参量安全适应知识产权保护方法；具体的是，涉及了一种基于大型基础模型的低参量安全适应知识产权保护方法。
技术介绍
1、知识产权涉及对具有道德和商业意义的思想和创造的保护。由于伪造者利用程序漏洞和先进技术，保护知识产权充满了挑战；在丰富的大数据和强大的计算硬的驱动下，大型基础模型已经取得了显著的进步，在计算机视、自然语言处理、自动驾驶等各个领域得到了广泛的应用；然而，其遇到了一些重要的问题——深度学习的隐私和安全；构建一个安全有效的模型是一项艰巨的任务，特别是在生产层面，需要大量的数据集、高性能的计算资源和专家指导。
2、保护大型基础模型的知识产权对于促进行业的创新和合作至关重要；“机器学习即服务(mlaas)”的兴起使更广泛的受众可以访问型训练，提高了精心制作的大型基础模型作为知识产权的商业价值。保护深度学习模型知识产权引起了全球性的关注。
技术实现思路
1、针对上述问题，本专利技术目的是提出了一种基于大型基础模型的低参量安全适应知识产权保护方法，用于解决现有技术中存在的问题。
2、本专利技术的技术方案是：本专利技术所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其操作步骤如下：
3、步骤(1)：构建视觉大型基础模型；
4、步骤(2)：设计并行输入域，包括授权域、对比风格域和未授权域；
5、步骤(3)：根据构建的视觉大型基础模型和并行输入域设计低参量安
6、步骤(4)：构建低参量安全自适应块；
7、步骤(5)：根据对比风格域和低参量安全自适应层设计对比风格损失；
8、步骤(6)：设计联合损失优化低参量安全自适应器和对比风格域；
9、步骤(7)：根据低参量安全自适应器在不同的知识产权保护场景中对大型基础模型进行知识产权保护。
10、进一步的，在步骤(1)中，所述视觉大型基础模型包括一个编码器和一个分类器；所述编码器包括12个transformer编码块，每个模块包括：层归一化(layernorm，ln)、多头自注意模块(multi-head self-attention，mhsa)和多层感知机(multi-layerperceptron，mlp)；所述分类器由全连接层构成，隐藏层维度为768。
11、进一步的，在步骤(2)中，所述授权域包括来自同一个领域的图像特征；所述未授权域包含来自另一个领域的图像特征，其风格信息与授权域图像的风格特征不同；所述对比风格域包含由视觉大型基础模型隐式生成的图像特征；在整个训练过程中，使用来自未授权域的训练数据初始化对比风格域。
12、进一步的，在步骤(3)中，所述安全自适应器的输入分别来自授权域、未授权域和对比风格域；在训练过程中，三个域的样本xa、xu和xs被按照批次维度拼接后送入编码器，产生的输出分别记为fa、fu和fs；末端的分类器负责预测类别，预测结果均匀拆分为pa、pu和ps。
13、进一步的，在步骤(4)中，所述低参量安全自适应块包括：层归一化、多头自注意模块和安全多层感知机(multi-layer perceptron，mlp)；
14、所述安全多层感知机包括两个分支，左分支为多层感知机，右分支为低参量安全适应层(safe adapt lay，sal)；所述低参量安全适应层的输入为fn，经过一个3×3卷积层后将其按批次维度均匀拆分，得到授权域特征未授权域特征和对比风格域特征计算授权域特征和对比风格域特征得到授权域风格特征和对比风格域特征授权域风格特征和对比风格域特征融合为：
15、
16、式中，和代表逐通道减法、乘法和加法；此后，将授权域特征、未授权域特征和融合后的对比风格域特征按批次维度拼接，经过一个3×3卷积层后得到所述低参量安全适应层的输出f′n；α是一个可学习的比例因子；在整个训练过程中，只需更新所述低参量安全适应层中的参数，其它层被冻结，训练参数量小于总参数量的2％。
17、进一步的，在步骤(5)中，所述对比风格损失定义为：
18、
19、fa、fu和fs为编码器产生的输出，定义为：
20、
21、fa、fu和fs为fa、fu和fs中的列向量，代表该域某一个样本的特征，定义为：
22、
23、τ代表温度参数，取值为0.1，cos(·,·)表示余弦相似度。
24、进一步的，在步骤(6)中，所述对比风格域由未授权域的训练数据初始化，由低参量安全适应层迭代优化；所述对比风格域的特征保留了未授权域语义特征与标签，并融合了授权域的私有风格。
25、进一步的，在步骤(6)中，所述联合损失包括：交叉熵损失和对比风格损失
26、
27、进一步的，在步骤(7)中，所述知识产权保护场景：未授权域已知、未授权域未知、所有权验证和适用性授权。
28、本专利技术的有益效果是：本专利技术构建高效安全适应知识产权保护模型；根据所述基于大型基础模型的低参量安全适应知识产权保护方法在不同的知识产权保护场景中对模型进行知识产权保。
本文档来自技高网...【技术保护点】
1.一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：其操作步骤如下：
2.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(1)中，所述视觉大型基础模型包括一个编码器和一个分类器；
3.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(2)中，所述的设计并行输入域包括授权域、对比风格域和未授权域。
4.根据权利要求3所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：
5.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(3)中，所述安全自适应器的输入分别来自授权域、未授权域和对比风格域；在训练过程中，三个域的样本Xa、Xu和Xs被按照批次维度拼接后送入编码器，产生的输出分别记为Fa、Fu和Fs；末端的分类器负责预测类别，预测结果均匀拆分为Pa、Pu和Ps。
6.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤
7.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(5)中，所述对比风格损失定义为：
8.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(6)中，所述对比风格域由未授权域的训练数据初始化，由低参量安全适应层迭代优化；所述对比风格域的特征保留了未授权域语义特征与标签，并融合了授权域的私有风格。
9.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(6)中，所述联合损失包括：交叉熵损失和对比风格损失
10.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(7)中，所述知识产权保护场景包括：未授权域已知、未授权域未知、所有权验证和适用性授权。
...【技术特征摘要】
1.一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：其操作步骤如下：
2.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(1)中，所述视觉大型基础模型包括一个编码器和一个分类器；
3.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(2)中，所述的设计并行输入域包括授权域、对比风格域和未授权域。
4.根据权利要求3所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：
5.根据权利要求1所述的一种基于大型基础模型的低参量安全适应知识产权保护方法，其特征在于：在步骤(3)中，所述安全自适应器的输入分别来自授权域、未授权域和对比风格域；在训练过程中，三个域的样本xa、xu和xs被按照批次维度拼接后送入编码器，产生的输出分别记为fa、fu和fs；末端的分类器负责预测类别，预测结果均匀拆分为pa、pu和ps。
6.根据权利要求1所述的一种...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。