【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种基于不确定性定向极化和自适应插件的反蒸馏方法及装置。
技术介绍
1、近年来，随着chatgpt，stablediffusion等新方法的提出和应用，人工智能迎来了一波新的热潮。但是，无论是传统的深度学习模型，还是近期提出的各类大模型，都面临模型的安全问题。即，模型部署在设备上(终端或者云端服务器)时，是否被攻击者窃取。这种窃取可能是直接对模型进行窃取，也可能是窃取模型的本身的性能(例如蒸馏攻击，通过多次调用模型，可以在不知道模型结构的情况下，重新训练一个模型来拟合线上模型的性能，达到性能窃取的目的)。
2、为了保护模型本身和模型的性能，常见的模型保护方法可以被分为两种类型。第一种类型时基于加密的模型保护方法。这类方法一般对模型本身进行加密，或者对模型运行的环境进行加密(tee环境)。这类方法的优点是，攻击者获取模型的成本非常高，基本不可能。这类方法也有缺点，一般相比非加密的模型，运行时间成本会有明显的提升。而且，这类方法对输出并不加密，因此无法防御蒸馏攻击。第二种类型则是反蒸馏的训练方法。这类方法通过特殊的方法训练模型，使得得到的模型具有防御蒸馏攻击的能力。但是，这类方法防御蒸馏攻击的能力十分有限。攻击者可以通过扰动样本，求取平均输出的方法，绕过该方法。另外，该方法对模型的性能有一定的影响。
技术实现思路
1、本申请实施例提供一种基于不确定性定向极化和自适应插件的反蒸馏方法及装置，用以解决相关技术中防御蒸馏攻击的效率低的技术问题。
...【技术保护点】
1.一种基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，包括：
2.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述获取用作教师网络的预训练母模型，包括：
3.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述反蒸馏模型是基于所述预训练母模型的参数初始化得到的。
4.根据权利要求3所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述反蒸馏插件与所述反蒸馏模型连接。
5.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，在所述目标模型的训练阶段，基于反蒸馏损失和不确定性定向极化损失更新所述反蒸馏插件中的参数。
6.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述方法还包括：
8.一种基于不确定性定向极化和自适应插件的反蒸馏装置，其特征在于，包括：p>
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于不确定性定向极化和自适应插件的反蒸馏方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于不确定性定向极化和自适应插件的反蒸馏方法。
...【技术特征摘要】
1.一种基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，包括：
2.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述获取用作教师网络的预训练母模型，包括：
3.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述反蒸馏模型是基于所述预训练母模型的参数初始化得到的。
4.根据权利要求3所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述反蒸馏插件与所述反蒸馏模型连接。
5.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，在所述目标模型的训练阶段，基于反蒸馏损失和不确定性定向极化损失更新所述反蒸馏插件中的参数。
6.根...
【专利技术属性】
技术研发人员：刘雨帆，李兵，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。