【技术实现步骤摘要】
本专利技术涉及深度学习领域，尤其涉及一种基于鲁棒蒸馏的任务执行方法、电子设备、介质。
技术介绍
1、目前，深度学习在学术界和工业界取得了巨大的成功，根本原因在于其可拓展性和编码大规模数据的能力。但是，深度学习的主要挑战在于，受限制于资源容量，深度神经模型很难部署在资源受限制的设备上。如嵌入式设备和移动设备。因此，涌现出了大量的模型压缩和加速技术，知识蒸馏是其中的代表。知识蒸馏可以有效的从大型的教师模型中学习到小型的学生模型。最近的工作表明，在知识蒸馏过程中，教师模型中的后门会转移到学生模型中。尽管已经提出了许多知识蒸馏方法，但大多数方法都专注于高性能学生模型的蒸馏，而没有考虑鲁棒性。此外，一些研究采用知识蒸馏技术作为有效的后门缓解工具，但它们未能同时进行模型压缩。在实际中，训练有素的教师模型可以方便地从第三方网站下载，例如hugging face。然而，第三方网站上的共享模型无法保证系统的安全检查，这给用户带来了潜在的漏洞风险，例如带有后门的模型被发布并下载使用，攻击者可能会窃取敏感数据，如用户个人信息、商业秘密或机密信息，从而造成严重的数据泄露事件。
技术实现思路
1、针对现有技术不足，本专利技术提供了一种基于鲁棒蒸馏的任务执行方法、电子设备、介质。
2、第一方面，本专利技术实施例提供了一种基于鲁棒蒸馏的任务执行方法，所述方法包括：
3、将干净数据样本输入教师模型，将教师模型每一蒸馏层中的每个干净数据样本对应的输出特征作为原始特征；对每一蒸馏层对应的原始特
4、设置掩模阈值，对每一蒸馏层对应的初始化特征掩码进行去毒，得到该蒸馏层对应的去毒特征；
5、设置第一损失函数，所述第一损失函数为教师模型最后一层蒸馏层对应的去毒特征的方差；
6、设置第二损失函数，所述第二损失函数为教师模型每一蒸馏层对应的去毒特征与学生模型中对应蒸馏层输出的特征表示间的距离；
7、设置第三损失函数，所述第三损失函数为基于教师模型最后一层蒸馏层对应的去毒特征、干净数据样本对应的标签计算的交叉熵损失；
8、将第一损失函数、第二损失函数、第三损失函数之和作为总损失函数；利用总损失函数训练教师模型和学生模型；
9、将训练好的学生模型作为任务执行模型；其中，所述任务执行模型用于执行下游目标任务。
10、第二方面，本专利技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于鲁棒蒸馏的任务执行方法。
11、第三方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于鲁棒蒸馏的任务执行方法。
12、第四方面，本专利技术实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述的基于鲁棒蒸馏的任务执行方法。
13、与现有技术相比，本专利技术的有益效果为：
14、本专利技术提供了一种基于鲁棒蒸馏的任务执行方法，根据教师模型最后一层蒸馏层对应的去毒特征的方差设置损失函数，同时根据教师模型每一蒸馏层对应的去毒特征与学生模型中对应蒸馏层输出的特征表示间的距离设置损失函数，通过该损失函数训练教师模型和学生模型，得到了去除了潜在后门的、并且鲁棒的学生模型；将训练好的学生模型作为任务执行模型，从而在下游目标任务的执行过程中，保护隐私数据，防止数据泄露事件发生。
本文档来自技高网...【技术保护点】
1.一种基于鲁棒蒸馏的任务执行方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，对每一蒸馏层对应的初始化特征掩码进行去毒包括：
3.根据权利要求1所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，所述第一损失函数的表达式如下：
4.根据权利要求1所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，所述第二损失函数的表达式如下：
5.根据权利要求4所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，距离函数dp(.)的定义如下：
6.根据权利要求4所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，所述教师变换采用边际ReLU函数；
7.根据权利要求1所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，所述第三损失函数的表达式如下：
8.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-7任一项所述的基于鲁棒蒸馏的任务执行方法。
9.一
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7中任一所述的基于鲁棒蒸馏的任务执行方法。
...【技术特征摘要】
1.一种基于鲁棒蒸馏的任务执行方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，对每一蒸馏层对应的初始化特征掩码进行去毒包括：
3.根据权利要求1所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，所述第一损失函数的表达式如下：
4.根据权利要求1所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，所述第二损失函数的表达式如下：
5.根据权利要求4所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，距离函数dp(.)的定义如下：
6.根据权利要求4所述的一种基于鲁棒蒸馏的任务执行方法，其特征在于，所述教师变换采用边际relu函数；
【专利技术属性】
技术研发人员：陈晋音，赵晓明，项圣，郑海斌，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。