本公开涉及一种模型蒸馏方法、装置、电子设备和可读存储介质，确定至少一个样本图像，以及包括的第一处理层与包括的第二处理层数量相同的第一分类模型和第二分类模型。并确定第一分类模型和第二分类模型的对抗优化函数。对抗优化函数的输入参数包括第一分类模型和第二分类模型分别对应的第一分类结果、第二分类结果、以及其中每个处理层对应的第一特征向量和第二特征向量。根据至少一个样本图像对第二分类模型进行参数调节，直到对抗优化函数满足收敛条件。本公开通过预先训练好的第一分类模型训练第二分类模型，并通过设置对抗优化函数在训练过程中引入对抗样本的防御特性进行辅助训练，提高了模型蒸馏得到的第二分类模型应对对抗样本的鲁棒性。应对对抗样本的鲁棒性。应对对抗样本的鲁棒性。
【技术实现步骤摘要】
模型蒸馏方法、装置、电子设备和可读存储介质
[0001]本公开涉及计算机
，尤其涉及一种模型蒸馏方法、装置、电子设备和可读存储介质。
技术介绍
[0002]在进行数据分类的深度学习模型的学习和应用过程中，很容易被对抗样本攻击。即在模型学习和应用过程中增加了微小扰动时，深度学习模型很容易产生分类错误，严重影响分类模型的性能。因此，需要对深度学习模型使用过程中对抗样本进行防御。
技术实现思路
[0003]有鉴于此，本公开提出了一种模型蒸馏方法、装置、电子设备和可读存储介质，旨在增加模型面对对抗样本的稳定性。
[0004]根据本公开的第一方面，提供了一种模型蒸馏方法，所述方法包括：
[0005]确定至少一个样本图像；
[0006]确定第一分类模型和第二分类模型，所述第一分类模型包括的第一处理层与所述第二分类模型包括的第二处理层数量相同；
[0007]确定所述第一分类模型和所述第二分类模型的对抗优化函数，所述对抗优化函数的输入参数包括将任意图像输入第一分类模型和第二分类模型得到的第一分类结果、第二分类结果、以及每个所述第一处理层输出的第一特征向量和每个所述第二处理层输出的第二特征向量；
[0008]根据所述至少一个样本图像对所述第二分类模型进行至少一次参数调节，直到所述对抗优化函数满足收敛条件。
[0009]在一种可能的实现方式中，所述参数调节过程包括：
[0010]分别将所述至少一个样本图像输入所述第一分类模型，输出对应的第一分类结果，以及每个所述第一处理层输出的第一特征向量；
[0011]对于每个所述样本图像，确定将所述样本图像对应的第一分类结果和第一特征向量，以及所述第二分类模型的模型参数固定的情况下，不同的对抗图像输入第二分类模型得到的第二分类结果，以及每个所述第二处理层输出的第二特征向量作为所述对抗优化函数的输入时，最小的对抗优化函数值最大对应的对抗图像作为所述样本图像对应的目标对抗图像；
[0012]确定分别将每个所述样本图像对应的第一分类结果和第一特征向量，以及所述样本图像对应目标对抗图像输入所述第二分类模型得到的第二分类结果，以及每个所述第二处理层输出的第二特征向量作为输入的对抗优化函数的加权和；
[0013]调节所述第二分类模型的模型参数使所述加权和达到最小值。
[0014]在一种可能的实现方式中，所述方法还包括：
[0015]确定噪声扰动阈值；
[0016]将所述对抗图像与对应样本图像之间的差异不大于所述噪声扰动阈值作为确定所述对抗图像的约束条件。
[0017]在一种可能的实现方式中，所述差异根据所述对抗图像与对应样本图像之间的范数确定。
[0018]在一种可能的实现方式中，所述确定所述第一分类模型和所述第二分类模型的对抗优化函数，包括：
[0019]确定用于表征所述第一分类结果和所述第二分类结果相似性的第一优化项；
[0020]确定所述第一分类模型中每个所述第一处理层，与所述第二分类模型中对应于每个所述第一处理层的所述第二处理层之间的转换函数；
[0021]根据对应的转换函数将每个所述第二特征向量转换为第三特征向量；
[0022]确定用于表征每个所述第三特征向量与对应的第一特征向量的均方差的第二优化项；
[0023]确定所述第一优化项和所述第二优化项的加权和为对抗优化函数。
[0024]在一种可能的实现方式中，所述确定所述第一分类模型中每个所述第一处理层，与所述第二分类模型中对应于每个所述第一处理层的所述第二处理层之间的转换函数，包括：
[0025]确定所述第一分类模型中位置与所述第二分类模型中位置相同的第一处理层和第二处理层为处理层对；
[0026]在所述至少一个样本图像中获取目标样本图像；
[0027]将所述目标样本图像分别输入所述第一分类模型和所述第二分类模型，分别得到每对所述第一处理层和对应的第二处理层输出的第一特征向量和第二特征向量；
[0028]根据每个所述处理层对的第一特征向量和第二特征向量确定对应的转换函数。
[0029]在一种可能的实现方式中，所述根据每个所述处理层对的第一特征向量和第二特征向量确定对应的转换函数，包括：
[0030]确定每个所述处理层对的第一特征向量和第二特征向量之间的关联矩阵；
[0031]确定所述处理层对的转换函数为所述关联矩阵与所述第二特征向量的乘积。
[0032]根据本公开的第二方面，提供了一种模型蒸馏装置，所述装置包括：
[0033]图像确定模块，用于确定至少一个样本图像；
[0034]模型确定模块，用于确定第一分类模型和第二分类模型，所述第一分类模型包括的第一处理层与所述第二分类模型包括的第二处理层数量相同；
[0035]函数确定模块，用于确定所述第一分类模型和所述第二分类模型的对抗优化函数，所述对抗优化函数的输入参数包括将任意图像输入第一分类模型和第二分类模型得到的第一分类结果、第二分类结果、以及每个所述第一处理层输出的第一特征向量和每个所述第二处理层输出的第二特征向量；
[0036]模型蒸馏模块，用于根据所述至少一个样本图像对所述第二分类模型进行至少一次参数调节，直到所述对抗优化函数满足收敛条件。
[0037]在一种可能的实现方式中，所述参数调节过程包括：
[0038]分别将所述至少一个样本图像输入所述第一分类模型，输出对应的第一分类结果，以及每个所述第一处理层输出的第一特征向量；
[0039]对于每个所述样本图像，确定将所述样本图像对应的第一分类结果和第一特征向量，以及所述第二分类模型的模型参数固定的情况下，不同的对抗图像输入第二分类模型得到的第二分类结果，以及每个所述第二处理层输出的第二特征向量作为所述对抗优化函数的输入时，最小的对抗优化函数值最大对应的对抗图像作为所述样本图像对应的目标对抗图像；
[0040]确定分别将每个所述样本图像对应的第一分类结果和第一特征向量，以及所述样本图像对应目标对抗图像输入所述第二分类模型得到的第二分类结果，以及每个所述第二处理层输出的第二特征向量作为输入的对抗优化函数的加权和；
[0041]调节所述第二分类模型的模型参数使所述加权和达到最小值。
[0042]在一种可能的实现方式中，所述装置还包括：
[0043]阈值确定模块，用于确定噪声扰动阈值；
[0044]约束添加模块，用于将所述对抗图像与对应样本图像之间的差异不大于所述噪声扰动阈值作为确定所述对抗图像的约束条件。
[0045]在一种可能的实现方式中，所述差异根据所述对抗图像与对应样本图像之间的范数确定。
[0046]在一种可能的实现方式中，所述函数确定模块，包括：
[0047]第一项确定子模块，用于确定用于表征所述第一分类结果和所述第二分类结果相似性的第一优化项；
[0048]转换函数确定子模块，用于确定所述第一分类本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型蒸馏方法，其特征在于，所述方法包括：确定至少一个样本图像；确定第一分类模型和第二分类模型，所述第一分类模型包括的第一处理层与所述第二分类模型包括的第二处理层数量相同；确定所述第一分类模型和所述第二分类模型的对抗优化函数，所述对抗优化函数的输入参数包括将任意图像输入第一分类模型和第二分类模型得到的第一分类结果、第二分类结果、以及每个所述第一处理层输出的第一特征向量和每个所述第二处理层输出的第二特征向量；根据所述至少一个样本图像对所述第二分类模型进行至少一次参数调节，直到所述对抗优化函数满足收敛条件。2.根据权利要求1所述的方法，其特征在于，所述参数调节过程包括：分别将所述至少一个样本图像输入所述第一分类模型，输出对应的第一分类结果，以及每个所述第一处理层输出的第一特征向量；对于每个所述样本图像，确定将所述样本图像对应的第一分类结果和第一特征向量，以及所述第二分类模型的模型参数固定的情况下，不同的对抗图像输入第二分类模型得到的第二分类结果，以及每个所述第二处理层输出的第二特征向量作为所述对抗优化函数的输入时，最小的对抗优化函数值最大对应的对抗图像作为所述样本图像对应的目标对抗图像；确定分别将每个所述样本图像对应的第一分类结果和第一特征向量，以及所述样本图像对应目标对抗图像输入所述第二分类模型得到的第二分类结果，以及每个所述第二处理层输出的第二特征向量作为输入的对抗优化函数的加权和；调节所述第二分类模型的模型参数使所述加权和达到最小值。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定噪声扰动阈值；将所述对抗图像与对应样本图像之间的差异不大于所述噪声扰动阈值作为确定所述对抗图像的约束条件。4.根据权利要求3所述的方法，其特征在于，所述差异根据所述对抗图像与对应样本图像之间的范数确定。5.根据权利要求1
‑
4中任意一项所述的方法，其特征在于，所述确定所述第一分类模型和所述第二分类模型的对抗优化函数，包括：确定用于表征所述第一分类结果和所述第二分类结果相似性的第一优化项；确定所述第一分类模型中每个所述第一处理层，与所述第二分类模型中对应于每个所述第一处理层的所述第二处理层之间的转换函数；根据对应的转换...
【专利技术属性】
技术研发人员：喻文健，杨定澄，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。