模型压缩方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及一种模型压缩方法、装置、电子设备和存储介质。所述方法包括：对源模型进行优化处理，得到优化后的源模型；优化处理包括扩充源模型的至少一层卷积层的输出通道数；对优化后的源模型进行模型压缩，得到经压缩的模型。本申请从优化源模型的角度出发，通过通道扩充提升源模型的表现，进而在提高待压缩源模型的性能的同时，弥补压缩过程中的精度损失。弥补压缩过程中的精度损失。弥补压缩过程中的精度损失。

【技术实现步骤摘要】
模型压缩方法、装置、电子设备和存储介质


[0001]本申请涉及人工智能
，特别是涉及一种模型压缩方法、装置、电子设备和存储介质。

技术介绍

[0002]随着人工智能技术的不断发展，越来越多的领域开始应用基于深度学习的网络模型，例如，将基于计算机视觉的网络模型应用于图像识别和图像处理，将基于自然语言处理的网络模型应用于语义识别和自动问答等。
[0003]目前需要对网络模型进行压缩，以提高其在部署在电子设备后的推理运行速度。然而，传统的模型压缩方法存在精度损失大的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够减小精度损失的模型压缩方法、装置、电子设备和存储介质。
[0005]第一方面，本申请提供了一种模型压缩方法，方法包括：
[0006]对源模型进行优化处理，得到优化后的源模型；优化处理包括扩充源模型的至少一层卷积层的输出通道数；
[0007]对优化后的源模型进行模型压缩，得到经压缩的模型。
[0008]在其中一个实施例中，对源模型进行优化处理，得到优化后的源模型的步骤，包括：
[0009]基于源模型的模型算力和模型性能，确定出最优扩充数值；
[0010]根据最优扩充数值调整至少一层卷积层的输出通道数，得到优化后的源模型。
[0011]在其中一个实施例中，基于源模型的模型算力和模型性能，确定出最优扩充数值的步骤，包括：
[0012]若至少一层卷积层的数量为一层，则按照各候选扩充数值分别调整源模型的至少一层卷积层的输出通道数，得到各通道扩充后的源模型；
[0013]在通道扩充后的源模型的模型算力满足任务算力要求的情况下，利用测试集分别获取各通道扩充后的源模型的模型性能；其中，模型性能包括通道扩充后的源模型的分类准确率；
[0014]比较各通道扩充后的源模型的模型性能，得到模型性能最优的通道扩充后的源模型；
[0015]将模型性能最优的通道扩充后的源模型所对应的候选扩充数值，确认为最优扩充数值。
[0016]在其中一个实施例中，基于源模型的模型算力和模型性能，确定出最优扩充数值的步骤，包括：
[0017]若至少一层卷积层的数量为至少两层，则获取各通道扩充后的源模型；通道扩充
后的源模型为分别按照各候选扩充数值调整源模型的至少一层卷积层的输出通道数得到；
[0018]在通道扩充后的源模型的模型算力满足任务算力要求的情况下，通过搜索策略获取模型性能最优的通道扩充后的源模型；其中，搜索策略为基于至少一层卷积层的数量以及候选扩充数值的数量所确定；
[0019]将模型性能最优的通道扩充后的源模型所对应的各候选扩充数值，确认为最优扩充数值。
[0020]在其中一个实施例中，方法还包括：
[0021]对模型性能最优的通道扩充后的源模型进行训练调优；
[0022]响应于模型性能最优的通道扩充后的源模型的模型性能收敛，确定完成模型性能最优的通道扩充后的源模型的训练调优；
[0023]将完成训练调优的模型性能最优的通道扩充后的源模型，作为优化后的源模型。
[0024]在其中一个实施例中，方法还包括：
[0025]若至少一层卷积层的数量小于或等于数量阈值、且候选扩充数值的数量小于或等于预设数量，则确认搜索策略为枚举算法。
[0026]在其中一个实施例中，方法还包括：
[0027]若至少一层卷积层的数量大于数量阈值、且候选扩充数值的数量大于预设数量，则确认搜索策略为基于进化算法的网络架构搜索。
[0028]在其中一个实施例中，通过搜索策略获取模型性能最优的通道扩充后的源模型的步骤，包括：
[0029]基于各通道扩充后的源模型构建超网络，从超网络中随机选取一个通道扩充后的源模型作为子网络，直至子网络的数量达到预设个数，将各子网络的集合作为种群集合；
[0030]在通道扩充后的源模型的模型算力满足任务算力要求的情况下，基于种群集合，循环执行迭代步骤，直至确定出模型性能最优的通道扩充后的源模型；
[0031]其中，迭代步骤包括：
[0032]获取本轮迭代的种群集合中各子网络的模型性能；
[0033]根据各子网络的模型性能，将模型性能更优的预设个数的子网络保留在本轮迭代的种群集合中，得到更新后的种群集合；
[0034]选取超网络中的子网络进行杂交操作和/或变异操作，得到用于下一轮迭代的种群集合；下一轮迭代的种群集合包括更新后的种群集合中的子网络，以及经过交叉操作和/或变异操作后的子网络。
[0035]在其中一个实施例中，对优化后的源模型进行模型压缩，得到经压缩的模型的步骤，包括：
[0036]对优化后的源模型进行模型量化，得到经压缩的模型。
[0037]在其中一个实施例中，对优化后的源模型进行模型量化，得到经压缩的模型的步骤，包括：
[0038]采用量化感知训练QAT处理优化后的源模型，得到经压缩的模型。
[0039]在其中一个实施例中，对优化后的源模型进行模型量化，得到经压缩的模型的步骤，包括：
[0040]采用训练后量化PTQ处理优化后的源模型，得到经压缩的模型。
[0041]在其中一个实施例中，对优化后的源模型进行模型压缩，得到经压缩的模型的步骤，包括：
[0042]对优化后的源模型进行剪枝处理，得到经压缩的模型。
[0043]在其中一个实施例中，优化处理还包括针对经扩充至少一层卷积层的输出通道数的源模型的训练调优；其中，训练调优用于获取训练至模型性能收敛的源模型。
[0044]第二方面，本申请还提供了一种模型压缩装置，装置包括：
[0045]优化模块，用于对源模型进行优化处理，得到优化后的源模型；优化处理包括扩充源模型的至少一层卷积层的输出通道数；
[0046]压缩模块，用于对优化后的源模型进行模型压缩，得到经压缩的模型。
[0047]第三方面，本申请还提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
[0048]第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
[0049]第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
[0050]上述模型压缩方法、装置、电子设备和存储介质，通过对源模型进行优化处理，得到优化后的源模型；其中，优化处理包括扩充源模型的至少一层卷积层的输出通道数，进而通过对优化后的源模型进行模型压缩得到经压缩的模型。本申请实施例从优化源模型的角度出发，通过通道扩充提升源模型的表现，进而在提高待压缩源模型的性能的同时，弥补压缩过程中的精度损失。
附图说明
[0051]图1为传统模型量化方式示意图；
[0052]图2为一个实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型压缩方法，其特征在于，所述方法包括：对源模型进行优化处理，得到优化后的源模型；所述优化处理包括扩充所述源模型的至少一层卷积层的输出通道数；对所述优化后的源模型进行模型压缩，得到经压缩的模型。2.根据权利要求1所述的方法，其特征在于，所述对源模型进行优化处理，得到优化后的源模型的步骤，包括：基于所述源模型的模型算力和模型性能，确定出最优扩充数值；根据所述最优扩充数值调整所述至少一层卷积层的输出通道数，得到所述优化后的源模型。3.根据权利要求2所述的方法，其特征在于，所述基于所述源模型的模型算力和模型性能，确定出最优扩充数值的步骤，包括：若所述至少一层卷积层的数量为一层，则按照各候选扩充数值分别调整所述源模型的所述至少一层卷积层的输出通道数，得到各通道扩充后的源模型；在所述通道扩充后的源模型的所述模型算力满足任务算力要求的情况下，利用测试集分别获取各所述通道扩充后的源模型的所述模型性能；其中，所述模型性能包括所述通道扩充后的源模型的分类准确率；比较各所述通道扩充后的源模型的所述模型性能，得到所述模型性能最优的所述通道扩充后的源模型；将所述模型性能最优的所述通道扩充后的源模型所对应的所述候选扩充数值，确认为所述最优扩充数值。4.根据权利要求2所述的方法，其特征在于，所述基于所述源模型的模型算力和模型性能，确定出最优扩充数值的步骤，包括：若所述至少一层卷积层的数量为至少两层，则获取各通道扩充后的源模型；所述通道扩充后的源模型为分别按照各候选扩充数值调整所述源模型的所述卷积层的输出通道数得到；在所述通道扩充后的源模型的所述模型算力满足任务算力要求的情况下，通过搜索策略获取所述模型性能最优的所述通道扩充后的源模型；其中，所述搜索策略为基于所述至少一层卷积层的数量以及所述候选扩充数值的数量所确定；将所述模型性能最优的所述通道扩充后的源模型所对应的各所述候选扩充数值，确认为所述最优扩充数值。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：对所述模型性能最优的所述通道扩充后的源模型进行训练调优；响应于所述模型性能最优的所述通道扩充后的源模型的模型性能收敛，确定完成所述模型性能最优的所述通道扩充后的源模型的所述训练调优；将完成所述训练调优的所述模型性能最优的所述通道扩充后的源模型，作为所述优化后的源模型。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：若所述至少一层卷积层的数量小于或等于数量阈值、且所述候选扩充数值的数量小于或等于预设数量，则确认所述搜索策略为枚举算法。
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：若所述至少一层卷积层的数量大于数量阈值、且所述候选扩充数值的数量大于预设数量，则确认所述搜索策略为基于进化算法的网络架构搜索。8.根据权利要求7所述的方法，其特征在于...

【专利技术属性】
技术研发人员：董旭炯，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：