本发明专利技术涉及用于神经网络模型的压缩方法、装置、系统以及计算机可读存储介质。该压缩方法包括：对要存储的特征张量进行分组，所述分组基于所述特征张量的第一特性；计算特征张量组中的特征张量的相似度；比较所计算的相似度与预设的相似标准；以及在所述特征张量组的所述相似度满足所述相似标准的情况下，对所述特征张量组进行压缩，否则，不对所述特征张量组进行压缩。该技术方案可降低神经网络模型训练/推理过程中所需的存储空间，减少运行过程中的功耗。中的功耗。中的功耗。
【技术实现步骤摘要】
用于神经网络模型的压缩方法、装置、系统及存储介质
[0001]本专利技术涉及深度学习领域，具体涉及用于神经网络模型的压缩方法、装置、系统及计算机可读存储介质。
技术介绍
[0002]随着深度学习中网络深度的不断增加，深度神经网络在目标分类，目标检测，自然语言处理等方面的精度也不断增加。然而，更深的网络带来了更多的存储需求。
[0003]通常，深度神经网络需要经过训练和推理两个过程进行部署。训练过程常常使用随机梯度下降的学习方法，该方法计算权值梯度需要使用前向传播过程中的中间激活值，从而需要大量的存储单元。批处理(Batch操作)的提出使中间激活值对存储需求变得更大，从而加剧了硬件上部署的能耗问题，尤其是应用于物联网设备时。
技术实现思路
[0004]为了解决或至少缓解诸如以上所述的现有问题中的一个或多个，本专利技术提供了以下技术方案。
[0005]根据本专利技术的一方面，提供一种用于神经网络模型的压缩方法。该方法包括：对要存储的特征张量进行分组，所述分组基于所述特征张量的第一特性；计算特征张量组中的特征张量的相似度；比较所计算的相似度与预设的相似标准；以及在所述特征张量组的所述相似度满足所述相似标准的情况下，对所述特征张量组进行压缩，否则，不对所述特征张量组进行压缩。
[0006]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，所述相似度包括差异值，所述预设的相似标准包括第一阈值，在所述特征张量组的所述差异值低于所述第一阈值的情况下，对所述特征张量组进行压缩，否则，不对所述特征张量组进行压缩。
[0007]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，所述压缩包括完全压缩，在所述完全压缩中，将所述特征张量组中的所有特征张量压缩为所述特征张量组的相似特征张量。
[0008]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，将经过所述完全压缩的所述特征张量组存储为所述特征张量组的所述相似特征张量和第一索引值，以及将未经过压缩的所述特征张量组存储为所述特征张量组中的每个特征张量和第二索引值。
[0009]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，所述压缩还包括部分压缩，在所述部分压缩中，将所述特征张量组的真子集压缩为所述真子集的相似特征张量，而不对其余特征张量进行压缩。
[0010]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，将经过所述部分压缩的所述特征张量组存储为所述真子集的所述相似特征张量、
所述真子集的补集中的每个特征张量、所述补集中每个特征张量在所述特征张量组中的位置索引值，以及第三索引值。
[0011]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，所述特征张量组的所述真子集包括所述特征张量组中除了最大特征张量和/或最小特征张量之外的所有特征张量。
[0012]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，所述相似度包括差异值，所述预设的相似标准包括第二阈值和第三阈值，并且，所述第二阈值小于所述第三阈值，在所述特征张量组的所述差异值低于所述第二阈值的情况下，对所述特征张量组进行完全压缩，在所述特征张量组的所述差异值不低于所述第二阈值但低于所述第三阈值的情况下，对所述特征张量组进行部分压缩，否则，不对所述特征张量组进行压缩。
[0013]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，所述相似特征张量为最大特征张量、最小特征张量和/或平均特征张量。
[0014]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，所述差异值包括所述特征张量组中的最大特征张量与最小特征张量的差值、所述最大特征张量与平均特征张量的差值和/或所述平均特征张量与所述最小特征张量的差值。
[0015]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法还包括，输入初始阈值作为第一阈值；基于所述初始阈值获得所述神经网络模型的精度；以及调整所述第一阈值使得所述精度为预设的精度：如果所述神经网络模型的精度低于所述预设的精度，则减小所述第一阈值，直到所述神经网络模型的精度增加到所述预设的精度为止，以及如果所述神经网络模型的精度等于/高于所述预设的精度，则增大所述第一阈值，直到所述神经网络模型的精度开始小于所述预设的精度为止。
[0016]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，从以下项获得所述要存储的特征张量：所述神经网络模型的推理过程中的卷积层、激活层和/或池化层的输出/输出，所述神经网络模型的训练过程中的正向传播的卷积层、激活层和/或池化层的输出/输出，以及/或者所述神经网络模型的训练过程中的反向传播的特征误差层的输出/输出。
[0017]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，所述特征张量包括图像特征张量/音频特征张量。
[0018]作为上述方案的替代或补充，根据本专利技术一实施例的用于神经网络模型的压缩方法，其中，第一特性包括时间连续性和/或空间连续性。
[0019]根据本专利技术的另一方面，提供一种用于神经网络模型的压缩装置。该装置包括：存储器，其设置成用于存储指令；以及处理器，其设置成用于在所述指令被执行时实现根据本专利技术的任一实施例的用于神经网络模型的压缩方法。
[0020]根据本专利技术的又一方面，提供一种用于神经网络模型的压缩系统，其特征在于，所述系统包括：分组装置，其用于对要存储的特征张量进行分组，所述分组基于所述特征张量的第一特性；计算装置，其用于计算特征张量组中的特征张量的相似度；比较装置，其用于比较所计算的相似度与预设的相似标准；以及压缩装置，其用于在所述特征张量组的所述
相似度满足所述相似标准的情况下，对所述特征张量组进行压缩，否则，不对所述特征张量组进行压缩。
[0021]根据本专利技术的再一方面，提供一种计算机可读存储介质，其用于存储指令，其特征在于，所述指令在被执行时实现根据本专利技术的任一实施例的用于神经网络模型的压缩方法。
[0022]根据本专利技术的用于神经网络模型的压缩技术可实现神经网络模型训练/推理过程中所需的存储空间的降低，还可能减少运行过程中的功耗。
附图说明
[0023]从结合附图的以下详细说明中，将会使本专利技术的上述和其他目的及优点更加完整清楚。
[0024]图1示出根据本专利技术的一个实施例的用于神经网络模型的压缩方法1000。
[0025]图2示出要由神经网络模型处理的图像2000。
[0026]图3示出应用根据本专利技术的一个实施例的用于神经网络模型的压缩方法的压缩结果。
[0027]图4中示出了根据本专利技术的一个实施例的用于神经网络模型的压缩的计算机设备4本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于神经网络模型的压缩方法，其特征在于，包括：对要存储的特征张量进行分组，所述分组基于所述特征张量的第一特性；计算特征张量组中的特征张量的相似度；比较所计算的相似度与预设的相似标准；以及在所述特征张量组的所述相似度满足所述相似标准的情况下，对所述特征张量组进行压缩，否则，不对所述特征张量组进行压缩。2.根据权利要求1所述的用于神经网络模型的压缩方法，其中，所述相似度包括差异值，所述预设的相似标准包括第一阈值，在所述特征张量组的所述差异值低于所述第一阈值的情况下，对所述特征张量组进行压缩，否则，不对所述特征张量组进行压缩。3.根据权利要求1所述的用于神经网络模型的压缩方法，其中，所述压缩包括完全压缩，在所述完全压缩中，将所述特征张量组中的所有特征张量压缩为所述特征张量组的相似特征张量。4.根据权利要求3所述的用于神经网络模型的压缩方法，其中，将经过所述完全压缩的所述特征张量组存储为所述特征张量组的所述相似特征张量和第一索引值，以及将未经过压缩的所述特征张量组存储为所述特征张量组中的每个特征张量和第二索引值。5.根据权利要求4所述的用于神经网络模型的压缩方法，其中，所述压缩还包括部分压缩，在所述部分压缩中，将所述特征张量组的真子集压缩为所述真子集的相似特征张量，而不对其余特征张量进行压缩。6.根据权利要求5所述的用于神经网络模型的压缩方法，其中，将经过所述部分压缩的所述特征张量组存储为所述真子集的所述相似特征张量、所述真子集的补集中的每个特征张量、所述补集中每个特征张量在所述特征张量组中的位置索引值，以及第三索引值。7.根据权利要求5所述的用于神经网络模型的压缩方法，其中，所述特征张量组的所述真子集包括所述特征张量组中除了最大特征张量和/或最小特征张量之外的所有特征张量。8.根据权利要求6所述的用于神经网络模型的压缩方法，其中，所述相似度包括差异值，所述预设的相似标准包括第二阈值和第三阈值，并且，所述第二阈值小于所述第三阈值，在所述特征张量组的所述差异值低于所述第二阈值的情况下，对所述特征张量组进行完全压缩，在所述特征张量组的所述差异值不低于所述第二阈值但低于所述第三阈值的情况下，对所述特征张量组进行部分压缩，否则，不对所述特征张量组进行压缩。9.根据权利要求3所述的用于神经网络模型的压缩方法，其中，所述相似特征张量为最大特征张量、最小...
【专利技术属性】
技术研发人员：王旺，林殷茵，
申请(专利权)人：复旦大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。