【技术实现步骤摘要】
本申请涉及神经网络压缩领域，尤其涉及一种神经网络模型裁剪方法、装置、电子设备及存储介质。
技术介绍
1、随着人工智能技术的高速发展，依据神经网络模型执行智能任务，如进行智能检测(如车辆、车牌检测等)的应用越来越普及。由于终端设备的计算资源通常是有限的，若神经网络模型的结构过于复杂，则其对计算资源的需求会过大，导致终端设备依据该神经网络模型执行智能任务的速度会比较慢，实时性较差。因此，为了提高终端设备执行智能任务的实时性，可以对终端设备上应用的神经网络模型进行合理裁剪。
2、如何高效、合理地对神经网络模型进行裁剪成为一个亟待解决的技术问题。
技术实现思路
1、有鉴于此，本申请提供一种神经网络模型裁剪方法、装置、电子设备及存储介质，以在减少性能损失的情况下加速压缩神经网络模型。
2、具体地，本申请是通过如下技术方案实现的：
3、根据本申请实施例的第一方面，提供一种神经网络模型裁剪方法，包括：
4、依据待裁剪神经网络模型的结构特性，将所述待裁剪神经网络模型划分为多个结构分组；
5、依据对所述待裁剪神经网络模型进行裁剪前后的损失函数变化，确定对所述多个结构分组中各结构分组进行裁剪的目标裁剪率；其中，所述损失函数变化依据第一因子和第二因子确定，所述第一因子用于表征各结构分组中各个权重的重要性，所述第二因子用于表征不同结构分组之间的相互作用；
6、依据所述目标裁剪率，分别对各结构分组进行裁剪，得到裁剪后的神经网络模型。p>
7、根据本申请实施例的第二方面，提供一种神经网络模型裁剪装置，包括：
8、划分单元，用于依据待裁剪神经网络模型的结构特性，将所述待裁剪神经网络模型划分为多个结构分组；
9、确定单元，用于依据对所述待裁剪神经网络模型进行裁剪前后的损失函数变化，确定对所述多个结构分组中各结构分组进行裁剪的目标裁剪率；其中，所述损失函数变化依据第一因子和第二因子确定，所述第一因子用于表征各结构分组中各个权重的重要性，所述第二因子用于表征不同结构分组之间的相互作用；
10、裁剪单元，用于依据所述目标裁剪率，分别对各结构分组进行裁剪，得到裁剪后的神经网络模型。
11、根据本申请实施例的第三方面，提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第一方面提供的方法。
12、根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现第一方面提供的方法。
13、本申请提供的技术方案至少可以带来以下有益效果：
14、通过依据待裁剪神经网络模型的结构特性，将待裁剪神经网络模型划分为多个结构分组，并依据对待裁剪神经网络模型进行裁剪前后的损失函数变化，确定对各结构分组进行裁剪的目标裁剪率，进而，依据目标裁剪率，分别对各结构分组进行裁剪，得到裁剪后的神经网络模型，一方面，通过对待裁剪神经网络模型进行结构分组划分，并以结构分组为对象进行裁剪率搜索；另一方面，在确定待裁剪神经网络模型进行裁剪前后的损失函数变化时，考虑各结构分组中各个权重的重要性，以及不同结构分组之间的相互作用，提高了所确定的各结构分组的裁剪率的合理性，可以在减少性能损失的情况下加速压缩神经网络模型。
本文档来自技高网...【技术保护点】
1.一种神经网络模型裁剪方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述损失函数变化依据第一因子和第二因子确定，所述第一因子用于表征各结构分组中各个权重的重要性，所述第二因子用于表征不同结构分组之间的相互作用。
3.根据权利要求1所述的方法，其特征在于，所述依据对所述待裁剪神经网络模型进行裁剪前后的损失函数变化，确定对所述多个结构分组中各结构分组进行裁剪的目标裁剪率，包括：
4.根据权利要求3所述的方法，其特征在于，所述依据各种子对应的损失函数变化，对所述裁剪率种群进行迭代更新，包括：
5.根据权利要求2所述的方法，其特征在于，所述依据所述目标裁剪率，分别对各结构分组进行裁剪，包括：
6.根据权利要求1所述的方法，其特征在于，Transform模型裁剪前后的损失函数变化通过以下公式确定：
7.一种神经网络模型裁剪装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现如权利要求1-6任一项所述的方法。
...【技术特征摘要】
1.一种神经网络模型裁剪方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述损失函数变化依据第一因子和第二因子确定，所述第一因子用于表征各结构分组中各个权重的重要性，所述第二因子用于表征不同结构分组之间的相互作用。
3.根据权利要求1所述的方法，其特征在于，所述依据对所述待裁剪神经网络模型进行裁剪前后的损失函数变化，确定对所述多个结构分组中各结构分组进行裁剪的目标裁剪率，包括：
4.根据权利要求3所述的方法，其特征在于，所述依据各种子对应的损失函数变化，对所述裁剪率种群进行迭代更新，包括：
5.根据权利要求2所述的方法，其特征在于，所述依据所述目标裁剪率，...
【专利技术属性】
技术研发人员：郑传杨，张凯，任文奇，李哲暘，谭文明，肖俊，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。