基于高斯分布特征的深层卷积神经网络压缩加速方法技术

本发明专利技术公开了基于高斯分布特征的深层卷积神经网络压缩加速方法，适用于深度神经网络模型的压缩。首先训练好一个原始的卷积神经网络，然后逐层对该网络进行高斯分析，根据分析的结果选择保留还是删除的卷积核，之后进训练，直到模型剪枝完成。本发明专利技术在进行压缩剪枝过程中，采用的技术方案是根据分布收敛特征进行剪枝，在压缩的过程中没有引入其他的剪枝约束超参数，因此压缩的过程是自动化搜索的。本发明专利技术的压缩结果是直接压缩出更小的模型，没有引入mask对权重进行操作，压缩的结果可以不依赖于相关的加速库而直接产生加速效果，始终让模型的性能保证在原来的基础上，即没有出现任何的精度损失下进行的。何的精度损失下进行的。何的精度损失下进行的。

【技术实现步骤摘要】
detection.2018
[0009][4]Junwei Han,Dingwen Zhang,Gong Cheng,Nian Liu,and Dong Xu.Advanced deep
‑
learning techniques for salient and category
‑
specifc object detection:a survey.IEEE Signal Processing Magazine,35(1):84
–
100,2018
[0010][5]Chong Wang,Xipeng Lan,and Yangang Zhang.Model distillation with knowledge transfer from face classifcation to alignment and verifcation.arXiv preprint arXiv:1709.02929,2017
[0011][6]J.Gomez Robles and J.Vanschoren.Learning to reinforcement learn for neural architecture search,2019
[0012][7]Jungwook Choi,Zhuo Wang,Swagath Venkataramani,Pierce I
‑
Jen Chuang,Vijayalakshmi Srinivasan,and Kailash Gopalakrishnan.Pact:Parameterized clipping activation for quantized neural networks.arXiv preprint arXiv:1805.06085,2018.
[0013][8]Yang He,Ping Liu,Ziwei Wang,Zhilan Hu,and Yi Yang.Filter pruning via geometric median for deep convolutional neural networks acceleration.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,pages4340
–
4349,2019
[0014][9]Yihui He,Xiangyu Zhang,and Jian Sun.Channel pruning for accelerating very deep neural networks.In Proceedings of the IEEE International Conference on Computer Vision,pages1389
–
1397,2017.
[0015][10]Yang He,Guoliang Kang,Xuanyi D ong,Yanwei Fu,and Yi Yang.Soft flter pruning for accelerating deep convolutional neural networks.arXiv preprint arXiv:1808.06866,2018
[0016][11]Christian Szegedy,Vincent Vanhoucke,Sergey Ioffe,Jon Shlens,and Zbigniew Wojna.Rethinking the inception architecture for computer vision.In Proceedings of the IEEE conference on computer vision and pattern recognition,pages2818
–
2826,2016.
[0017][12]Hao Li,Asim Kadav,Igor Durdanovic,Hanan Samet,and Hans Peter Graf.Pruning flters for efcient convnets.arXiv preprint arXiv:1608.08710,2016

技术实现思路

[0018]本专利技术要解决的技术问题是，提供一种基于高斯分布特征的深层卷积神经网络压缩加速方法，首先训练好一个原始的卷积神经网络，然后逐层对该网络进行高斯分析，根据分析的结果选择保留还是删除的卷积核，之后进训练，直到模型剪枝完成。具体的实现流程见附图1。
[0019]基于高斯分布特征的深层卷积神经网络压缩加速方法，具体包括以下步骤：
[0020]步骤1，基准模型训练。训练好一个需要进行模型压缩剪枝的卷积神经网络，生成模型压缩的基准模型，同时为接下来的分析提供基础压缩原始模型，同时用于模型压缩结束后进行压缩效果评估的基准。
[0021]步骤2，模型卷积核提取与高斯分布拟合。对基准模型进行逐层提取卷积核，之后对每一层的卷积核的高斯拟合。对该层拟合后的卷积核Fi进行高斯分布分析，提取分析结果，通过分析的结果来引导该层的剪枝。每一次提取模型的一层卷积核。
[0022]步骤3，根据高斯分布拟合的特征进行卷积核裁剪。卷积核裁剪与模型性能恢复。
[0023]步骤3.1，针对步骤2分析的结果，拟合后的模型，在模型训练的过程中呈现向高斯分布的某一中心收敛，为简化剪枝操作，本专利技术根据步骤2的结果选择高斯分布的中心为模型收敛中心，向两端拓展为模型的收敛区间，而在该收敛区间外的该层卷积核将被视为冗余部分，因此将被裁剪掉并丢弃，即裁剪在分布收敛区间之外的卷积核。分布收敛区间从模型的最大区间到最小区间采用网格算法的方式进行搜索。
[0024]步骤3.2，模型性能恢复。对该裁剪的卷积层进行重训练，而对其他剩下的卷积层进行模型微调训练，直到模型性能恢复。此时存在两种情况，模型性能恢复与模型性能无法恢复。
[0025]情况一：模型性能恢复正常。模型性能恢复正常说明该层的裁剪是有效的，同时表明该层的卷积核仍然可能存在一定的冗余。此时仍然回到步骤3.1，对该层的收敛区间进行缩小，直到寻找到最小的收敛区间，该层的裁剪才结束。
[0026]情况二：模型性能无法恢复。如果该次的裁剪结果无法实现模型的性能恢复，可能是本层裁剪过度或者是上一层的裁剪过度而导致模型无法恢复。
[0027]本层裁剪过度。回到步聚3.1，调整增大该层上一次的收敛区间，如果模型精度能够恢复，则表明寻找到该层的最佳模型压缩收敛区间。
[0028]上一层的裁剪过度。在进行本层裁剪过度恢复处理的过程中，会调整该层的分布收敛区间，如果分布收敛区间调整到最大，模型的精度仍然无法收敛，并累计出现3次及其以上，那么说明上一层的模型裁剪过大而导致该层无法收敛，则对上一层的裁剪结果进行重新调整，即扩大上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于高斯分布特征的深层卷积神经网络压缩加速方法，其特征在于：具体包括以下步骤：步骤1，基准模型训练；训练好一个需要进行模型压缩剪枝的卷积神经网络，生成模型压缩的基准模型，同时为接下来的分析提供基础压缩原始模型，并用于模型压缩结束后进行压缩效果评估的基准；步骤2，模型卷积核提取与高斯分布拟合；对基准模型进行逐层提取卷积核，之后对每一层的卷积核的高斯拟合；对拟合后的卷积核Fi进行高斯分布分析，提取分析结果，通过分析的结果来引导该层的剪枝；每一次提取模型的一层卷积核；步骤3，根据高斯分布拟合的特征进行卷积核裁剪；卷积核裁剪与模型性能恢复。2.根据权利要求1所述的基于高斯分布特征的深层卷积神经网络压缩加速方法，其特征在于：步骤3中，步骤3.1，针对步骤2分析的结果，拟合后的模型，在模型训练的过程中呈现向高斯分布的某一中心收敛；根据步骤2的结果选择高斯分布的中心为模型收敛中心，向两端拓展为模型的收敛区间，而在该收敛区间外的该层卷积核将被视为冗余部分，将被裁剪掉并丢弃，即裁剪在分布收敛区间之外的卷积核；分布收敛区间从模型的最大区间到最小区间采用网格算法的方式进行搜索；步骤3.2，模型性能恢复；对该裁剪的卷积层进行重训练，而对其他剩下的卷积层进行模型微调训练，直到模型...

【专利技术属性】
技术研发人员：崔碧峰，许建荣，李超，徐勇军，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：