一种卷积神经网络结构化通道剪枝方法技术

本发明专利技术公开了一种卷积神经网络结构化通道剪枝方法，包括：单层卷积权重依次进行通道剪枝与SVD分解剪枝，得到剪枝后权重，并计算单层卷积的剪枝率；以剪枝前单层卷积权重与剪枝后权重之间差异计算剪枝损失函数；通过拟合曲线确定剪枝损失函数与剪枝率之间的数学模型，以数学模型的偏导确定为单层卷积的剪枝灵敏度；在给定整体剪枝率前提下，通过损失函数与剪枝率的数学模型，确立最优化算法求解每一层卷积权重最佳剪枝率；遍历每一层卷积权重最佳剪枝率进行马尔科夫决策过程的卷积权重剪枝，完成整个卷积神经网络的剪枝，最后通过训练恢复精度。复精度。复精度。

【技术实现步骤摘要】
一种卷积神经网络结构化通道剪枝方法


[0001]本专利技术涉及深度卷积神经网络模型压缩领域，尤其涉及一种卷积神经网络结构化通道剪枝方法。

技术介绍

[0002]随着深度卷积神经网络结构加深，对网络部署、正向传播速度带来不利影响，卷积神经网络模型压缩有助于问题解决。
[0003]常见的卷积神经网络模型压缩方法有基于知识蒸馏的卷积神经网络权重压缩方法、基于结构化剪枝的卷积神经网络压缩方法。其中，基于知识蒸馏的卷积神经网络权重压缩方法如专利CN202210653730.6等，设计教师模型与学生模型特征表达，通过训练使学生模型恢复教师模型输出精度，该方法操作简单，但训练较为困难。基于结构化剪枝的卷积神经网络压缩方法如专利CN202210801243.X、CN202111530279.0等，结构化网络剪枝方法则是整行(或整列或整通道)删除(元素置0)冗余卷积权重参数，是真正意义上网络权重变窄，在层数较深卷积神经网络压缩效果明显，适用性好。
[0004]上述具体专利对比文件和相关文献为：
[0005]1)、“基于大小导师知识蒸馏的少样本情感分类方法”，专利号CN202210653730.6。该专利技术专利提供一种基于大小导师知识蒸馏的少样本情感分类方法，收集大量情感分类任务上的未标注样本和有标注样本，使用有标注样本训练大导师模型和小导师模型。该专利技术减少资源消耗的同时提升了分类识别的正确率，但训练难度较高。
[0006]2)、“基于稀疏系数通道剪枝的轻量化个人防护装备检测方法”，专利号CN202210801243.X。该专利技术专利提供了一种基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，对卷积神经网络中BN层的γ参数进行稀疏正则化，得到稀疏化后的检测模型，对稀疏化后的检测模型进行剪枝，得到一个轻量化的检测模型。该方法能够有效减少检测模型的模型大小，参数量和计算量，但仅作用于YOLOv5网络。
[0007]3)、“一种用于图像分类任务的滤波器剪枝方法”，专利号CN202111530279.0。该专利技术涉及一种用于图像分类任务的滤波器剪枝方法，在对滤波器重要性进行评估时，综合考虑滤波器剪枝对于当前层的直接影响和对于下一层的间接影响，使得新的评估结果能够更准确的反映滤波器的重要性，仅以以滤波器范数判断重要程度具有一定局限性。
[0008]4)、清华大学的刘庄在2017年发表的论文《Learning Efficient Convolutional Networks through Network Slimming》，该文章在结构化剪枝任务研究中引入尺度矩阵γ与惩罚因子λ，在ResNet164、DenseNet40剪枝率达40％，但惩罚因子λ由作者经验所得，适用性较弱。

技术实现思路

[0009]为解决上述技术问题，本专利技术的目的是提供一种卷积神经网络结构化通道剪枝方法。
[0010]本专利技术的目的通过以下的技术方案来实现：
[0011]一种卷积神经网络结构化通道剪枝方法，包括：
[0012]A、单层卷积权重依次进行通道剪枝与SVD分解剪枝，得到剪枝后权重，并计算单层卷积的剪枝率；
[0013]B、以剪枝前单层卷积权重与剪枝后权重之间差异计算剪枝损失函数；
[0014]C、通过拟合曲线确定剪枝损失函数与剪枝率之间的数学模型，以数学模型的偏导确定为单层卷积的剪枝灵敏度；
[0015]D、在给定整体剪枝率前提下，通过损失函数与剪枝率的数学模型，确立最优化算法求解每一层卷积权重最佳剪枝率；
[0016]E、遍历每一层卷积权重最佳剪枝率进行马尔科夫决策过程的卷积权重剪枝，完成整个卷积神经网络的剪枝，最后通过训练恢复精度。
[0017]与现有技术相比，本专利技术的一个或多个实施例可以具有如下优点：
[0018]相比传统卷积神经网络模型压缩方法，此方法针对于单卷积权重，不受网络结构影响，理论上可适用于由卷积层构成的深度神经网络，具有较好的适用性。
附图说明
[0019]图1是卷积神经网络结构化通道剪枝方法流程框图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本专利技术作进一步详细的描述。
[0021]如图1所示，为一种卷积神经网络结构化通道剪枝方法流程，具体包括如下步骤：
[0022]步骤10单层卷积权重依次进行通道剪枝与SVD分解剪枝，得到剪枝后权重，并计算单层卷积的剪枝率；
[0023]步骤20以剪枝前单层卷积权重与剪枝后权重之间差异计算剪枝损失函数；
[0024]步骤30通过拟合曲线确定剪枝损失函数与剪枝率之间的数学模型，以数学模型的偏导确定为单层卷积的剪枝灵敏度；
[0025]步骤40在给定整体剪枝率前提下，通过损失函数与剪枝率的数学模型，确立最优化算法求解每一层卷积权重最佳剪枝率；
[0026]步骤50遍历每一层卷积权重最佳剪枝率进行马尔科夫决策过程的卷积权重剪枝，完成整个卷积神经网络的剪枝，最后通过训练恢复精度。
[0027]上述步骤10中，所述通道剪枝与SVD分解剪枝为：
[0028]通道化剪枝将第n层卷积权重中任意通道(第p通道)内全部元素置0，操作计为PR(W
n
,p)，剪枝后卷积权重为：
[0029][0030]SVD分解剪枝对W
n
进行SVD分解，将四维权重矩阵W
n
转换成二维其中
l
n
＝c
n
k
n
k
n
。令则有：其中，Σ
n
为斜对角为M
n
特征值的主对角矩阵，特征值个数r
n
＝min(m
n
,l
n
)，将矩阵Σ
t
中第r
n
个特征值进行剪枝操作TD(W
n
,r)，得矩阵
[0031][0032]令为二维矩阵，其特征值个数即实现了W
n
低秩处理；最后，再将二维矩阵转换回四维矩阵单次卷积计算转化为两次卷积。
[0033]上述步骤20中，所述剪枝损失函数为：
[0034]剪枝个通道、个特征值后剪枝卷积核分别为个特征值后剪枝卷积核分别为依据剪枝后卷积计算所减少的计算量，W
n
剪枝率PR
n
定义为：
[0035][0036]设反向传播梯度下降计算矩阵为G
n
，那么第n层剪枝卷积权重矩阵W
n
与原始权重W
n
之间损失L
n
为：
[0037][0038]上述步骤30具体包括：
[0039]通过遍历W
n
每一通道剪枝、SVD分解剪枝后压缩权重W
n
与原始权重W
n
之间损失集合判断权重W
n
每个通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络结构化通道剪枝方法，其特征在于，所述方法包括：A单层卷积权重依次进行通道剪枝与SVD分解剪枝，得到剪枝后权重，并计算单层卷积的剪枝率；B以剪枝前单层卷积权重与剪枝后权重之间差异计算剪枝损失函数；C通过拟合曲线确定剪枝损失函数与剪枝率之间的数学模型，以数学模型的偏导确定为单层卷积的剪枝灵敏度；D通过损失函数与剪枝率的数学模型，确立最优化算法求解每一层卷积权重最佳剪枝率；E遍历每一层卷积权重最佳剪枝率进行马尔科夫决策过程的卷积权重剪枝，完成整个卷积神经网络的剪枝，最后通过训练恢复精度。2.如权利要求1所述的卷积神经网络结构化通道剪枝方法，其特征在于，所述A通道剪枝与SVD分解剪枝流程为：通道化剪枝将第n层卷积权重中任意通道内全部元素置0，操作计为PR(W
n
,p)，剪枝后卷积权重为：SVD分解剪枝对W
n
进行SVD分解，将四维权重矩阵W
n
转换成二维其中l
n
＝c
n
k
n
k
n
；令则有：M
t
＝U
t
Σ
t
V
tT
，其中，Σ
n
为斜对角为M
n
特征值的主对角矩阵，特征值个数r
n
＝min(m
n
,l
n
)，将矩阵Σ
n
中第r
n
个特征值进行剪枝操作TD(W
n
,r)，得矩阵,r)，得矩阵令令为二维矩阵，其特征值个数即实现了W
n
低秩处理；最后，再将二维矩阵转换回四维矩阵单次卷积计算转化为两次卷积。3.如权利要求1所述的卷积神经网络结构化通道剪枝方法，其特征在于，所述步骤B中单层卷积的剪枝率计算为：剪枝个通道、个特征值后剪枝卷积核分别为个特征值后剪枝卷积核分别为依据剪枝后卷积计算所减少的计算量，W
n
剪枝率PR
n
定义为：设反向传播梯度下降计算矩阵为G
n
，那么第n层剪枝卷积权重矩阵W
n
与原始权重W
n
之间
损失L
n
为：4.如权利要求1所述的卷积神经网...

【专利技术属性】
技术研发人员：刘桂雄，廖普，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：