一种滤波器剪枝方法、系统及电子设备技术方案

本发明专利技术涉及一种滤波器剪枝方法、系统及电子设备，方法包括：初始化剪枝率向量集合，以此作为当前种群；以当前种群中的剪枝率向量为参考对初始神经网络进行剪枝，并计算对应的适应度值；以适应度值为基准，对当前种群进行选择、交叉和变异，并将变异后种群中适应度值最低若干剪枝率向量进行替换，得到优化种群；判断所述优化种群是否满足预设终止准则，若是，则执行下一步；若否，则返回至剪枝和适应度计算步骤，直至满足预设终止准则；从优化种群中选择适应度值最高的剪枝率向量作为最终剪枝模型；通过最终剪枝模型对待剪枝神经网络中的滤波器进行剪枝。本发明专利技术在剪枝过程中保证了种群的多样性，能够对滤波器进行有效剪枝。能够对滤波器进行有效剪枝。能够对滤波器进行有效剪枝。

【技术实现步骤摘要】
一种滤波器剪枝方法、系统及电子设备


[0001]本专利技术涉及神经网络剪枝
，尤其是指一种滤波器剪枝方法、系统及电子设备。

技术介绍

[0002]现有的剪枝策略过于单一，忽略了卷积网络模型层与层之间的结构整体性和网络全局信息的关联性，采用统一设定的剪枝率逐层剪枝，这样可能会导致有些层过度剪枝，有些层仍存在结构冗余，无法获得最优的网络模型结构。此外，这种固定剪枝率的剪枝策略依赖于人工经验并需要反复测试才能找到较优的整体剪枝率。
[0003]虽然也有一些考虑剪枝敏感度的滤波器剪枝算法，但由于剪枝率组合空间庞大，现有方法均人为的对搜索空间进行了约束，只是实现了在有限空间内查找剪枝率组合。
[0004]深度神经网络剪枝是深度神经网络压缩和加速的重要方法之一，但现有的网络剪枝基本上可以分为两类：一类是根据人为设定的固定剪枝率，采用滤波器重要性或相似性评估方法对每层的滤波器进行评估，根据剪枝率保留重要的滤波器，删除不重要的滤波器。在滤波器重要性或相似性评估中，每个样本评估一次，没有考虑样本偏差对评估带来的影响。另一类是考虑剪枝敏感度，使得每层拥有不同剪枝率。由于深度模型各层剪枝率组合空间过大，当前很多方法都采用一定的手段对剪枝率组合空间进行限制或压缩，采用算法在一个子空间搜索最优剪枝率组合。
[0005]现有技术的缺点如下：
[0006](1)现在深度网络模型剪枝策略中，在滤波器相似性评估中，没有考虑样本偏差对评估带来的影响,不能完全反映滤波器相似性。
[0007](2)由于深度模型各层剪枝率组合空间过大，当前很多方法都采用一定的手段对剪枝率组合空间进行限制或压缩(例如剪枝率取值范围为0
‑
0.5)，采用算法在一个子空间搜索最优剪枝率组合。

技术实现思路

[0008]为此，本专利技术所要解决的技术问题在于克服现有技术中滤波器相似性评估不全面的问题、以及现有剪枝方法都对剪枝率组合空间进行限制的问题。
[0009]为解决上述技术问题，本专利技术提供了一种滤波器剪枝方法，包括：
[0010]步骤S1：初始化剪枝率向量集合，以所述剪枝率向量集合作为当前种群；
[0011]步骤S2：以所述当前种群中的剪枝率向量为参考对初始神经网络进行剪枝，得到剪枝模型；并计算当前种群中每个剪枝率向量所对应剪枝模型的适应度值；
[0012]步骤S3：以当前种群中每个剪枝率向量所对应剪枝模型的适应度值为基准，对所述当前种群进行选择、交叉和变异，并将变异后种群中适应度值最低若干剪枝模型对应的剪枝率向量进行替换，得到优化种群；
[0013]步骤S4：判断所述优化种群是否满足预设终止准则，若是，则执行步骤S5；若否，则
返回至步骤S2，直至满足预设终止准则；
[0014]步骤S5：从所述优化种群中选择适应度值最高的剪枝模型对应的剪枝率向量，对待剪枝神经网络中的滤波器进行剪枝。
[0015]在本专利技术的一个实施例中，所述步骤S1中初始化剪枝率向量集合的方法为：
[0016]随机产生N/2个剪枝率向量，组成子种群P1；
[0017]根据所述子种群P1生成N/2个剪枝率向量，组成子种群P2；
[0018]将所述子种群P1和子种群P2构成初始种群P，所述初始种群P为剪枝率向量R的集合。
[0019]在本专利技术的一个实施例中，所述子种群P1和子种群P2满足公式：
[0020][0021]其中，[r1,r2,r3,...,r
L
]表示子种群P1中的个体R
i
对应的滤波器剪枝率向量，r
i
表示关于R
i
的神经网络第i层的滤波器剪枝率且r
i
∈[0,1)，i＝1,...,L，L表示神经网络中卷积层的层数，[r'1,r'2,r'3,...,r'
L
]表示子种群P2中的个体R'
i
对应的滤波器剪枝率向量，r'
i
表示关于R'
i
的神经网络第i层的滤波器剪枝率。
[0022]在本专利技术的一个实施例中，所述适应度值的计算公式为：
[0023][0024][0025]其中，Fitness表示适应度值，Acc表示剪枝模型的分类精度，F
o
和P
o
分别表示未剪枝的神经网络的计算量Flops和参数量Params，F
k
和P
k
分别表示根据剪枝率向量剪枝后的神经网路保留的计算量Flops和参数量Params，w1,w2,w3表示动态可调的第一参数、第二参数和第三参数。
[0026]在本专利技术的一个实施例中，所述步骤S3将变异后种群中适应度值最低若干剪枝模型对应的剪枝率向量进行替换，得到优化种群的方法为：
[0027]选择变异后的种群中适应度值最低的两个剪枝模型对应的剪枝率向量，通过100％分别减去适应度值最低的两个剪枝模型对应的剪枝率向量中的剪枝率，得到两组反向剪枝率，基于两组反向剪枝率生成两个对应的反向剪枝率向量；
[0028]利用两个反向剪枝率向量替换掉适应度值最低的两个剪枝模型对应的剪枝率向量，得到优化种群。
[0029]在本专利技术的一个实施例中，所述步骤S2中以所述当前种群中的剪枝率向量为参考对初始神经网络进行剪枝的方法包括：通过特征图平均距离来评估滤波器的相似度，基于所述滤波器的相似度删除滤波器；
[0030]所述特征图平均距离的公式为：
[0031][0032][0033]其中，是由第l层中的第t个图像生成的第i个特征图，是由第l层中的第t个图像生成的第j个特征图，s表示图像样本个数，flatten表示将特征图矩阵转换为向量，N表示特征图矩阵转换为向量后的维度，和分别表示网络第l层中的第t个图像生成的第i个特征图和第j个特征图转换后的特征图向量。
[0034]在本专利技术的一个实施例中，所述步骤S2中的剪枝模型满足公式：
[0035]min L
test
(M
*
；W)
[0036]s.t.M
*
＝argmin L
train
(R,W)
[0037]其中，M
*
表示剪枝模型，R＝[r1,r2,...,r
L
]表示滤波器剪枝率向量，r
i
表示神经网络第i层的滤波器剪枝率，i＝1,...,L，L表示神经网络卷积层的层数，W表示神经网络的权重参数，L
test
表示剪枝后的神经网络的测试损失值，L
train
表示剪枝后的神经网络的训练损失值。
[0038]为解决上述技术问题，本专利技术提供了一种滤波器剪枝系统，包括：
[0039]初始化模块：用于初始化剪枝率向量集合，以所述剪枝率向量集合作为当前种群；
[0040]计算模块：用于以所述当前种群中的剪枝率向量为参考对初始神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种滤波器剪枝方法，其特征在于：包括：步骤S1：初始化剪枝率向量集合，以所述剪枝率向量集合作为当前种群；步骤S2：以所述当前种群中的剪枝率向量为参考对初始神经网络进行剪枝，得到剪枝模型；并计算当前种群中每个剪枝率向量所对应剪枝模型的适应度值；步骤S3：以当前种群中每个剪枝率向量所对应剪枝模型的适应度值为基准，对所述当前种群进行选择、交叉和变异，并将变异后种群中适应度值最低若干剪枝模型对应的剪枝率向量进行替换，得到优化种群；步骤S4：判断所述优化种群是否满足预设终止准则，若是，则执行步骤S5；若否，则返回至步骤S2，直至满足预设终止准则；步骤S5：从所述优化种群中选择适应度值最高的剪枝模型对应的剪枝率向量，对待剪枝神经网络中的滤波器进行剪枝。2.根据权利要求1所述的滤波器剪枝方法，其特征在于：所述步骤S1中初始化剪枝率向量集合的方法为：随机产生N/2个剪枝率向量，组成子种群P1；根据所述子种群P1生成N/2个剪枝率向量，组成子种群P2；将所述子种群P1和子种群P2构成初始种群P，所述初始种群P为剪枝率向量R的集合。3.根据权利要求2所述的滤波器剪枝方法，其特征在于：所述子种群P1和子种群P2满足公式：其中，[r1,r2,r3,...,r
L
]表示子种群P1中的个体R
i
对应的滤波器剪枝率向量，r
i
表示关于R
i
的神经网络第i层的滤波器剪枝率且r
i
∈[0,1)，i＝1,...,L，L表示神经网络中卷积层的层数，[r1',r2',r3',...,r
L
']表示子种群P2中的个体R
i
'对应的滤波器剪枝率向量，r
i
'表示关于R
i
'的神经网络第i层的滤波器剪枝率。4.根据权利要求1所述的滤波器剪枝方法，其特征在于：所述适应度值的计算公式为：4.根据权利要求1所述的滤波器剪枝方法，其特征在于：所述适应度值的计算公式为：其中，Fitness表示适应度值，Acc表示剪枝模型的分类精度，F
o
和P
o
分别表示未剪枝的神经网络的计算量Flops和参数量Params，F
k
和P
k
分别表示根据剪枝率向量剪枝后的神经网路保留的计算量Flops和参数量Params，w1,w2,w3表示动态可调的第一参数、第二参数和第三参数。5.根据权利要求1所述的滤波器剪枝方法，其特征在于：所述步骤S3将变异后种群中适应度值最低若干剪枝模型对应的剪枝率向量进行替换，得到优化种群的方法为：选择变异后的种群中适应度值最低的两个剪枝模型对应的剪枝率向量，通过100％分别减去适应度值最低的两个剪枝模型对应的剪枝率向量...

【专利技术属性】
技术研发人员：姚望舒，薛一帆，
申请(专利权)人：苏州大学，
类型：发明
国别省市：