一种基于连续性剪枝的神经网络轻量化方法及系统技术方案

本发明专利技术公开的一种基于连续性剪枝的神经网络轻量化方法及系统，属于计算机视觉和图像处理领域。本发明专利技术公开的一种基于连续性剪枝的神经网络轻量化系统，包括通道重要性评价模块、Soft_Conv 1

【技术实现步骤摘要】
一种基于连续性剪枝的神经网络轻量化方法及系统


[0001]本专利技术涉及一种基于连续性剪枝的神经网络轻量化方法及系统，属于计算机视觉和图像处理领域。

技术介绍

[0002]近年来随着人工智能技术的快速发展，深度学习在目标分类、识别、检测与跟踪等计算机视觉领域取得极大的进步，神经网络模型的精度也不断提高。相应的，神经网络模型的复杂度、参数量也不断增大，所需的储存空间和推理时间也不断增加，这给神经网络模型在小型嵌入式机器上的部署带来了极大的挑战，限制了神经网络模型的落地应用。
[0003]神经网络轻量化包括对网络结构的设计和模型压缩两方面，通过探究新的卷积结构和压缩操作，降低模型的参数量、复杂度。网络结构设计的典型代表有squeezeNet、MobileNets、ShuffleNests、Xception等，通过将标准卷积操作转换成自定义的卷积操作降低模型复杂度。模型压缩主要有剪枝、知识蒸馏、量化、低秩分解等，其中剪枝应用较为广泛，但目前大部分的模型剪枝策略都是利用固定阈值或特定排序对卷积通道进行Hard剪枝，使得剪枝后的模型精度出现断崖式的下降，阻碍了模型在硬件上的部署。
[0004]Soft阈值向量稀疏化方法在先技术[1](参见Kusupati A,Ramanujan V,Somani R,et al.Soft threshold weight reparameterization for learnable sparsity[C]//International Conference on Machine Learning.PMLR,2020:5544
‑
5555.)提出，通过设置可学习性阈值来稀疏化卷积核，达到非结构化剪枝的目的，同时由于非结构化剪枝要特殊的硬件支持，不能直接应用于一般的模型轻量化中。利用群剪枝学习深度可分卷积(LdsConv)在先技术[2](参见Lin W,Ding Y,Wei H L,et al.LdsConv:Learned Depthwise Separable Convolutions by Group Pruning[J].Sensors,2020,20(15):4349.)提出，是一种自定义卷积结构，包括通道挑选阶段和组合阶段，通过将剪枝技术集成到卷积操作中，可以提高网络的精度，但对网络速度的提高不明显。

技术实现思路

[0005]为了解决在轻量化过程中由于固定阈值或特定排序的剪枝策略而造成卷积神经网络精度下降的问题，本专利技术的目的是提供一种基于连续性剪枝的神经网络轻量化方法及系统，基于Soft阈值向量稀疏化方法和利用群剪枝学习深度可分卷积(LdsConv)结构，根据自主学习阈值设计Soft_Conv 1
×
1结构和Soft_LdsConv结构，根据通道评价指标，完成对Conv1
×
1和Conv n
×
n(n>＝3)通道的连续性剪枝，再对剪枝通道进行规整，不仅能够高效压缩卷积神经网络模型，实现卷积神经网络模型轻量化，还能够提高卷积神经网络模型的精度。本专利技术还具有通用性的优点。应用本专利技术能够提高计算机视觉和图像处理效率，增加图像任务精度。
[0006]本专利技术的目的是通过下述技术方案实现的：
[0007]本专利技术公开的一种基于连续性剪枝的神经网络轻量化方法，基于Soft阈值向量稀
疏化方法，设计Soft_Conv 1
×
1结构，根据通道评价指标，对Conv 1
×
1通道实施连续性剪枝。为提升卷积神经网络模型的精度，基于LdsConv结构提出Soft_LdsConv结构，通过对Conv n
×
n(n>＝3)通道选取过程进行连续化，实现大尺寸卷积核的通道剪枝。另外，本专利技术设计规整结构将Soft_Conv 1
×
1结构和Soft_LdsConv结构的剪枝结果进行通道规整并训练，完成卷积神经网络模型的轻量化。本专利技术能自适应进行连续性剪枝，能有效压缩卷积神经网络模型，提高卷积神经网络模型的性能。本专利技术能应用于一般卷积神经网络模型的卷积操作中，具有较高的通用性。
[0008]本专利技术公开的一种基于连续性剪枝的神经网络轻量化方法，包括如下步骤：
[0009]步骤一：对目标进行图像采集，获取样本图像，将样本图像分为测试集与训练集，所述测试集与训练集组成数据集，并对数据集进行缩放、旋转、裁剪、对称变换，统一图像的尺寸，实现数据集的归一化。
[0010]步骤二：将卷积神经网络中的标准卷积分解成深度可分离卷积，利用步骤三设计的Soft_Conv 1
×
1结构和Soft_LdsConv结构替换深度可分离卷积中的Conv 1
×
1和Conv n
×
n(n>＝3)，得到待训练的神经网络，利用步骤一得到的数据集对神经网络进行训练，基于通道重要性评价模块计算各通道的重要性，并将重要性传递给Soft_Conv 1
×
1结构和Soft_LdsConv结构。
[0011]基于通道重要性评价模块计算各通道的重要性方法如下：利用训练数据集训练网络得到各层各通道的权重，基于的评价准则对每个通道进行重要性评价。
[0012]步骤二实现方法为：
[0013]卷积神经网络模型中第i层的输入特征图经过卷积核转换成输出特征图对F
i
的每个滤波器进行重要性评估，采用的评价准则，公式如下：
[0014][0015]得到含有n
i+1
个输出通道的重要性评价矩阵如下：
[0016][0017]重要性评价矩阵q作为重要性依据传入Soft_Conv 1
×
1结构和Soft_LdsConv结构。
[0018]步骤三：基于Soft阈值向量稀疏化方法和LdsConv结构，根据自主学习阈值设计Soft_Conv 1
×
1结构和Soft_LdsConv结构，根据步骤二输出的通道评价指标，对Conv1
×
1和Conv n
×
n(n>＝3)通道进行连续性剪枝，即利用Soft_Conv 1
×
1结构对小尺寸卷积核中不重要的通道进行剪枝，利用Soft_LdsConv结构对大尺寸卷积核中不重要的通道进行剪枝。Soft_Conv 1
×
1结构将剪枝后的通道传递给通道规整模块。Soft_LdsConv结构将剪枝后的通道传递给通道规整模块。
[0019]利用Soft_Conv 1
×
1结构对小尺寸卷积核中不重要的通道进行剪枝实现方法为：对网络中小尺寸卷积核进行连续性通道剪枝。通过设置自主学习阈值，使得剪枝过程具有连续性，改善由于截断剪枝对网络精度带来的影响，同时让剪枝过程融合在网络
训练过程中，通过边训练边剪枝的方式，增强训练的鲁棒性，提高网络的速度。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于连续性剪枝的神经网络轻量化方法，其特征在于：包括如下步骤，步骤一：对目标进行图像采集，获取样本图像，将样本图像分为测试集与训练集，所述测试集与训练集组成数据集，并对数据集进行缩放、旋转、裁剪、对称变换，统一图像的尺寸，实现数据集的归一化；步骤二：将卷积神经网络中的标准卷积分解成深度可分离卷积，利用步骤三设计的Soft_Conv 1
×
1结构和Soft_LdsConv结构替换深度可分离卷积中的Conv 1
×
1和Conv n
×
n(n&gt;＝3)，得到待训练的神经网络，利用步骤一得到的数据集对神经网络进行训练，基于通道重要性评价模块计算各通道的重要性，并将重要性传递给Soft_Conv 1
×
1结构和Soft_LdsConv结构；基于通道重要性评价模块计算各通道的重要性方法如下：利用训练数据集训练网络得到各层各通道的权重，基于l1‑
norm的评价准则对每个通道进行重要性评价；步骤三：基于Soft阈值向量稀疏化方法和利用群剪枝学习深度可分卷积LdsConv结构，根据自主学习阈值设计Soft_Conv 1
×
1结构和Soft_LdsConv结构，根据步骤二输出的l1‑
norm通道评价指标，对Conv 1
×
1和Conv n
×
n(n&gt;＝3)通道进行连续性剪枝，即利用Soft_Conv 1
×
1结构对小尺寸卷积核中不重要的通道进行剪枝，利用Soft_LdsConv结构对大尺寸卷积核中不重要的通道进行剪枝；Soft_Conv 1
×
1结构将剪枝后的通道传递给通道规整模块；Soft_LdsConv结构将剪枝后的通道传递给通道规整模块；步骤四：对Soft_Conv 1
×
1结构和Soft_LdsConv结构剪枝后的网络结构进行全局性规整获得中间级网络，对中间级网络进行训练，得到基于连续性剪枝的轻量化高精度卷积神经网络模型。2.如权利要求1所述的一种基于连续性剪枝的神经网络轻量化方法，其特征在于：还包括步骤五，利用步骤一至步骤四实现基于连续性剪枝的卷积神经网络优化，不仅能够高效压缩模型实现卷积神经网络模型的轻量化，还能够提高卷积神经网络模型的精度，进而应用步骤四得到的基于连续性剪枝的轻量化高精度卷积神经网络模型提高计算机视觉和图像处理效率，增加图像任务精度。3.如权利要求1或2所述的一种基于连续性剪枝的神经网络轻量化方法，其特征在于：步骤二实现方法为，卷积神经网络模型中第i层的输入特征图经过卷积核转换成输出特征图对F
i
的每个滤波器进行重要性评估，采用l1‑
norm的评价准则，公式如下：得到含有n
i+1
个输出通道的重要性评价矩阵如下：重要性评价矩阵q作为重要性依据传入Soft_Conv 1
×
1结构和Soft_LdsConv结构。4.如权利要求3所述的一种基于连续性剪枝的神经网络轻量化方法，其特征在于：利用Soft_Conv 1
×
1结构对小尺寸卷积核中不重要的通道进行剪枝实现方法为：对网络中小尺
寸卷积核进行连续性通道剪枝；通过设置自主学习阈值，使得剪枝过程具有连续性，改善由于截断剪枝对网络精度带来的影响，同时让剪枝过程融合在网络训练过程中，通过边训练边剪枝的方式，增强训练的鲁棒性，提高网络的速度；利用Soft_LdsConv结构对大尺寸卷积核中不重要的通道进行剪枝实现方法为：对网络中大尺寸卷积核k≥3进行通道剪枝；通过将组卷积核的通道挑选从间断挑选改为基于自主学习阈值的连续性挑选，使得剪枝状态由Hard变成Soft，并将组合阶段设置成自适应的参数传递阶段，将挑选阶段的卷积参数传递给深度可分离卷积并进行训练，提高卷积神经网络模型的精度。5.如权利要求4所述的一种基于连续性剪枝的神经网络轻量化方法，其特征在于：步骤三的实现方法为：Soft_Conv 1
×
1结构根据通道重要性评价模块计算Conv 1
×
1的重要性矩阵q，设置自主学习阈值s与权重模板mask，在每次前向传播时，将重要性矩阵q与自主学习阈值s进行比较，当输出通道重要值小于阈值，则将权重模板mask中对应通道置0，实现结构化剪枝，公式如下：其中，f(
·<...

【专利技术属性】
技术研发人员：丁艳，李海坛，林稳翔，焦迎杰，陈士超，贾庆忠，
申请(专利权)人：西安现代控制技术研究所，
类型：发明
国别省市：