图像分类卷积神经网络压缩方法及芯粒器件数据分配方法组成比例

本发明专利技术涉及图像分类识别技术领域，特别涉及一种图像分类卷积神经网络压缩方法及芯粒器件数据分配方法，其中压缩方法包括：获取原始卷积神经网络模型；根据预设的第一剪枝率，对原始卷积神经网络模型中的滤波器进行随机剪枝；针对每个滤波器，分别计算各输入维对滤波器的输入影响因子，并进行归一化处理；针对每个滤波器，分别计算滤波器对各输出维的输出影响因子，并进行归一化处理；拼接归一化处理后的输入影响因子和输出影响因子，得到影响向量；基于各滤波器对应的影响向量，筛选待剪除的滤波器；剪除筛选出的滤波器，得到压缩后的图像分类卷积神经网络。本发明专利技术能够压缩卷积神经网络规模，为实现神经网络在移动端设备应用提供技术支持。提供技术支持。提供技术支持。

【技术实现步骤摘要】
图像分类卷积神经网络压缩方法及芯粒器件数据分配方法


[0001]本专利技术实施例涉及图像分类识别
，特别涉及一种图像分类卷积神经网络压缩方法及芯粒器件数据分配方法。

技术介绍

[0002]卷积神经网络（CNN）是深度学习中的常见模型，可用于执行图像分类识别任务，如识别图像目标类型。为提高模型性能，通常会设置多层网络，即增加网络深度，但这会增加模型所需存储空间及计算成本，限制神经网络在移动端设备上的使用。
[0003]研究表明，深度卷积神经网络模型中通常存在大量冗余滤波器，这些滤波器彼此相似，相互之间可替代性较高。神经网络压缩旨在通过删减可替代的滤波器，降低模型复杂度，能够为实现神经网络在移动端设备应用提供技术支持。

技术实现思路

[0004]针对上述至少一部分不足之处，本专利技术实施例提供了一种图像分类卷积神经网络压缩方法，能够对卷积神经网络进行剪枝以实现网络压缩，为实现神经网络在移动端设备应用提供技术支持。
[0005]第一方面，本专利技术实施例提供了一种图像分类卷积神经网络压缩方法，包括：获取已经训练好的用于进行图像分类的原始卷积神经网络模型；根据预设的第一剪枝率，对所述原始卷积神经网络模型中的滤波器进行随机剪枝；所述第一剪枝率包括每层网络的剪枝率；针对每个滤波器，分别计算各输入维对滤波器的输入影响因子，并对所有滤波器的输入影响因子进行归一化处理；针对每个滤波器，分别计算滤波器对各输出维的输出影响因子，并对所有滤波器的输出影响因子进行归一化处理；针对每个滤波器，拼接归一化处理后的输入影响因子和输出影响因子，得到影响向量；基于各滤波器对应的影响向量，筛选待剪除的滤波器；剪除筛选出的滤波器，得到压缩后的图像分类卷积神经网络。
[0006]可选地，输入维对滤波器的输入影响因子通过如下方式计算：确定用于计算影响因子的输入数据样本集X={}；其中表示所述输入数据样本集X中的第n个数据样本，所述输入数据样本集X所包括的数据样本类型不少于用于训练所述原始卷积神经网络模型的数据集所包括的数据样本类型，且不同类型的数据样本数量相同；基于所述输入数据样本集X，确定不能使用所述输入数据样本集X第i个输入维信息的数据集Y={}；其中第n个数据样本的表达式为：
和分别表示数据样本的第i个和第l个输入维，和分别表示数据样本的第m个和第l个输入维，n2表示数据样本的维度数，n1表示输入所述数据样本集X的数据样本总数；计算不能使用第i个输入维信息所造成的第k个滤波器输出的平方根差异，作为第i个输入维对第k个滤波器的输入影响因子，表达式为：其中，表示输入所述输入数据样本集X中的第n个数据样本时第k个滤波器的输出，表示输入数据集Y中的第n个的数据样本时第k个滤波器的输出；所述对所有滤波器的输入影响因子进行归一化处理，包括：计算归一化处理后第i个输入维对第k个滤波器的输入影响因子，表达式为：。
[0007]可选地，滤波器对输出维的输出影响因子通过如下方式计算：计算不能使用第k个滤波器输出信息所造成的第j个输出维的平方根差异，作为第k个滤波器对第j个输出维的输出影响因子，表达式为：其中，表示输入所述输入数据样本集X中的第n个数据样本时模型的第j个输出维，表示输入所述输入数据样本集X中的第n个数据样本但将第k个滤波器的输出由修改为后模型的第j个输出维；所述对所有滤波器的输出影响因子进行归一化处理，包括：计算归一化后第k个滤波器对第j个输出维的输出影响因子，表达式为：。
[0008]可选地，所述基于各滤波器对应的影响向量，筛选待剪除的滤波器，包括：
根据影响向量中各元素的数值大小及第一数值阈值进行筛选，若存在影响向量的各元素的数值均小于对应的第一数值阈值，则将该影响向量对应的滤波器选为待剪除的滤波器；所述第一数值阈值包括每个元素对应的阈值。
[0009]可选地，所述基于各滤波器对应的影响向量，筛选待剪除的滤波器，还包括：基于预设的第二剪枝率判断是否继续筛选，是则继续，否则执行剪除滤波器步骤；所述第二剪枝率为相对模型整体的剪枝率；根据影响向量之间的相似度，对滤波器进行聚类，得到聚类结果；根据得到的所述聚类结果为各聚类类别分配剪除滤波器指标，分配的剪除滤波器指标与相应聚类类别中滤波器的数量成正比；根据分配的剪除滤波器指标，在对应的聚类类别中选择待剪除滤波器。
[0010]可选地，影响向量之间的相似度根据影响向量之间的欧式距离或马氏距离确定。
[0011]可选地，所述根据分配的剪除滤波器指标，在对应的聚类类别中选择待剪除滤波器，包括，针对每个聚类类别执行如下操作：根据各元素数值大小，对该聚类类别对应的所有影响向量进行从小到大的排序；统计影响向量的所有排名，若存在滤波器，其对应的影响向量各元素排名之和小于预设的排名阈值，则将该滤波器选为待剪除滤波器；判断待剪除滤波器数量是否满足分配的剪除滤波器指标，是则结束，否则去除待剪除滤波器对应的影响向量，返回对影响向量进行从小到大的排序的步骤。
[0012]第二方面，本专利技术实施例还提供了一种芯粒器件数据分配方法，包括：应用于芯粒器件；所述芯粒器件包括输入输出端、集中缓存区、微控制器和多个芯粒资源单元；所述输入输出端用于交互数据，所述集中缓存区用于缓存数据，所述微控制器用于根据输入指令控制芯粒资源单元的连接关系，多个所述芯粒资源单元呈阵列式排布；该芯粒器件数据分配方法包括如下步骤：获取待分配芯粒器件的算力资源统计表；所述算力资源统计表的记载信息包括各芯粒资源单元的尺寸、位置、连接关系及算力大小；基于如上述任一项所述的图像分类卷积神经网络压缩方法得到压缩后的图像分类卷积神经网络，划分运算任务集；基于划分的所述运算任务集和所述算力资源统计表，为各芯粒资源单元分配计算任务；若一个子集对应的运算能够在同一芯粒资源单元中执行，则将该子集的运算集中于同一芯粒资源单元；监控芯粒器件的工作状态，并定期基于芯粒器件的工作状态重新为各芯粒资源单元分配计算任务。
[0013]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本说明书任一实施例所述的图像分类卷积神经网络压缩方法。
[0014]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一实施例所述的图像分类卷积神经网络压缩方法。
[0015]本专利技术实施例提供了一种图像分类卷积神经网络压缩方法、电子设备及存储介
质，本专利技术先对卷积神经网络模型进行随机剪枝以压缩网络规模，再根据每个滤波器对卷积神经网络模型输入
‑
输出映射关系的影响程度对滤波器进行筛选，确定待剪除的滤波器；本专利技术能够得到性能较佳且规模较小的神经网络模型，有效减少图像分类卷积神经网络所需算力，为其在移动端等设备上应用提供技术支持。
[0016]本专利技术实施例还提供了一种芯粒器件数据分配方法，用于根据滤波器对输入
‑
输出映射关系的影响程度将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类卷积神经网络压缩方法，其特征在于，包括：获取已经训练好的用于进行图像分类的原始卷积神经网络模型；根据预设的第一剪枝率，对所述原始卷积神经网络模型中的滤波器进行随机剪枝；所述第一剪枝率包括每层网络的剪枝率；针对每个滤波器，分别计算各输入维对滤波器的输入影响因子，并对所有滤波器的输入影响因子进行归一化处理；针对每个滤波器，分别计算滤波器对各输出维的输出影响因子，并对所有滤波器的输出影响因子进行归一化处理；针对每个滤波器，拼接归一化处理后的输入影响因子和输出影响因子，得到影响向量；基于各滤波器对应的影响向量，筛选待剪除的滤波器；剪除筛选出的滤波器，得到压缩后的图像分类卷积神经网络。2.根据权利要求1所述的方法，其特征在于，输入维对滤波器的输入影响因子通过如下方式计算：确定用于计算影响因子的输入数据样本集X={}；其中表示所述输入数据样本集X中的第n个数据样本，所述输入数据样本集X所包括的数据样本类型不少于用于训练所述原始卷积神经网络模型的数据集所包括的数据样本类型，且不同类型的数据样本数量相同；基于所述输入数据样本集X，确定不能使用所述输入数据样本集X第i个输入维信息的数据集Y={}；其中第n个数据样本的表达式为：的表达式为：和分别表示数据样本的第i个和第l个输入维，和分别表示数据样本的第m个和第l个输入维，n2表示数据样本的维度数，n1表示输入所述数据样本集X的数据样本总数；计算不能使用第i个输入维信息所造成的第k个滤波器输出的平方根差异，作为第i个输入维对第k个滤波器的输入影响因子，表达式为：其中，表示输入所述输入数据样本集X中的第n个数据样本时第k个滤波器的输出，表示输入数据集Y中的第n个的数据样本时第k个滤波器的输出；所述对所有滤波器的输入影响因子进行归一化处理，包括：计算归一化处理后第i个输入维对第k个滤波器的输入影响因子，表达式为：
。3.根据权利要求2所述的方法，其特征在于，滤波器对输出维的输出影响因子通过如下方式计算：计算不能使用第k个滤波器输出信息所造成的第j个输出维的平方根差异，作为第k个滤波器对第j个输出维的输出影响因子，表达式为：其中，表示输入所述输入数据样本集X中的第n个数据样本时模型的第j个输出维，表示输入所述输入数据样本集X中的第n个数据样本但将第k个滤波器的输出由修改为后模型的第j个输出维；所述对所有滤波器的输出影响因子进行归一化处理，包括：计算归一化后第k个滤波器对第j个输出维的输出影响因子，表达式为：。4.根据权利要求3所述的方法，其特征在于，所述基于各滤波器对应的影响向量，筛选待剪除的滤波器，包括：根据影响向量中各元素的数值大小及第一数值阈值进行筛选，若存在影响向量的各元素的数值均小于对应的第一数值阈值，则将该影响向量...

【专利技术属性】
技术研发人员：王嘉诚，张少仲，张栩，
申请(专利权)人：中诚华隆计算机技术有限公司，
类型：发明
国别省市：