一种神经网络压缩方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种神经网络压缩方法、装置、电子设备及存储介质，用于解决现有技术中在卷积神经网络模型同等精度损失的情况下，获取的压缩比非常小的问题。该方法包括：从多个复杂网络中的筛选出原始网络，并对原始网络进行裁剪，获得简单网络；将多个无标签数据和多个有标签数据输入多个复杂网络模型，获得多个输出向量；对多个输出向量进行第一融合和归一化处理，获得一个概率向量，概率向量包括：人工标注向量和模型标注向量；将人工标注向量与多个有标签数据进行第二融合计算，获得融合标签向量；将融合标签向量和模型标注向量进行合并，获得训练集；利用训练集对简单网络进行训练，获得训练后的简单模型。

【技术实现步骤摘要】
一种神经网络压缩方法、装置、电子设备及存储介质
本申请涉及机器学习的
，尤其涉及一种神经网络压缩方法、装置、电子设备及存储介质。
技术介绍
随着以卷积神经网络(ConvolutionalNeuralNetwork，CNN)为代表深度学习技术的蓬勃发展和以图形处理器(GraphicsProcessingUnit，GPU)为代表计算硬件的迭代更新，配合大规模数据的积累。深度学习广泛应用在诸多场合。针对不同的问题除了收集大规模的训练数据以期待获得更好结果之外，CNN网络也变的越来越深，由出现之初的几层网络数十个神经元发展到如今的成百上千的网络层以及数以千万计的神经元。目前在CNN网络的压缩工作中，其思路是先训练一个效果很好复杂的模型，然后采用诸如矩阵正则化、霍夫曼编码等方式对每层网络的权重进行量化编码，从而实现体积上的压缩。该方法使得CNN网络模型的尺寸有所变小，同时其模型的精度也有所损失且获取的压缩比还非常小。因此，现有技术中存在着在卷积神经网络模型同等精度损失的情况下，获取的压缩比非常小的问题。
技术实现思路
有鉴于此，本申请提供一种神经网络压缩方法、装置、电子设备及存储介质，用于解决现有技术中在卷积神经网络模型同等精度损失的情况下，获取的压缩比非常小的问题。本申请提供了的一种神经网络压缩方法，所述方法包括：从多个复杂网络中的筛选出原始网络，并对所述原始网络进行裁剪，获得简单网络；将多个无标签数据和多个有标签数据输入多个复杂网络模型，获得多个输出向量，其中，所述多个复杂网络模型由所述多个复杂网络通过输入所述多个有标签数据训练获得；对所述多个输出向量进行第一融合和归一化处理，获得一个概率向量，所述概率向量包括：人工标注向量和模型标注向量；将所述人工标注向量与所述多个有标签数据进行第二融合计算，获得融合标签向量；将所述融合标签向量和所述模型标注向量进行合并，获得训练集；利用所述训练集对所述简单网络进行训练，获得训练后的简单模型。可选地，在本申请实施例中，所述从多个复杂网络中的筛选出原始网络，包括：用预设数据对所述多个复杂网络进行训练，获得多个复杂网络模型；根据所述多个复杂网络模型获得原始网络。可选地，在本申请实施例中，所述用预设数据对所述多个复杂网络进行训练，获得多个复杂网络模型，包括：获得多个复杂网络，复杂网络为不同结构的神经网络或将多样性数据训练后获得的复杂网络；利用多个有标签数据对所述多个复杂网络进行训练，获得多个复杂网络模型。可选地，在本申请实施例中，所述根据所述多个复杂网络模型获得原始网络，包括：将标准的测试数据集对所述多个复杂网络模型进行准确率测试，并将所述多个复杂网络模型中的准确率最高的复杂网络模型作为原始网络模型；从所述多个复杂网络中获得与所述原始网络模型对应的复杂网络，作为原始网络。可选地，在本申请实施例中，所述对所述原始网络进行裁剪获得简单网络，包括：减少所述原始网络的网络层的数量；或/和减少所述原始网络的网络层的参数。可选地，在本申请实施例中，所述将所述人工标注向量与所述多个有标签数据进行第二融合计算，获得融合标签向量，包括：根据所述多个有标签数据进行独热编码计算，获得第一标签向量；将所述人工标注向量作为第二标签向量；将所述第一标签向量与所述第二标签向量进行第二融合计算，获得融合标签向量。可选地，在本申请实施例中，所述将所述第一标签向量与所述第二标签向量进行第二融合计算，获得融合标签向量，包括：将所述第一标签向量与所述第二标签向量进行第二融合计算，获得T＝a×H+b×S；其中，T是所述融合标签向量，a、b分别是第一权重参数和第二权重参数，且a、b满足a+b＝1，H是所述第二标签向量，S是所述第一标签向量。本申请还提供了一种神经网络压缩装置，所述装置包括：简单网络获得模块，用于从多个复杂网络中的筛选出原始网络，并对所述原始网络进行裁剪，获得简单网络；输出向量获得模块，用于将多个无标签数据和多个有标签数据输入多个复杂网络模型，获得多个输出向量，其中，所述多个复杂网络模型由所述多个复杂网络通过输入所述多个有标签数据训练获得；概率向量获得模块，用于对所述多个输出向量进行第一融合和归一化处理，获得一个概率向量，所述概率向量包括：人工标注向量和模型标注向量；标签向量获得模块，用于将所述人工标注向量与所述多个有标签数据进行第二融合计算，获得融合标签向量；训练集获得模块，用于将所述融合标签向量和所述模型标注向量进行合并，获得训练集；简单模型获得模块，用于利用所述训练集对所述简单网络进行训练，获得训练后的简单模型。本申请还提供了一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如上所述的方法。本申请还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上所述的方法。本申请提供一种神经网络压缩方法、装置、电子设备及存储介质，从多个复杂网络中的筛选出原始网络，并对所述原始网络进行裁剪压缩，获得了简单网络。再将多个无标签数据和之前训练多个复杂网络的多个有标签数据进行处理后，获得包括融合标签向量的训练集，将训练集输入简单网络进行训练，获得训练后的简单模型。通过将多个复杂网络进行裁剪压缩后获得简单网络，再对之前训练多个复杂网络的训练数据处理后，然后将处理后的训练数据输入简单网络进行训练，获得压缩后的简单网络模型，不仅对多个复杂网络进行了压缩，而且通过对简单网络训练之前的训练数据进行了处理，从而提高了简单网络的准确率。通过这种方式从而有效地解决了现有技术中在卷积神经网络模型同等精度损失的情况下，获取的压缩比非常小的问题。为使本申请的上述目的和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚的说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请实施例提供的电子设备结构示意图；图2示出了本申请实施例提供的神经网络压缩方法流程示意图；图3示出了本申请实施例提供的神经网络压缩方法步骤S100的流程示意图；图4示出了本申请实施例提供的神经网络压缩方法步骤S400的流程示意图；图5示出了本申请实施例提供的神经网络压缩方法的另一种实施方式流程图；图6示出了本申请实施例提供的神经网络压缩装置结构示意图。图标：100-电子设备；110-处理器；120-存储器；130-存储介质；200-神经网络压缩装置；210-简单网络获得模块；220-输出向量获得模块；230-概率向量获得模块；240-标签向量获得模块；250-训练集获得模块；260-简单模型获得模块。具体实施方式本申请提供一种神经网络压缩方法、装置、电子设备及存储介质，用于解决现有技术中在卷积神经网络模型同等精度损失的情况下，获取的压缩比非常小的问题。其中，应用于电子设备的方法和装置是基于同一创造构思的，由于方法及相应的装置和设备解决问题的原理相似，因此方法及相应的装置和设备的实施可以相互参见，重复之处不再赘述。以下将对本文档来自技高网...

【技术保护点】
1.一种神经网络压缩方法，其特征在于，所述方法包括：从多个复杂网络中的筛选出原始网络，并对所述原始网络进行裁剪，获得简单网络；将多个无标签数据和多个有标签数据输入多个复杂网络模型，获得多个输出向量，其中，所述多个复杂网络模型由所述多个复杂网络通过输入所述多个有标签数据训练获得；对所述多个输出向量进行第一融合和归一化处理，获得一个概率向量，所述概率向量包括：人工标注向量和模型标注向量；将所述人工标注向量与所述多个有标签数据进行第二融合计算，获得融合标签向量；将所述融合标签向量和所述模型标注向量进行合并，获得训练集；利用所述训练集对所述简单网络进行训练，获得训练后的简单模型。

【技术特征摘要】
1.一种神经网络压缩方法，其特征在于，所述方法包括：从多个复杂网络中的筛选出原始网络，并对所述原始网络进行裁剪，获得简单网络；将多个无标签数据和多个有标签数据输入多个复杂网络模型，获得多个输出向量，其中，所述多个复杂网络模型由所述多个复杂网络通过输入所述多个有标签数据训练获得；对所述多个输出向量进行第一融合和归一化处理，获得一个概率向量，所述概率向量包括：人工标注向量和模型标注向量；将所述人工标注向量与所述多个有标签数据进行第二融合计算，获得融合标签向量；将所述融合标签向量和所述模型标注向量进行合并，获得训练集；利用所述训练集对所述简单网络进行训练，获得训练后的简单模型。2.如权利要求1所述的方法，其特征在于，所述从多个复杂网络中的筛选出原始网络，包括：用预设数据对所述多个复杂网络进行训练，获得多个复杂网络模型；根据所述多个复杂网络模型获得原始网络。3.如权利要求2所述的方法，其特征在于，所述用预设数据对所述多个复杂网络进行训练，获得多个复杂网络模型，包括：获得多个复杂网络，复杂网络为不同结构的神经网络或将多样性数据训练后获得的复杂网络；利用多个有标签数据对所述多个复杂网络进行训练，获得多个复杂网络模型。4.如权利要求2所述的方法，其特征在于，所述根据所述多个复杂网络模型获得原始网络，包括：将标准的测试数据集对所述多个复杂网络模型进行准确率测试，并将所述多个复杂网络模型中的准确率最高的复杂网络模型作为原始网络模型；从所述多个复杂网络中获得与所述原始网络模型对应的复杂网络，作为原始网络。5.如权利要求1所述的方法，其特征在于，所述对所述原始网络进行裁剪获得简单网络，包括：减少所述原始网络的网络层的数量；或/和减少所述原始网络的网络层的参数。6.如权利要求1所述的方法，其特征在于，所述将所述人工标注向量与所述多个有标签数据...

【专利技术属性】
技术研发人员：周曦，黄殿，
申请(专利权)人：重庆中科云丛科技有限公司，
类型：发明
国别省市：重庆,50