神经网络模型参数的压缩方法、装置、设备及存储介质制造方法及图纸

本申请提供一种神经网络模型参数的压缩方法、装置、设备及存储介质，涉及计算机技术领域，用于解决卷积系数对存储空间以及访问带宽的需求大的问题。该方法包括：根据目标神经网络模型的模型参数划分多个参数集合；针对每一参数集合，可根据每一参数集合中非零参数的数值以及参数值为零的参数个数，得到每一参数集合对应的第一压缩参数；且可根据非零参数得到每一参数集合对应的第二压缩参数以及第三压缩参数；进而可根据第一压缩参数、第二压缩参数以及第三压缩参数对每一参数集合进行编码，得到每一参数集合对应的压缩表示；进而根据各个参数集合的压缩表示得到目标神经网络模型的模型参数的压缩包。的模型参数的压缩包。的模型参数的压缩包。

【技术实现步骤摘要】
神经网络模型参数的压缩方法、装置、设备及存储介质


[0001]本申请涉及计算机
，提供一种神经网络模型参数的压缩方法、装置、设备及存储介质。

技术介绍

[0002]随着科学技术的进步，人工智能高速发展，为了进一步提高人工智能的识别精度，人工智能算法向更深的网络层次不断发展，进而使得网络层次以及每层网络特征图像的不断增多，导致神经网络的卷积系数暴增。从最开始乐春网络(Lecun Network，LeNet)的几兆(MByte，MB)的卷积系数量，发展到现在的视觉几何组(Visual Geometry Group，VGG)网络、谷歌乐春网络(Google Lecun Network，GoogLeNet)、残差网络(Residual Network，ResNet)以及移动网络(Mobile Network，MobileNet)等网络框架的几百MB的卷积系数量，可以看出卷积系数对存储空间以及访问带宽的需求日益增加，进而使得人工智能系统的硬件成本也日益增加。
[0003]因此，如何降低卷积系数对存储空间以及访问带宽的需求是一个亟待解决的问题。

技术实现思路

[0004]本申请实施例提供一种神经网络模型参数的压缩方法、装置、设备及存储介质，用于解决卷积系数对存储空间以及访问带宽的需求大的问题。
[0005]一方面，提供一种神经网络模型参数的压缩方法，所述方法包括：
[0006]根据目标神经网络模型的模型参数划分多个参数集合；其中，一个参数集合包括一个非零参数和位于所述非零参数之前且连续的参数值为零的参数；
[0007]针对每一参数集合，根据所述每一参数集合中非零参数的数值以及参数值为零的参数个数，得到所述每一参数集合对应的第一压缩参数；其中，所述第一压缩参数用于指示所述非零参数的数值范围以及参数值为零的参数个数；以及，
[0008]根据所述非零参数得到所述每一参数集合对应的第二压缩参数以及第三压缩参数；其中，根据所述第二压缩参数与所述第一压缩参数指示的所述非零参数的数值范围能够得到所述非零参数的数值，所述第三压缩参数用于指示所述非零系数为正数或者负数；
[0009]根据所述第一压缩参数、所述第二压缩参数以及所述第三压缩参数对所述每一参数集合进行编码，得到所述每一参数集合对应的压缩表示；
[0010]根据各个参数集合的压缩表示得到所述目标神经网络模型的模型参数的压缩包。
[0011]一方面，提供一种神经网络模型参数的压缩装置，所述装置包括：
[0012]模型参数划分单元，用于根据目标神经网络模型的模型参数划分多个参数集合；其中，一个参数集合包括一个非零参数和位于所述非零参数之前且连续的参数值为零的参数；
[0013]获取单元，用于针对每一参数集合，根据所述每一参数集合中非零参数的数值以
及参数值为零的参数个数，得到所述每一参数集合对应的第一压缩参数；其中，所述第一压缩参数用于指示所述非零参数的数值范围以及参数值为零的参数个数；以及，
[0014]所述获取单元，还用于根据所述非零参数得到所述每一参数集合对应的第二压缩参数以及第三压缩参数；其中，根据所述第二压缩参数与所述第一压缩参数指示的所述非零参数的数值范围能够得到所述非零参数的数值，所述第三压缩参数用于指示所述非零系数为正数或者负数；
[0015]编码单元，用于根据所述第一压缩参数、所述第二压缩参数以及所述第三压缩参数对所述每一参数集合进行编码，得到所述每一参数集合对应的压缩表示；
[0016]所述获取单元，还用于根据各个参数集合的压缩表示得到所述目标神经网络模型的模型参数的压缩包。
[0017]可选的，所述模型参数划分单元，还用于：
[0018]根据设定的分组条件，将所述目标神经网络模型的模型参数进行分组，得到多个模型参数组；
[0019]从每一模型参数组中确定至少一个参数集合，以得到所述多个参数集合。
[0020]可选的，所述模型参数划分单元，还用于：
[0021]根据所述目标神经网络模型的卷积核的尺寸，将所述目标神经网络模型的模型参数进行分组，得到多个模型参数组；或者，
[0022]根据所述目标神经网络模型的卷积核组的尺寸，将所述目标神经网络模型的模型参数进行分组，得到多个模型参数组；其中，所述卷积核组由所述目标神经网络模型的多个卷积核组成；或者，
[0023]根据设定的每个模型参数组包括的参数数量，将所述目标神经网络模型的模型参数进行分组，得到多个模型参数组。
[0024]可选的，所述获取单元，具体用于：
[0025]根据所述非零参数的数值确定所述非零参数的等级，所述等级用于表征存储所述非零参数所需的比特数；
[0026]根据所述等级以及参数值为零的参数个数，得到所述每一参数集合对应的第一压缩参数。
[0027]可选的，所述获取单元，具体用于：
[0028]根据所述非零参数的数值以及所述等级确定所述每一参数集合对应的第二压缩参数。
[0029]可选的，所述获取单元，还用于：
[0030]获得所述最后一个参数集合的第四压缩参数，所述第四压缩参数为所述目标神经网络模型的模型参数的结束标志；
[0031]则根据所述第一压缩参数、第二压缩参数以及第三压缩参数对所述每一参数集合进行编码，得到所述每一参数集合对应的压缩表示，包括：
[0032]根据所述第一压缩参数、所述第二压缩参数、所述第三压缩参数以及所述第四压缩参数对所述每一参数集合进行编码，得到所述每一参数集合对应的压缩表示。
[0033]可选的，所述编码单元，还用于：
[0034]获取各个所述第一压缩参数以及所述第四压缩参数的取值出现的次数在所有取
值出现的总次数中的占比；
[0035]根据各个取值对应占比的大小，将所述取值进行排列得到由所述取值作为节点构成的队列；
[0036]根据所述队列进行二叉树状图的构建，并根据所述二叉树状图中各个所述取值各自对应的末端节点到达根节点的路径，分别得到各个所述取值对应的码字；其中，每一次构建过程包括如下步骤：
[0037]根据所述队列中对应占比最小的两个节点构造树状分支，其中，所述树状分支中的父节点的占比为所述对应占比最小的两个节点的占比和，所述树状分支的子节点为所述对应占比最小的两个节点；
[0038]根据各个取值对应占比的大小，将所述父节点与除所述对应占比最小的两个节点之外的其他节点进行排列得到新的队列；
[0039]在所述新的队列的节点数为1时，得到所述二叉树状图；其中，所述树状图中的末端节点为各个所述取值；或者，
[0040]在所述新的队列的节点数不为1时，进入下一次构建过程。
[0041]可选的，所述获取单元，具体用于：
[0042]获取所述第一压缩参数的取值对应的第一码字，以及所述第四压缩参数的取值对应的第二码字；并，
[0043]对所述第二压缩参数的取值进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型参数的压缩方法，其特征在于，所述方法包括：根据目标神经网络模型的模型参数划分多个参数集合；其中，一个参数集合包括一个非零参数和位于所述非零参数之前且连续的参数值为零的参数；针对每一参数集合，根据所述每一参数集合中非零参数的数值以及参数值为零的参数个数，得到所述每一参数集合对应的第一压缩参数；其中，所述第一压缩参数用于指示所述非零参数的数值范围以及参数值为零的参数个数；以及，根据所述非零参数得到所述每一参数集合对应的第二压缩参数以及第三压缩参数；其中，根据所述第二压缩参数与所述第一压缩参数指示的所述非零参数的数值范围能够得到所述非零参数的数值，所述第三压缩参数用于指示所述非零系数为正数或者负数；根据所述第一压缩参数、所述第二压缩参数以及所述第三压缩参数对所述每一参数集合进行编码，得到所述每一参数集合对应的压缩表示；根据各个参数集合的压缩表示得到所述目标神经网络模型的模型参数的压缩包。2.如权利要求1所述的方法，其特征在于，根据目标神经网络模型的模型参数划分多个参数集合，包括：根据设定的分组条件，将所述目标神经网络模型的模型参数进行分组，得到多个模型参数组；从每一模型参数组中确定至少一个参数集合，以得到所述多个参数集合。3.如权利要求2所述的方法，其特征在于，所述根据设定的分组条件，将所述目标神经网络模型的模型参数进行分组，得到多个模型参数组，包括：根据所述目标神经网络模型的卷积核的尺寸，将所述目标神经网络模型的模型参数进行分组，得到多个模型参数组；或者，根据所述目标神经网络模型的卷积核组的尺寸，将所述目标神经网络模型的模型参数进行分组，得到多个模型参数组；其中，所述卷积核组由所述目标神经网络模型的多个卷积核组成；或者，根据设定的每个模型参数组包括的参数数量，将所述目标神经网络模型的模型参数进行分组，得到多个模型参数组。4.如权利要求1所述的方法，其特征在于，针对每一参数集合，根据所述每一参数集合中非零参数的数值以及参数值为零的参数个数，得到所述每一参数集合对应的第一压缩参数，包括：根据所述非零参数的数值确定所述非零参数的等级，所述等级用于表征存储所述非零参数所需的比特数；根据所述等级以及参数值为零的参数个数，得到所述每一参数集合对应的第一压缩参数。5.如权利要求4所述的方法，其特征在于，根据所述非零参数得到所述每一参数集合对应的第二压缩参数，包括：根据所述非零参数的数值以及所述等级确定所述每一参数集合对应的第二压缩参数。6.如权利要求1所述的方法，其特征在于，针对所述多个参数集合中最后一个参数集合，所述方法还包括：获得所述最后一个参数集合的第四压缩参数，所述第四压缩参数为所述目标神经网络
模型的模型参数的结束标志；则根据所述第一压缩参数、第二压缩参数以及第三压缩参数对所述每一参数集合进行编码，得到所述每一参数集合对应的压缩表示，包括：根据所述第一压缩参数、所述第二压缩参数、所述第三压缩参数以及所述第四压缩参数对所述每一参数集合进行编码，得到所述每一参数集合对应的压缩表示。7.如权利要求6所述的方法，其特征在于，在根据所述第一压缩参数、所述第二压缩参数、所述第三压缩参数以及所述第...

【专利技术属性】
技术研发人员：聂玉庆，
申请(专利权)人：珠海格力电器股份有限公司，
类型：发明
国别省市：