模型剪枝方法、装置、设备及存储介质制造方法及图纸

本申请涉及模型托管和人工智能领域，具体公开了一种模型剪枝方法、装置、设备及存储介质，所述方法包括：获取待剪枝模型中每个卷积层中多个滤波器的滤波器参数；根据所述滤波器参数确定每个所述卷积层中各个所述滤波器两两之间的相似度；根据各个所述滤波器两两之间的相似度计算每个所述卷积层中各个所述滤波器的价值分数；根据所述价值分数确定每个所述卷积层中的剪枝滤波器并对所述剪枝滤波器进行剪枝，得到剪枝后的模型。本方案提供的模型剪枝方法能够提高对于不重要的滤波器的识别准确度，从而提高了剪枝后模型的模型性能。此外，本申请还涉及区块链技术，待剪枝模型和剪枝后的模型均可存储于区块链中。

【技术实现步骤摘要】
模型剪枝方法、装置、设备及存储介质
本申请涉及模型压缩领域，尤其涉及一种模型剪枝方法、装置、设备及存储介质。
技术介绍
随着互联网技术和人工智能的发展，基于卷积神经网络的模型在很多任务中都表现出了很好的性能，但这些模型在使用时都需要巨大的计算开销和内存占用，由于这些模型中通常会含有大量的冗余信息，因此，对模型进行压缩以减少使用过程中的计算开销和内存占用成为必不可少的一步。常用的模型压缩方法有模型剪枝、量化和蒸馏。现有的剪枝方法大多是以滤波器范数进行排序，利用剪枝率确定冗余的滤波器数量，从而将冗余的滤波器进行剪枝。但这种方法仅仅值依赖于数值的大小，这可能会导致一些范数小的滤波器被误剪枝掉，影响剪枝后模型的精度。
技术实现思路
本申请提供了一种模型剪枝方法、装置、设备及存储介质，以提高剪枝后模型的精度。第一方面，本申请提供了一种模型剪枝方法，所述方法包括：获取待剪枝模型中每个卷积层中多个滤波器的滤波器参数；根据所述滤波器参数确定每个所述卷积层中各个所述滤波器两两之间的相似度；根据各个所述滤波器两两之间的相似度计算每个所述卷积层中各个所述滤波器的价值分数；根据所述价值分数确定每个所述卷积层中的剪枝滤波器并对所述剪枝滤波器进行剪枝，得到剪枝后的模型。第二方面，本申请还提供了一种模型剪枝装置，所述装置包括：获取待剪枝模型中每个卷积层中多个滤波器的滤波器参数；根据所述滤波器参数确定每个所述卷积层中各个所述滤波器两两之间的相似度；根据各个所述滤波器两两之间的相似度计算每个所述卷积层中各个所述滤波器的价值分数；根据所述价值分数确定每个所述卷积层中的剪枝滤波器并对所述剪枝滤波器进行剪枝，得到剪枝后的模型。第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的模型剪枝方法。第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的模型剪枝方法。本申请公开了一种模型剪枝方法、装置、设备及存储介质，通过获取待剪枝模型中卷积层中多个滤波器的滤波器参数，然后根据滤波器参数确定滤波器两两之间的相似度，并根据滤波器两两之间的相似度计算滤波器的价值分数，最终根据价值分数确定剪枝滤波器，并对剪枝滤波器进行剪枝，得到剪枝后的模型。通过计算滤波器两两之间的相似度，然后来计算滤波器的价值分数，考虑到滤波器之间的相似度，提高找到的不重要的剪枝滤波器的准确度，从而提高剪枝后模型的精度和模型性能。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的模型剪枝方法的步骤示意流程图；图2是本申请实施例提供的计算滤波器两两之间的相似度的步骤示意流程图；图3是本申请实施例提供的对滤波器进行剪枝的步骤示意流程图；图4是本申请的实施例还提供一种模型剪枝装置的示意性框图；图5是本申请实施例提供的一种计算机设备的结构示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。当同一卷积层中的两个滤波器(filter)输出的特征图谱(featuremap)具有相似的特征时，信息就会存在冗余，也即其中一个特征图谱所包括的信息也会同时存在于另一个特征图谱中，这说明有一个特征图谱并没有为模型的最终输出提供大量的贡献，是可以被删除的。由于一个卷积层输出的特征图谱是由本层中的所有滤波器基于前一层输出的特征图谱计算得到的，因此，可以通过确定同一卷积层中相似的滤波器来确定相似的特征图谱，从而进行模型剪枝，减少信息冗余。为此，本申请的实施例提供了一种模型剪枝方法、装置、计算机设备及存储介质。模型剪枝方法通过从滤波器中选择出不重要的滤波器，并对这些不重要的滤波器进行剪枝，达到对待剪枝模型进行剪枝压缩的目的。下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。请参阅图1，图1是本申请实施例提供的一种模型剪枝方法的示意流程图。该模型剪枝方法通过计算滤波器之间的相似度来确定不重要的剪枝滤波器，从而提高确定出的不重要的剪枝滤波器的准确度，以及剪枝后模型的精度和模型性能。如图1所示，该模型剪枝方法，具体包括：步骤S101至步骤S104。S101、获取待剪枝模型中每个卷积层中多个滤波器的滤波器参数。由于待剪枝模型中可能包括多个卷积层，对于其中一个卷积层而言，获取该卷积层中所有滤波器对应的滤波器参数。在具体实施过程中，滤波器的滤波器参数可以根据卷积层的参数来确定。例如，若某一层的卷积参数为N×c×k×k的矩阵，其中，N为滤波器的个数，c为每个滤波器中通道的个数。那么，第一个滤波器的滤波器参数为1×c×k×k的矩阵，第二个滤波器的滤波器参数为2×c×k×k的矩阵。对于具有多个卷积层的待剪枝模型，可以分别获取待剪枝模型中每个卷积层中所有滤波器的滤波器参数。S102、根据所述滤波器参数确定每个所述卷积层中各个所述滤波器两两之间的相似度。对于待剪枝模型中的一个卷积层，在得到该卷积层中所有滤波器对应的滤波器参数后，根据各个滤波器的滤波器参数，来确定该卷积层中各滤波器两两之间的相似度。其中，两个滤波器之间的差异越大，由这两个滤波器计算得到的特征图谱就越能够含有不同的信息，那么可以认为得到的特征图谱的信息冗余度很小，在进行模型剪枝时不能够将这种滤波器去掉。反之，若两个滤波器之间的差异很小，则由这两个滤波器得到的特征图谱就越相似，此时认为得到的特征图谱中包含有较多的冗余信息，在进行模型剪枝时需要去除其中一个。<本文档来自技高网...

【技术保护点】
1.一种模型剪枝方法，其特征在于，包括：/n获取待剪枝模型中每个卷积层中多个滤波器的滤波器参数；/n根据所述滤波器参数确定每个所述卷积层中各个所述滤波器两两之间的相似度；/n根据各个所述滤波器两两之间的相似度计算每个所述卷积层中各个所述滤波器的价值分数；/n根据所述价值分数确定每个所述卷积层中的剪枝滤波器并对所述剪枝滤波器进行剪枝，得到剪枝后的模型。/n

【技术特征摘要】
1.一种模型剪枝方法，其特征在于，包括：
获取待剪枝模型中每个卷积层中多个滤波器的滤波器参数；
根据所述滤波器参数确定每个所述卷积层中各个所述滤波器两两之间的相似度；
根据各个所述滤波器两两之间的相似度计算每个所述卷积层中各个所述滤波器的价值分数；
根据所述价值分数确定每个所述卷积层中的剪枝滤波器并对所述剪枝滤波器进行剪枝，得到剪枝后的模型。


2.根据权利要求1所述的模型剪枝方法，其特征在于，所述根据所述滤波器参数确定各个所述滤波器两两之间的相似度，包括：
根据两个所述滤波器的所述滤波器参数确定两个所述滤波器之间的参数差；
计算所述参数差的范数得到两个所述滤波器之间的相似度。


3.根据权利要求1所述的模型剪枝方法，其特征在于，所述根据各个所述滤波器两两之间的相似度计算每个所述卷积层中各个所述滤波器的价值分数，包括：
根据所述滤波器与所述卷积层中其他多个滤波器两两之间的相似度，计算所述滤波器与所述卷积层中其他多个滤波器之间的相似度的数量和，并将计算得到的相似度的数量和作为所述滤波器的价值分数。


4.根据权利要求1所述的模型剪枝方法，其特征在于，所述根据所述价值分数确定每个所述卷积层中的剪枝滤波器并对所述剪枝滤波器进行剪枝，包括：
根据所述价值分数和预先设置的剪枝率确定所述卷积层中的剪枝滤波器，并对所述剪枝滤波器进行剪枝，得到部分剪枝的模型；
对所述部分剪枝的模型进行重训练，并在重训练完成后再次迭代对其他所述卷积层进行剪枝。


5.根据权利要求1所述的模型剪枝方法，其特征在于，所述根据所述价值分数确定每个所述卷积层中的剪枝滤波器并对所述剪枝滤波器进行剪枝，包括：
根据所述价值分数和预先设置的剪枝率确定每个所述卷积层中的剪枝滤波器，...

【专利技术属性】
技术研发人员：王晓锐，郑强，高鹏，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44