一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法技术

本发明专利技术提供了一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，与其他的卷积神经网络剪枝和量化压缩方法相比，本方法融合了模型剪枝和量化过程，实现了卷积神经网络模型的同步剪枝和量化，在提高模型参数压缩比例的同时，减少了模型压缩后的精度损失；对剪枝和量化后的模型进行再训练，可以得到更为精确的参数数值，提高网络精度；设定编码时需要遵守的规则度约束条件，即在实际的遥感平台处理器中对卷积神经网络模型进行实现时，对同一层中的不同滤波器处于相同位置的卷积核同时剪枝可以提高计算单元的通用程度，并提高计算的并行度；本发明专利技术压缩后的模型可以在机载、星载等资源有限的平台处理器上进行移植和应用。等资源有限的平台处理器上进行移植和应用。

【技术实现步骤摘要】
一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法


[0001]本专利技术涉及人工智能
，尤其涉及一种面向遥感应用的卷积神经网络压缩方法。

技术介绍

[0002]随着各种卷积神经网络模型在遥感数据处理领域的广泛应用，将卷积神经网络模型移植到机载、星载、车载等移动平台上的需求也越来越强烈。在这些资源约束严格的平台上应用时，由于可选的专用器件资源有限，且需通过多模冗余等方式保障可靠性等原因，能够用于实现卷积神经网络模型的资源十分有限。高性能的卷积神经网络往往具有海量的参数数量和浮点计算次数，难以在这些资源有限的平台上进行应用，需要进行剪枝、量化等一系列的参数压缩工作。然而当前的卷积神经网络剪枝和量化压缩方法还存在压缩后模型精度损失大的问题。剪枝和量化过程均会影响模型精度，两步压缩后精度损失会叠加。先剪枝再量化会导致模型精度损失大。

技术实现思路

[0003]有鉴于此，本专利技术的目的是提供一种面向遥感应用的卷积神经网络压缩方法，提高了模型参数压缩比例的同时，保证了压缩后模型的精度。
[0004]一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，包括如下步骤：
[0005]S1、采用包含遥感图像的数据对卷积神经网络进行参数训练，得到模型M2；
[0006]S2、对所述模型M2进行剪枝和量化参数的编码，具体如下：
[0007]对卷积神经网络中的各层的参数，定义其编码为：
[0008]O
k
＝(p1,p2,...,p
n
,q1,q2,...,q
n
)
[0009]其中，n表示网络中各层的参数数量；p1,p2,...,p
n
表示对各参数是否剪枝，取值为0或1， 0表示是对该参数进行剪枝，1表示保留该参数，不进行剪枝；q1,q2,...,q
n
表示对各参数的量化位数；
[0010]S3、按照步骤S2的编码，生成设定数量的初始的种群，每个种群中包含若干个体；
[0011]S4、根据步骤S3的种群中每个个体的编码对模型M2中的参数剪枝和量化进行设置，由此得到与个体数量对应的模型，采用遥感图像数据对模型的参数数值进行训练，得到参数训练后的模型；
[0012]S5、对参数训练后得到的模型进行精度评估，将每个种群中精度最差的部分个体进行剔除，并对剩余个体的编码进行随机改变，对个体间的编码进行交叉和/或迁移，生成新的个体和种群；
[0013]S6、重复执行步骤S5，直到满足设定条件，停止对模型参数的训练；
[0014]其中，在训练的过程中，当前训练使用的模型参数数值为上一次训练的参数数值；
[0015]S7、对S6得到的模型进行精度评估，保留精度最高的部分个体，则完成卷积神经网络的剪枝和量化。
[0016]进一步的，对S7精度最高的部分个体进行重新训练，具体为：
[0017]首先，按照S7剪枝结果构建浮点参数的卷积神经网络模型，采用训练数据对该网络模型参数进行训练；
[0018]然后，在该剪枝后模型参数的基础上，依次对模型的每一层的量化参数进行训练，具体为：根据S7对参数量化结果，对网络模型的第一层的参数进行量化，网络模型其他各层为浮点参数，在剪枝后模型参数的基础上，对整个卷积神经网络进行训练，完成后，固定第一层的量化后参数，根据S7的结果对第二层的参数进行量化，第三层及以后各层保持为浮点参数，再对网络进行训练，依次类推，直到网络最后一层，完成模型参数的最终训练。
[0019]进一步的，所述S2中，编码时符合规则度约束条件，具体为：当约束仅对卷积神经网络的滤波器级别剪枝时，同一滤波器中的参数需要相同的剪枝编码；当约束仅对卷积核级别剪枝时，同一卷积核中的所有参数需要相同的剪枝编码。
[0020]较佳的，S3中，生成初始种群及个体的方法为：
[0021]在满足参数压缩率的条件下，随机对网络每一层的编码O
k
＝(p1,p2,...,p
n
,q1,q2,...,q
n
)中元素的值进行赋值；
[0022]或者，采用已有的剪枝和量化算法得到剪枝或量化后的模型结构，依照其结构对初始种群中个体的编码进行赋值，得到个体。
[0023]较佳的，S6中所述设定条件为：当任何一个个体的精度、参数量和计算量均到达规定阈值或到达预定的训练次数后停止训练。
[0024]较佳的，在对模型参数进行训练时，每个模型的训练周期数相同，在满足可以对模型性能进行区分的条件下，训练采取最少的次数。
[0025]较佳的，S5中对模型精度进行评估时，当各模型精度一致时，剔除模型参数量大的个体。
[0026]较佳的，S5中对模型精度评估时，依据不同的任务类型选择评估方法。
[0027]较佳的，S5中，对同一种群中的不同个体进行编码交叉，将每个种群中的最优个体迁移到其他种群，更新个体和种群。
[0028]较佳的，S1中，当遥感图像数据不足时，先使用自然场景图像数据对网络进行参数训练，得到预训练模型M1；再使用遥感图像数据对预训练模型M1进行参数训练，得到模型M2。
[0029]本专利技术具有如下有益效果：
[0030]本专利技术提供的一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，与其他的卷积神经网络剪枝和量化压缩方法相比，本方法融合了模型剪枝和量化过程，实现了卷积神经网络模型的同步剪枝和量化，在提高模型参数压缩比例的同时，减少了模型压缩后的精度损失；
[0031]对剪枝和量化后的模型进行再训练，可以得到更为精确的参数数值，提高网络精度；
[0032]设定编码时需要遵守的规则度约束条件，即在实际的遥感平台处理器中对卷积神经网络模型进行实现时，对同一层中的不同滤波器处于相同位置的卷积核同时剪枝可以提高计算单元的通用程度，并提高计算的并行度；
[0033]本专利技术压缩后的模型可以在机载、星载等资源有限的平台处理器上进行移植和应
用。
具体实施方式
[0034]下面结合实施例，对本专利技术进行详细描述。
[0035]为了解决传统的卷积神经网络剪枝和量化压缩方法存在精度易损失等问题，本专利技术在总结之前卷积神经网络压缩算法的基础上，通过同步进行模型的剪枝和量化，在提高了模型参数压缩比例的同时，保证了压缩后模型的精度。
[0036]本专利技术提供一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，主要包括如下步骤：
[0037]S1、搭建深度卷积神经网络模型，使用自然场景图像数据对网络进行参数训练，得到预训练模型M1；
[0038]S2、使用遥感图像数据对预训练模型M1进行参数训练，得到模型M2；
[0039]对于遥感图像数据量较少的场景应用大量自然图像数据对模型进行预训练可以提高模型的特征提取能力，当遥感图像数据量不小于自然场景图像数据量时，可不进行步骤S1的模型预训练。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，其特征在于，包括如下步骤：S1、采用包含遥感图像的数据对卷积神经网络进行参数训练，得到模型M2；S2、对所述模型M2进行剪枝和量化参数的编码，具体如下：对卷积神经网络中的各层的参数，定义其编码为：O
k
＝(p1,p2,...,p
n
,q1,q2,...,q
n
)其中，n表示网络中各层的参数数量；p1,p2,...,p
n
表示对各参数是否剪枝，取值为0或1，0表示是对该参数进行剪枝，1表示保留该参数，不进行剪枝；q1,q2,...,q
n
表示对各参数的量化位数；S3、按照步骤S2的编码，生成设定数量的初始的种群，每个种群中包含若干个体；S4、根据步骤S3的种群中每个个体的编码对模型M2中的参数剪枝和量化进行设置，由此得到与个体数量对应的模型，采用遥感图像数据对模型的参数数值进行训练，得到参数训练后的模型；S5、对参数训练后得到的模型进行精度评估，将每个种群中精度最差的部分个体进行剔除，并对剩余个体的编码进行随机改变，对个体间的编码进行交叉和/或迁移，生成新的个体和种群；S6、重复执行步骤S5，直到满足设定条件，停止对模型参数的训练；其中，在训练的过程中，当前训练使用的模型参数数值为上一次训练的参数数值；S7、对S6得到的模型进行精度评估，保留精度最高的部分个体，则完成卷积神经网络的剪枝和量化。2.如权利要求1所述的一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，其特征在于，对S7精度最高的部分个体进行重新训练，具体为：首先，按照S7剪枝结果构建浮点参数的卷积神经网络模型，采用训练数据对该网络模型参数进行训练；然后，在该剪枝后模型参数的基础上，依次对模型的每一层的量化参数进行训练，具体为：根据S7对参数量化结果，对网络模型的第一层的参数进行量化，网络模型其他各层为浮点参数，在剪枝后模型参数的基础上，对整个卷积神经网络进行训练，完成后，固定第一层的量化后参数，根据S7的结果对第二层的参数进行量化，第三层及以后各层保持为浮点参数，再对网络进行训练，依次类推，直到网络最后一层，完成模型参数的最终训练...

【专利技术属性】
技术研发人员：陈禾，齐保贵，陈亮，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：