适用于硬件电路的高精度压缩方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种适用于硬件电路的高精度压缩方法、装置及电子设备，应用于图像处理技术领域，该方法包括：获取目标图像；将所述目标图像输入卷积神经网络模型；输出所述目标图像对应的图像类别；其中，该卷积神经网络模型是基于不同类别的图像训练得到的、经过压缩的神经网络模型，该卷积神经网络模型的每个卷积层中包括至少一组卷积核参数为卷积核共享参数。中包括至少一组卷积核参数为卷积核共享参数。中包括至少一组卷积核参数为卷积核共享参数。

【技术实现步骤摘要】
适用于硬件电路的高精度压缩方法、装置及电子设备


[0001]本专利技术涉及图像处理
，尤其涉及一种适用于硬件电路的高精度压缩方法、装置及电子设备。

技术介绍

[0002]卷积神经网络是图像识别领域的核心算法之一，在学习数据充足时可以有稳定的表现。但是由于卷积神经网络模型通常包含数以百万计甚至千万计的参数和几十层甚至上百层的网络，因此，在实际应用中通常需要非常大的计算代价和存储空间。
[0003]为了减少存储和计算成本，现有技术中，一般是通过参数修剪去除卷积神经网络模型中冗余的项，并根据参数的重要性进行参数共享。然而，这些方式的作用效果是有限的，不能满足压缩需求。

技术实现思路

[0004]本专利技术提供一种适用于硬件电路的高精度压缩方法、装置及电子设备，用以解决现有技术中卷积神经网络模型参数量大，在图像处理过程中存储和计算成本较高的问题。
[0005]本专利技术提供一种适用于硬件电路的高精度压缩方法，包括：获取目标图像；将所述目标图像输入卷积神经网络模型；输出所述目标图像对应的图像类别；其中，所述卷积神经网络模型是基于不同类别的图像训练得到的、经过压缩的神经网络模型，所述卷积神经网络模型的每个卷积层中包括至少一组卷积核参数为卷积核共享参数。
[0006]根据本专利技术提供一种的适用于硬件电路的高精度压缩方法，所述获取目标图像之前，所述方法还包括：获取第一卷积层中所有通道的卷积核参数，所述第一卷积层为所述卷积神经网络模型中的任一卷积层；从所述所有通道的卷积核参数中依次选择两个通道的卷积核参数进行两两对比，得到相似度差异值小于或等于第一阈值的至少一组卷积核参数，每组卷积核参数包括至少两个通道的卷积核参数；对所述至少一组卷积核参数对应的通道的卷积核执行第一操作；所述第一操作包括：将目标卷积核参数确定为目标组卷积核参数对应的通道的卷积核共享参数，所述目标卷积核参数为所述目标组卷积核参数中的一个，所述目标组卷积核参数为所述至少一组卷积核参数中的任意一个。
[0007]根据本专利技术提供一种的适用于硬件电路的高精度压缩方法，所述从所述所有通道的卷积核参数中依次选择两个通道的卷积核参数进行两两对比，得到相似度差异值小于或等于第一阈值的至少一组卷积核参数，包括：对第一通道的卷积核参数和第二通道的卷积核参数进行归一化处理；将处理后的所述第一通道的卷积核参数和所述第二通道的卷积核参数做差，得到目标参数矩阵，并计算所述目标参数矩阵的和；若所述目标参数矩阵的和小于或等于所述第一阈值，则将所述第一通道的卷积核参数和所述第二通道的卷积核参数确定为同一组中的卷积核参数；其中，所述第一通道的卷积核参数和所述第二通道的卷积核参数为从所述所有通道的卷积核参数中选择的任意两个。
[0008]根据本专利技术提供一种的适用于硬件电路的高精度压缩方法，所述方法还包括：计
算所述所有通道的卷积核参数中每个通道的卷积核参数的参数矩阵和；将所述所有通道的卷积核参数中参数矩阵和小于或等于第二阈值的卷积核替换为零卷积核。
[0009]根据本专利技术提供一种的适用于硬件电路的高精度压缩方法，所述目标组卷积核参数包括不同通道内所有位置的卷积核参数。
[0010]根据本专利技术提供一种的适用于硬件电路的高精度压缩方法，所述目标组卷积核参数包括不同通道内同一位置或多个位置的卷积核参数。
[0011]本专利技术还提供一种适用于硬件电路的高精度压缩装置，包括：获取模块和处理模块；所述获取模块，用于获取目标图像；所述处理模块，用于将所述目标图像输入卷积神经网络模型；并输出所述目标图像对应的图像类别；其中，所述卷积神经网络模型是基于不同类别的图像训练得到的、经过压缩的神经网络模型，所述卷积神经网络模型的每个卷积层中包括至少一组卷积核参数为卷积核共享参数。
[0012]根据本专利技术提供一种的适用于硬件电路的高精度压缩装置，所述获取模块，还用于所述获取目标图像之前，获取第一卷积层中所有通道的卷积核参数，所述第一卷积层为所述卷积神经网络模型中的任一卷积层；所述处理模块，用于从所述所有通道的卷积核参数中依次选择两个通道的卷积核参数进行两两对比，得到相似度差异值小于或等于第一阈值的至少一组卷积核参数，每组卷积核参数包括至少两个通道的卷积核参数；并对所述至少一组卷积核参数对应的通道的卷积核执行第一操作；所述第一操作包括：将目标卷积核参数确定为目标组卷积核参数对应的通道的卷积核共享参数，所述目标卷积核参数为所述目标组卷积核参数中的一个，所述目标组卷积核参数为所述至少一组卷积核参数中的任意一个。
[0013]根据本专利技术提供一种的适用于硬件电路的高精度压缩装置，所述处理模块具体用于：对第一通道的卷积核参数和第二通道的卷积核参数进行归一化处理；将处理后的所述第一通道的卷积核参数和所述第二通道的卷积核参数做差，得到目标参数矩阵，并计算所述目标参数矩阵的和；若所述目标参数矩阵的和小于或等于所述第一阈值，则将所述第一通道的卷积核参数和所述第二通道的卷积核参数确定为同一组中的卷积核参数；其中，所述第一通道的卷积核参数和所述第二通道的卷积核参数为从所述所有通道的卷积核参数中选择的任意两个。
[0014]根据本专利技术提供一种的适用于硬件电路的高精度压缩装置，所述处理模块还用于：计算所述所有通道的卷积核参数中每个通道的卷积核参数的参数矩阵和；将所述所有通道的卷积核参数中参数矩阵和小于或等于第二阈值的卷积核替换为零卷积核。
[0015]根据本专利技术提供一种的适用于硬件电路的高精度压缩装置，所述目标组卷积核参数包括不同通道内所有位置的卷积核参数。
[0016]根据本专利技术提供一种的适用于硬件电路的高精度压缩装置，所述目标组卷积核参数包括不同通道内同一位置或多个位置的卷积核参数。
[0017]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述适用于硬件电路的高精度压缩方法的步骤。
[0018]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述适用于硬件电路的高精度压缩方法的步骤。
[0019]本专利技术提供的适用于硬件电路的高精度压缩方法、装置及电子设备，可以获取目标图像；并将所述目标图像输入卷积神经网络模型；以及输出所述目标图像对应的图像类别；其中，所述卷积神经网络模型是基于不同类别的图像训练得到的、经过压缩的神经网络模型，所述卷积神经网络模型的每个卷积层中包括至少一组卷积核参数为卷积核共享参数。通过该方案，由于卷积神经网络模型的每个卷积层中包括至少一组卷积核参数为卷积核共享参数，因此，可以极大的压缩卷积层中的卷积核参数，从而节约在图像处理过程中的存储和计算成本。
附图说明
[0020]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于硬件电路的高精度压缩方法，其特征在于，包括：获取目标图像；将所述目标图像输入卷积神经网络模型；输出所述目标图像对应的图像类别；其中，所述卷积神经网络模型是基于不同类别的图像训练得到的、经过压缩的神经网络模型，所述卷积神经网络模型的每个卷积层中包括至少一组卷积核参数为卷积核共享参数。2.根据权利要求1所述的适用于硬件电路的高精度压缩方法，其特征在于，所述获取目标图像之前，所述方法还包括：获取第一卷积层中所有通道的卷积核参数，所述第一卷积层为所述卷积神经网络模型中的任一卷积层；从所述所有通道的卷积核参数中依次选择两个通道的卷积核参数进行两两对比，得到相似度差异值小于或等于第一阈值的至少一组卷积核参数，每组卷积核参数包括至少两个通道的卷积核参数；对所述至少一组卷积核参数对应的通道的卷积核执行第一操作；所述第一操作包括：将目标卷积核参数确定为目标组卷积核参数对应的通道的卷积核共享参数，所述目标卷积核参数为所述目标组卷积核参数中的一个，所述目标组卷积核参数为所述至少一组卷积核参数中的任意一个。3.根据权利要求2所述的适用于硬件电路的高精度压缩方法，其特征在于，所述从所述所有通道的卷积核参数中依次选择两个通道的卷积核参数进行两两对比，得到相似度差异值小于或等于第一阈值的至少一组卷积核参数，包括：对第一通道的卷积核参数和第二通道的卷积核参数进行归一化处理；将处理后的所述第一通道的卷积核参数和所述第二通道的卷积核参数做差，得到目标参数矩阵，并计算所述目标参数矩阵的和；若所述目标参数矩阵的和小于或等于所述第一阈值，则将所述第一通道的卷积核参数和所述第二通道的卷积核参数确定为同一组中的卷积核参数；其中，所述第一通道的卷积核参数和所述第二通道的卷积核参数为从所述所有通道的卷积核参数中选择的任意两个。4.根据权利要求2或3所述的适用于硬件电路的高精度压缩方法，其特征在于，所述方法还包括：计算所述所有通道的卷积核参数中每个通道的卷积核参数的参数矩阵和；将所述所有通道的卷积核参数中参数矩阵和小于或等于第二阈值的卷积核替换为零卷积核。5.根据权利要求4所述的适用于硬件电路的高精度压缩方法，其特征在于，所述目标组卷积核参数包括不同通道内所有位置的卷...

【专利技术属性】
技术研发人员：王静芝，陈巍，杨扬，尚会滨，江博，耿云川，李冰倩，
申请(专利权)人：千芯半导体科技北京有限公司，
类型：发明
国别省市：