卷积神经网络模型推理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种卷积神经网络模型推理方法、装置、设备及存储介质。该方法包括：将训练后的卷积神经网络模型进行加载，读取训练后的卷积神经网络模型对应的模型参数，并获取训练后的卷积神经网络模型对应的标准化参数；确定训练后的卷积神经网络模型中与输入层直接相连的卷积层，从模型参数中获取与卷积层相对应的卷积层参数；基于预定的标准化公式以及卷积公式，将标准化参数融合到卷积层参数中，得到融合后的卷积层参数；利用融合后的卷积层参数对训练后的卷积神经网络模型进行更新，得到新的卷积神经网络模型，将图像数据直接作为新的卷积神经网络模型的输入，利用新的卷积神经网络模型进行推理。本申请提升了模型的推理速度以及推理效率。以及推理效率。以及推理效率。

【技术实现步骤摘要】
卷积神经网络模型推理方法、装置、设备及存储介质


[0001]本申请涉及卷积神经网络模型
，尤其涉及一种卷积神经网络模型推理方法、装置、设备及存储介质。

技术介绍

[0002]随着深度学习技术的飞速发展，卷积神经网络越来越多的被应用到工业界，目前的深度学习模型由于其计算复杂性高、参数冗余，对硬件平台的内存、带宽等条件要求较高，从而导致在一些场景或设备上的推理部署存在限制。近几年来模型推理的优化方法包括模型压缩、软件库优化、异构计算、硬件加速等技术。
[0003]目前常用的几种用于模型推理的优化方法均无法达到预期效果，例如，在模型压缩技术中，需要特殊的软硬件支持才能完成推理部署与加速，导致部署成本增加，压缩后的模型一般需要重训练，而重训练不当的情况下在一定程度上会导致模型精度损失，并且这些网络模型大部分仍要对输入的原始数据进行标准化处理，因此无法从根本上加快模型推理的速度；因此，现有的模型推理方法不仅具有较高的部署成本，而且无法从根本上提升模型的推理速度，还需要对模型进行重训练，降低了模型的推理效率。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种卷积神经网络模型推理方法、装置、设备及存储介质，以解决现有技术存在的不仅具有较高的部署成本，而且无法从根本上提升模型的推理速度，还需要对模型进行重训练，降低模型的推理效率的问题。
[0005]本申请实施例的第一方面，提供了一种卷积神经网络模型推理方法，包括：将训练后的卷积神经网络模型进行加载，读取训练后的卷积神经网络模型对应的模型参数，并获取训练后的卷积神经网络模型对应的标准化参数；确定训练后的卷积神经网络模型中与输入层直接相连的卷积层，从模型参数中获取与卷积层相对应的卷积层参数；基于预定的标准化公式以及卷积公式，将标准化参数融合到卷积层参数中，得到融合后的卷积层参数；利用融合后的卷积层参数对训练后的卷积神经网络模型进行更新，得到新的卷积神经网络模型，将图像数据直接作为新的卷积神经网络模型的输入，利用新的卷积神经网络模型对图像数据进行推理。
[0006]本申请实施例的第二方面，提供了一种卷积神经网络模型推理装置，包括：读取模块，被配置为将训练后的卷积神经网络模型进行加载，读取训练后的卷积神经网络模型对应的模型参数，并获取训练后的卷积神经网络模型对应的标准化参数；获取模块，被配置为确定训练后的卷积神经网络模型中与输入层直接相连的卷积层，从模型参数中获取与卷积层相对应的卷积层参数；融合模块，被配置为基于预定的标准化公式以及卷积公式，将标准化参数融合到卷积层参数中，得到融合后的卷积层参数；更新模块，被配置为利用融合后的卷积层参数对训练后的卷积神经网络模型进行更新，得到新的卷积神经网络模型，将图像数据直接作为新的卷积神经网络模型的输入，利用新的卷积神经网络模型对图像数据进行
推理。
[0007]本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。
[0008]本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0009]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0010]通过将训练后的卷积神经网络模型进行加载，读取训练后的卷积神经网络模型对应的模型参数，并获取训练后的卷积神经网络模型对应的标准化参数；确定训练后的卷积神经网络模型中与输入层直接相连的卷积层，从模型参数中获取与卷积层相对应的卷积层参数；基于预定的标准化公式以及卷积公式，将标准化参数融合到卷积层参数中，得到融合后的卷积层参数；利用融合后的卷积层参数对训练后的卷积神经网络模型进行更新，得到新的卷积神经网络模型，将图像数据直接作为新的卷积神经网络模型的输入，利用新的卷积神经网络模型对图像数据进行推理。本申请通过将模型训练后中的标准化参数融合到卷积层参数中，使更新后的新的卷积神经网络模型在对图像数据进行推理时，无需对图像数据进行标准化处理，更无需对模型进行重新训练，从而提升了模型的推理速度以及推理效率。
附图说明
[0011]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0012]图1是本申请实施例提供的卷积神经网络模型推理方法的流程示意图；
[0013]图2是本申请实施例提供的卷积神经网络模型推理装置的结构示意图；
[0014]图3是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0015]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0016]如前文
技术介绍
中的内容，随着深度学习技术的飞速发展，卷积神经网络越来越多的被应用到工业界，目前的深度学习模型由于其计算复杂性高、参数冗余，对硬件平台的内存、带宽等条件要求较高，从而导致在一些场景或设备上的推理部署存在限制。近几年来模型推理的优化方法包括模型压缩、软件库优化、异构计算、硬件加速等技术。
[0017]现有技术中针对模型推理的优化方法一部分是通过设备硬件加速，在推理设备上添加支持某些算子的硬件加速的芯片；另一部分是通过剪枝、量化、模型蒸馏、算子融合等方法在模型精度不降低的情况下加快推理速度。
[0018]目前的模型压缩技术中，非结构化裁剪与低bit(计算机存储中的比特数)量化后
的模型，由于其结构变化的不规则，继续应用于传统软硬件无法达到加速的效果，需要特殊的软硬件支持才能完成推理部署与加速，导致部署成本增加，压缩后的模型一般需要重训练，而重训练不当的情况下在一定程度上会导致模型精度损失。并且这些网络模型大部分仍要对输入的原始数据进行标准化处理。同时在网络前进行一次图像标准化操作会增加模型的推理时间并占用较多内存及CPU，尤其对于一些不支持数据标准化硬件加速，计算资源受限的嵌入式设备，模型推理的时间尤为漫长，并且随着输入数据尺寸的增加，计算耗时成倍数增长。
[0019]由此可见，现有的针对模型推理的优化方法中，对软硬件的部署需要较高的成本，而且仍需要对输入的原始数据进行标准化处理，导致无法从根本上提升模型的推理速度，并且还需要对模型进行重训练，因此极大降低了模型的推理效率。
[0020]有鉴于上述现有技术中存在的问题，本申请参考卷积层与BN层(归一化层)融合的方法而设计了一套卷积神经网络模型推理方法，通过将数据预处理过程中产生的参数与卷积层的参数相融合，最后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络模型推理方法，其特征在于，包括：将训练后的卷积神经网络模型进行加载，读取所述训练后的卷积神经网络模型对应的模型参数，并获取所述训练后的卷积神经网络模型对应的标准化参数；确定所述训练后的卷积神经网络模型中与输入层直接相连的卷积层，从所述模型参数中获取与所述卷积层相对应的卷积层参数；基于预定的标准化公式以及卷积公式，将所述标准化参数融合到所述卷积层参数中，得到融合后的卷积层参数；利用融合后的卷积层参数对所述训练后的卷积神经网络模型进行更新，得到新的卷积神经网络模型，将图像数据直接作为所述新的卷积神经网络模型的输入，利用所述新的卷积神经网络模型对所述图像数据进行推理。2.根据权利要求1所述的方法，其特征在于，所述将训练后的卷积神经网络模型进行加载，读取所述训练后的卷积神经网络模型对应的模型参数，包括：利用预先配置的程序加载所述训练后的卷积神经网络模型，并读取所述训练后的卷积神经网络模型对应的模型参数；其中，所述训练后的卷积神经网络模型是利用训练数据对预先建立的卷积神经网络模型进行训练后得到的模型。3.根据权利要求2所述的方法，其特征在于，所述获取所述训练后的卷积神经网络模型对应的标准化参数，包括：在利用训练数据对预先建立的卷积神经网络模型进行训练时，对所述训练数据进行标准化处理得到与所述训练后的卷积神经网络模型相对应的标准化参数；其中，所述训练数据包括用于模型训练的样本图像数据，所述标准化参数包括均值和标准差。4.根据权利要求1所述的方法，其特征在于，所述确定所述训练后的卷积神经网络模型中与输入层直接相连的卷积层，从所述模型参数中获取与所述卷积层相对应的卷积层参数，包括：基于所述训练后的卷积神经网络模型的内部结构，确定与所述训练后的卷积神经网络模型内的输入层直接相连的一个或多个卷积层，并从所述模型参数中读取与每个所述卷积层分别对应的卷积层参数；其中，所述卷积层参数包括权重参数和偏置参数，每个所述卷积层对应一组由所述权重参数和偏置参数所组成的卷积层参数。5.根据权利要求1所述的方法，其特征在于，将所述标准化公式和卷积公式分别表示为：标准化公式：卷积公式：Y＝W*X+B其中，A表示对训练数据进...

【专利技术属性】
技术研发人员：兰婷婷，曾祥永，支涛，
申请(专利权)人：河南云迹智能技术有限公司，
类型：发明
国别省市：