一种神经网络的模型固件生成方法和图像识别方法技术

本发明专利技术涉及图像处理技术领域中的一种神经网络的模型固件生成方法和图像识别方法，包括以下步骤：配置若干组不同的输入分辨率作为神经网络的输入，解析神经网络，得到模型参数；生成量化图片集，对量化图片集执行前向过程，得到每层神经网络的前向量化数据，获取量化参数数据和定点权重数据；计算每组输入分辨率下，每层神经网络占用嵌入式板端的第一运行内存，得到第一内存占用集；配置多组神经网络，计算在每组输入分辨率下，每组神经网络占用嵌入式板端的第二运行内存，得到第二内存占用集；生成模型固件，具有占用内存小、性能高的优点，解决了一个网络模型固件即可处理多个图像采集器的图像的问题。集器的图像的问题。集器的图像的问题。

【技术实现步骤摘要】
一种神经网络的模型固件生成方法和图像识别方法


[0001]本专利技术涉及图像处理
，具体涉及一种神经网络的模型固件生成方法和图像识别方法。

技术介绍

[0002]随着智能交通、智能家居的兴起，深度学习的应用领域中大约有70％都在图像识别方面，结合安防领域的现状，随着大数据与高清摄像机应用的普及，安防大数据时代已经到来，海量高清及以上分辨率视频数据给安防产品技术带来了大数据，这就使得深度学习在安防领域必然会快速发展。
[0003]由于嵌入式端需要更小的外部存储器flash与内部存储器ddr，来节约成本，对于网络模型生成网络固件过程尤其重要，同样模型下，不同算法应用场景下，生成的固件越小，越节省成本，且能够达到同样效果。
[0004]在以往的实现方式中，在算法场景需求检测不同距离的对象，人脸，人形，车辆时候，设备的图像采集器采集图像宽高比都不一样情况下，为了节省性能采用检测远距离使用分辨率小的模型固件，近距离采用分辨率大的模型固件方案，此时不同的固件模型存储在存储器中增加了存储器成本，另一方案为了节省存储器成本，将网络生成一个网络模型固件，使用同一个近距离也就是大分辨率的网络，最远距离图像进行补边操作，这样导致性能不佳，效果也会打折扣。

技术实现思路

[0005]本专利技术针对现有技术中的缺点，提供了一种神经网络的模型固件生成方法和图像识别方法，具有占用内存小、性能高的优点，解决了一个网络模型固件即可处理多个图像采集器的图像的问题。
[0006]为了解决上述技术问题，本专利技术通过下述技术方案得以解决：
[0007]一种神经网络的模型固件生成方法，包括以下步骤：
[0008]配置若干组不同的输入分辨率作为神经网络的输入，并解析所述神经网络，得到模型参数；
[0009]生成量化图片集，对所述量化图片集执行前向过程，得到每层神经网络的前向量化数据，并基于所述前向量化数据获取量化参数数据和定点权重数据；
[0010]计算每组输入分辨率下，每层神经网络占用嵌入式板端的第一运行内存，得到第一内存占用集；
[0011]配置多组不同分辨率的神经网络，并计算在每组输入分辨率下，每组神经网络占用嵌入式板端的第二运行内存，得到第二内存占用集；
[0012]基于所述模型参数、量化参数数据、定点权重数据、第一内存占用集以及第二内存占用集生成模型固件。
[0013]可选的，生成量化图片集，对所述量化图片集执行前向过程，得到每层神经网络的
前向量化数据，包括以下步骤：
[0014]任选一组输入分辨率的神经网络，并对量化图片集执行前向过程，得到每层神经网络的像素输出数据最值、权重输出数据最值和浮点数据；
[0015]其中，所述前向量化数据包括每层神经网络的像素输出数据最值、权重输出数据最值和浮点数据。
[0016]可选的，基于所述前向量化数据获取量化参数数据和定点权重数据，包括以下步骤：
[0017]基于所述像素输出数据最值和权重输出数据最值计算每层神经网络的量化参数，并汇总为量化参数数据；
[0018]基于所述浮点数据，计算每层神经网络的定点权重，并汇总为定点权重数据。
[0019]可选的，计算每组输入分辨率下，每层神经网络占用嵌入式板端的第一运行内存，得到第一内存占用集，包括以下步骤：
[0020]基于每组所述输入分辨率，计算每层神经网络的第一输出分辨率，并基于每层神经网络的第一输出分辨率计算每层神经网络占用的第一运行内存；
[0021]汇集每层神经网络占用的第一运行内存，得到第一内存占用集。
[0022]可选的，配置多组神经网络，并计算在每组输入分辨率下，每组神经网络占用嵌入式板端的第二运行内存，得到第二内存占用集，包括以下步骤：
[0023]基于每组所述输入分辨率，计算每组神经网络的第二输出分辨率，并基于每组神经网络的第二输出分辨率计算每组神经网络占用的第二运行内存；
[0024]汇集每组神经网络占用的第二运行内存，得到第二内存占用集。
[0025]可选的，所述生成模型固件，包括以下步骤：
[0026]生成二进制文件，将所述模型参数、量化参数数据、定点权重数据、第一内存占用集和第二内存占用集写入所述二进制文件，得到模型固件。
[0027]一种神经网络的模型固件生成系统，包括解析单元、前向执行单元、第一计算单元、第二计算单元和固件生成单元；
[0028]所述解析单元用于，配置若干组不同的输入分辨率作为神经网络的输入，并解析所述神经网络，得到模型参数；
[0029]所述前向执行单元用于，生成量化图片集，对所述量化图片集执行前向过程，得到每层神经网络的前向量化数据，并基于所述前向量化数据获取量化参数数据和定点权重数据；
[0030]所述第一计算单元用于，计算每组输入分辨率下，每层神经网络占用嵌入式板端的第一运行内存，得到第一内存占用集；
[0031]所述第二计算单元用于，配置多组不同分辨率的神经网络，并计算在每组输入分辨率下，每组神经网络占用嵌入式板端的第二运行内存，得到第二内存占用集；
[0032]所述固件生成单元用于，基于所述模型参数、量化参数数据、定点权重数据、第一内存占用集以及第二内存占用集生成模型固件。
[0033]一种图像识别方法，执行如上述任意一项所述的神经网络的模型固件生成方法，生成模型固件，还包括以下步骤：
[0034]获取多个视频图像，存储并解析所述模型固件；
[0035]基于所述模型固件对所述视频图像执行前向过程，得到图像识别结果。
[0036]可选的，还包括以下步骤：
[0037]将所述图像识别结果显示在终端设备，其中所述终端设备设置有一组以上。
[0038]可选的，还包括以下步骤：
[0039]对所述视频图像执行前向过程进行加速处理。
[0040]一种图像识别装置，包括一组以上的图像采集器、编译处理器、嵌入式板端、硬件加速器、存储器和一组以上的终端设备，所述存储器和硬件加速器均安装在嵌入式板端内，所述图像采集器的数量与终端设备的数量相同；
[0041]一组以上的所述图像采集器用于采集视频图像；
[0042]所述编译处理器用于生成模型固件，并基于所述模型固件对所述视频图像执行前向过程，得到图像识别结果；
[0043]所述嵌入式板端用于解析所述固件模型；
[0044]所述硬件加速器用于当所述视频图像执行前向过程时进行加速处理；
[0045]所述存储器用于存储所述模型固件；
[0046]一组以上的所述终端设备用于显示图像识别结果。
[0047]采用本专利技术提供的技术方案，与现有技术相比，具有如下有益效果：
[0048]通过配置多分辨率组合，生成单个模型固件共享同一份权重，使得即使在多个图像采集器下，该单个模型固件依然能够使用，而无需生成多个不同的模型固件，减少了成本和存储空间。
附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的模型固件生成方法，其特征在于，包括以下步骤：配置若干组不同的输入分辨率作为神经网络的输入，并解析所述神经网络，得到模型参数；生成量化图片集，对所述量化图片集执行前向过程，得到每层神经网络的前向量化数据，并基于所述前向量化数据获取量化参数数据和定点权重数据；计算每组输入分辨率下，每层神经网络占用嵌入式板端的第一运行内存，得到第一内存占用集；配置多组不同分辨率的神经网络，并计算在每组输入分辨率下，每组神经网络占用嵌入式板端的第二运行内存，得到第二内存占用集；基于所述模型参数、量化参数数据、定点权重数据、第一内存占用集以及第二内存占用集生成模型固件。2.根据权利要求1所述的一种神经网络的模型固件生成方法，其特征在于，生成量化图片集，对所述量化图片集执行前向过程，得到每层神经网络的前向量化数据，包括以下步骤：任选一组输入分辨率的神经网络，并对量化图片集执行前向过程，得到每层神经网络的像素输出数据最值、权重输出数据最值和浮点数据；其中，所述前向量化数据包括每层神经网络的像素输出数据最值、权重输出数据最值和浮点数据。3.根据权利要求2所述的一种神经网络的模型固件生成方法，其特征在于，基于所述前向量化数据获取量化参数数据和定点权重数据，包括以下步骤：基于所述像素输出数据最值和权重输出数据最值计算每层神经网络的量化参数，并汇总为量化参数数据；基于所述浮点数据，计算每层神经网络的定点权重，并汇总为定点权重数据。4.根据权利要求1所述的一种神经网络的模型固件生成方法，其特征在于，计算每组输入分辨率下，每层神经网络占用嵌入式板端的第一运行内存，得到第一内存占用集，包括以下步骤：基于每组所述输入分辨率，计算每层神经网络的第一输出分辨率，并基于每层神经网络的第一输出分辨率计算每层神经网络占用的第一运行内存；汇集每层神经网络占用的第一运行内存，得到第一内存占用集。5.根据权利要求1所述的一种神经网络的模型固件生成方法，其特征在于，配置多组神经网络，并计算在每组输入分辨率下，每组神经网络占用嵌入式板端的第二运行内存，得到第二内存占用集，包括以下步骤：基于每组所述输入分辨率，计算每组神经网络的第二输出分辨率，并基于每组神经网络的第二输出分辨率计算每组神经网络占用的第二运行内存；汇集每组神经网络占用的第二运行内存，得到第二内存占用集。6.根据权利要求1所述的一种...

【专利技术属性】
技术研发人员：王军，朱旭东，吴春选，
申请(专利权)人：杭州雄迈集成电路技术股份有限公司，
类型：发明
国别省市：