【技术实现步骤摘要】
本专利技术属于工业自动化领域，具体的说是一种面向zynq嵌入式平台的图像分类器加速装置及方法，应用于智能产线上的图像分类，便于对分类对象进一步的操作。
技术介绍
1、基于深度学习的图像分类技术是工业界重点关注的技术之一。随着深度学习技术的不断发展，卷积神经网络被广泛应用于图像分类。为了提高分类的准确率，网络模型的层数也在不断增加。虽然更深的网络结构能提高分类的准确率，但是这些规模较大的模型正变得难以处理。而且，随着网络规模的增大，模型的推理速度越来越慢，而且其参数量也越来越大。这意味着若要将神经网络模型部署到嵌入式平台，对硬件资源的需求也越来越高。由于工业场景下对图像分类的速度和功耗要求较高，且嵌入式设备计算资源和存储资源都十分有限，因此如何在减少硬件资源使用的情况下提高图像分类的速度并降低功耗，是非常重要的问题。
2、从算法层面上，模型加速压缩技术可大致有矩阵低秩分解、剪枝、量化、知识蒸馏和轻量化模型设计等五种方法。其中，矩阵低秩分解将神经网络各层参数看作一个矩阵，然后通过矩阵分解与低秩近似将大矩阵分为多个小矩阵，从网络层面即将一层分解为多个计算量总和更小的层，以达到加速的效果，但该方法使数据的读取也从一次变成了多次，影响了模型的速度；模型剪枝是将模型权重矩阵中“不重要”的元素置零，得到一个稀疏矩阵，再通过稀疏化存储的方式进行存储，降低模型存储量，以达到压缩效果，但其本质是对稀疏矩阵的存储，对硬件的依赖程度较高；量化一般指的是低比特量化，是在推理过程中将32位浮点类型的参数或激活值转化为8位定点数甚至将网络训练为二
3、从硬件层面上，主流的硬件加速器有3类：图形处理器(graphics processingunits，gpu),专用集成电路(application-specific integrated circuits，asic)和现场可编程门阵列(field-programmable gate arrays，fpga)。其中，gpu拥有较多的计算核心和相对高速且内存带宽相对较大的全局内存，适合深度神经网络模型的训练阶段。但在推理阶段，gpu由于数据量的限制并不能充分发挥其高带宽、多计算核心的优势，且在嵌入式平台环境下，要求硬件加速器有低功耗、高性能、低延时等特性，因此gpu并不能完全满足这些需求；asic是针对某个或某类算法进行硬件定制，故利用asic进行深度学习网络模型加速通常能取得较高的性能，且功耗较低，但是这种加速方式的硬件设计与开发周期较长，成本较高，且硬件生成后通常无法改变，灵活性不高。
4、目前的智能制造产线中工业流水线上工件的分类，是通过上述算法或硬件单一的层面实现的模型加速，无法同时充分发挥两个层面的优点，导致工件的分类速度慢。因此如何从这两个方面同时对模型进行加速，即在减少硬件资源使用的情况下提高图像分类的速度并降低功耗，以应用于工业场景下资源受限的嵌入式平台对工件进行分类，是非常重要的问题。
技术实现思路
1、根据上述提出的技术问题，提出一种基于zynq平台的图像分类加速方法及装置，同时从算法和硬件两个层面对神经网络模型进行加速，用于解决现有的图像分类模型参数量大，难以部署到资源受限的嵌入式平台的问题，同时解决了卷积神经网络卷积计算速度慢、模块间数据缓存时间长的问题。
2、本专利技术采用的技术手段如下：一种基于zynq平台的图像分类加速装置，包括：
3、实时图像采集模块，用于对单目摄像头的控制以及对采集到的图像进行预处理，得到灰度图像；
4、图像分类模块，用于对灰度图像进行特征提取、降维和分类，以得到图像所属类别；
5、显示控制模块，用于将图像所属类别以图像标签和字符标签的形式输出到显示器上。
6、所述实时图像采集模块、图像分类模块和显示控制模块均通过fpga实现在zynq平台上。
7、所述实时图像采集模块包含图像采集控制模块和图像数据预处理模块，图像采集控制模块控制单目摄像头进行实时图像采集；图像数据预处理模块用于对采集到的彩色图像进行灰度化处理。
8、所述图像分类模块，包括：
9、输入特征图数据缓存模块，用于接收并缓存灰度图像；
10、参数预存模块，用于预存权重和偏置参数；
11、卷积计算模块，用于接收灰度图像，并根据权重和偏置参数提取输入特征图的图像特征；
12、最大池化模块，用于对图像特征进行降维；
13、全局平均池化模块，用于对由卷积计算模块、最大池化模块、全局平均池化模块以及全连接模块构成的图像分类模型sortnet在结构上做正则化，以防止过拟合；
14、全连接模块，用于将全局平均池化模块得到的特征空间映射到样本标记空间。
15、由卷积计算模块、最大池化模块、全局平均池化模块以及全连接模块构成图像分类模型sortnet，通过预先标注好的数据集进行训练，获取卷积层和全连接层所需的权重和偏置参数，并将其转换为适合在zynq平台部署的coe格式的文件。
16、一种基于zynq平台的图像分类加速方法，包括以下步骤：
17、s1、实时图像采集模块通过控制单目摄像头进行实时图像采集，并将属于采集框部分的第一尺寸的像素数据进行灰度化预处理，并输出至图像分类模块，非采集框中的像素数据原样输出至图像显示控制模块；
18、s2、图像分类控制模块将接收到的灰度图像数据存储至输入特征图数据缓存模块，卷积计算模块调用输入特征图数据缓存模块中的图像数据和参数预存模块中预存的权重和偏置参数进行卷积计算以提取图像特征，然后将卷积计算结果输出至最大池化模块；
19、s3最大池化模块将卷积计算模块得到的图像特征进行最大池化操作以实现降维；
20、s4重复s2～s3步骤若干次，得到尺寸大小为第二尺寸的输出特征图；
21、s5全局平均池化模块将最大池化模块输出的每个通道的二维第二尺寸的输出特征图进行平均计算，并将每个通道运算得到的均值存储至ddr3存储器；
22、s6全连接模块从ddr3存储器中调用s5中得到的均值并与本层权重和偏置参数进行运算，得到每个通道的输出值并比较所有通道的输出值得到最大值，即分类结果，并将分类结果传输至显示控制模块；
23、s7显示控制模块根据分类结果所代表的类别，控制显示器显示输出对应的图像标签和字符标签。
24、所述实时图像采集模块，执行以下步骤：
25、将采集的图像数据进行三通道分离；<本文档来自技高网...
【技术保护点】
1.一种基于ZYNQ平台的图像分类加速装置，其特征在于，包括：
2.根据权利要求1所述的一种基于ZYNQ平台的图像分类加速装置，其特征在于，所述实时图像采集模块、图像分类模块和显示控制模块均通过FPGA实现在ZYNQ平台上。
3.根据权利要求1所述的一种基于ZYNQ平台的图像分类加速装置，其特征在于，所述实时图像采集模块包含图像采集控制模块和图像数据预处理模块，图像采集控制模块控制单目摄像头进行实时图像采集；图像数据预处理模块用于对采集到的彩色图像进行灰度化处理。
4.根据权利要求1所述的一种基于ZYNQ平台的图像分类加速装置，其特征在于，所述图像分类模块，包括：
5.根据权利要求4所述的一种基于ZYNQ平台的图像分类加速方法，其特征在于，由卷积计算模块、最大池化模块、全局平均池化模块以及全连接模块构成图像分类模型SortNet，通过预先标注好的数据集进行训练，获取卷积层和全连接层所需的权重和偏置参数，并将其转换为适合在ZYNQ平台部署的coe格式的文件。
6.一种基于ZYNQ平台的图像分类加速方法，其特征在于，包括以下
7.根据权利要求6所述的一种基于ZYNQ平台的图像分类加速方法，其特征在于，所述实时图像采集模块，执行以下步骤：
8.据权利要求6所述的一种基于ZYNQ平台的图像分类加速装置，其特征在于，所述输入特征图数据缓存模块，执行以下步骤：
...【技术特征摘要】
1.一种基于zynq平台的图像分类加速装置，其特征在于，包括：
2.根据权利要求1所述的一种基于zynq平台的图像分类加速装置，其特征在于，所述实时图像采集模块、图像分类模块和显示控制模块均通过fpga实现在zynq平台上。
3.根据权利要求1所述的一种基于zynq平台的图像分类加速装置，其特征在于，所述实时图像采集模块包含图像采集控制模块和图像数据预处理模块，图像采集控制模块控制单目摄像头进行实时图像采集；图像数据预处理模块用于对采集到的彩色图像进行灰度化处理。
4.根据权利要求1所述的一种基于zynq平台的图像分类加速装置，其特征在于，所述图像分类模块，包括：
5.根据...
【专利技术属性】
技术研发人员：尹震宇，周扬维，杨东升，郭锐锋，张飞青，邢健，李炯，尹聪，
申请(专利权)人：中国科学院沈阳计算技术研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。