【技术实现步骤摘要】
本专利技术涉及神经网络和硬件加速，尤其涉及一种铝表面微缺陷检测的zynq神经网络加速系统。
技术介绍
1、铝材的生产过程容易受到外部环境和操作因素的影响，从而导致引发各种表面缺陷。若这些缺陷未能及时有效的检测和修复，不仅会影响铝材产品的质量、降低其性能，还会增加生产成本，甚至可能导致安全隐患。传统的红外检测、超声波检测和涡流探伤检测等无损检测速度慢、成本高以及设备操作复杂。
2、近年来，深度学习技术广泛应用于铝材缺陷检测。通过利用卷积神经网络(cnn)强大的特征提取和融合能力从铝材缺陷数据中学习并提取特征。然而，这些高性能的模型往往体积庞大，对计算资源的要求极高，难以满足移动端实时检测的需求。因此，针对边缘计算平台加速cnn的需求，需要研究轻量化的检测方法及硬件加速方法。
3、现有模型轻量化的方法可以概括为两类：第一类是通过模型剪枝、量化和知识蒸馏等方式在已有的网络模型上进行轻量化，直接应用于已训练好的模型，这类方法可以实现快速轻量化，但在这个过程会引入精度损失，且难以根据应用场景调整网络，实现硬件资源的最优性能；第二类则是采用设计轻量化结构的策略来实现网络轻量化，常见是在yolo系列、ghostnet、mobilevitv2等典型网络的基础上做轻量化设计，相较于第一类方法，改进已有网络使其轻量化的方法能够从根本上减少计算量和参数量的冗余，但是这类方法往往依赖于已有的网络架构，精度和速度的提升空间有限。
4、fpga作为常用的卷积神经网络的硬件加速平台，主要有两种加速器设计方法：第一种是使用单
5、因此，亟需针对在有限资源zynq平台下的铝表面微缺陷的精度和速度提升需求，研究一种轻量化的铝表面微缺陷检测加速方法。
技术实现思路
1、(一)要解决的技术问题
2、基于上述问题，本专利技术提供一种铝表面微缺陷检测的zynq神经网络加速系统，解决在有限资源zynq平台下的铝表面微缺陷检测的精度和速度有待提高的问题。
3、(二)技术方案
4、基于上述的技术问题，本专利技术提供一种铝表面微缺陷检测的zynq神经网络加速系统，在zynq平台部署用于铝表面微缺陷检测的ladfastdet网络：将所述ladfastdet网络结构中的所有卷积模块设计成卷积ip核，上采样模块和最大池化模块设计成采样ip核；所述zynq平台采用pl端和ps端的异构计算架构，所述pl端包括加速器模块，所述加速器模块包括所述卷积ip核和采样ip核，所述卷积ip核设有多读写并行通道和接口，所述采样ip核设有多读写接口；所述ps端负责ladfastdet网络结构的配置、加速器模块的调用及整体控制流程的管理，所述pl端根据ps端的配置，调用并执行卷积ip核和采样ip核的功能，所述ps端和pl端的数据通信通过axi总线实现；
5、所述ladfastdet网络结构包括输入层、特征提取层、预测层和输出层；所述输入层设置高*宽*通道为3*416*416的rgb图像；所述特征提取层包括两个步长为2的3*3的卷积、三个轻量化倒置残差结构块和多尺度全局特征融合结构，分别用于特征提取与降维、深度增强特征提取和多层级特征融合，所述轻量化倒置残差结构块包括第一个3*3的深度卷积、第一个1*1的逐点卷积、第二个3*3的深度卷积后，与所述第一个1*1的逐点卷积的输出concat合并连接后，经第二个1*1的逐点卷积后，与所述第一个3*3的深度卷积的输出concat合并连接后进行maxpool最大池化；所述多尺度全局特征融合结构包括分别进行5*5的深度卷积、第三个3*3的深度卷积、第三个1*1的逐点卷积，将第三个3*3的深度卷积的输出与5*5的深度卷积的输出concat合并连接后，经第四个1*1的逐点卷积后，与所述第三个1*1的逐点卷积的输出concat合并连接后输出；所述预测层包括两个不同尺度的检测头，一个检测头依次包括3*3的深度可分离卷积和3*3的卷积，另一个检测头依次包括上采样、3*3的深度可分离卷积和3*3的卷积；所述输出层包括高*宽*通道分别为27*13*13和27*26*26的两个输出特征图。
6、进一步的，所述卷积ip核读取输入特征图、权重和偏置参数三种数据，写入输出特征图数据；所述采样ip核读取输入特征图数据，写入输出特征图数据。
7、进一步的，所述卷积ip核采用数据流的循环展开、流水线化、数据分块和乒乓缓冲的优化策略。
8、进一步的，所述采样ip核采用数据流的循环展开、流水线化、数据分块和乒乓缓冲的优化策略。
9、进一步的，还包括：输入铝材缺陷数据集训练所述ladfastdet网络，训练后的所述ladfastdet网络输出缺陷类别的检测结果。
10、进一步的，所述缺陷类别包括针孔、划痕、脏污、褶皱。
11、进一步的，对输入的所述铝材缺陷数据集，还进行数据增强处理，所述数据增强处理包括复制粘贴和高斯滤波。
12、进一步的，对输入的所述铝材缺陷数据集，还进行数据扩增处理，所述数据增强处理包括随机翻转、改变亮度、旋转、裁剪、平移和镜像。
13、(三)有益效果
14、本专利技术的上述技术方案具有如下优点：
15、(1)本专利技术通过轻量化倒置残差结构和多尺度特征融合模块，构建高效、准确的ladfastdet网络结构；同时，通过采用计算架构的深度优化，设计输入输出读写阶段的多接口多通道等访存方式实现ladfastdet高性能加速器模块，从而在zynq平台上实现快速、准确、高效的铝表面微缺陷检测；
16、(2)本专利技术构建了一种轻量化的铝表面微缺陷检测模型ladfastdet，其中轻量化倒置残差结构块通过倒置残差连接和反向瓶颈，保持模型深度的同时，避免梯度消失，增强特征的跨层融合，深入提取图像细节和特征，使得模型在保持高精度的同时，降低模型参数和计算量；多尺度特征融合结构，通过不同卷积核大小的模块来获得不同的感受野特征图，获取不同尺度的特征信息，增强网络对不同尺度缺陷的提取能力，特别是对划痕和针孔两类高精度的小目标的缺陷检测能力提升显著；从而在有本文档来自技高网...
【技术保护点】
1.一种铝表面微缺陷检测的ZYNQ神经网络加速系统，其特征在于，在ZYNQ平台部署用于铝表面微缺陷检测的LADFastDet网络：将所述LADFastDet网络结构中的所有卷积模块设计成卷积IP核，上采样模块和最大池化模块设计成采样IP核；所述ZYNQ平台采用PL端和PS端的异构计算架构，所述PL端包括加速器模块，所述加速器模块包括所述卷积IP核和采样IP核，所述卷积IP核设有多读写并行通道和接口，所述采样IP核设有多读写接口；所述PS端负责LADFastDet网络结构的配置、加速器模块的调用及整体控制流程的管理，所述PL端根据PS端的配置，调用并执行卷积IP核和采样IP核的功能，所述PS端和PL端的数据通信通过AXI总线实现；
2.根据权利要求1所述的铝表面微缺陷检测的ZYNQ神经网络加速系统，其特征在于，所述卷积IP核读取输入特征图、权重和偏置参数三种数据，写入输出特征图数据；所述采样IP核读取输入特征图数据，写入输出特征图数据。
3.根据权利要求1所述的铝表面微缺陷检测的ZYNQ神经网络加速系统，其特征在于，所述卷积IP核采用数据流的循环展开、流水线
4.根据权利要求1所述的铝表面微缺陷检测的ZYNQ神经网络加速系统，其特征在于，所述采样IP核采用数据流的循环展开、流水线化、数据分块和乒乓缓冲的优化策略。
5.根据权利要求1所述的铝表面微缺陷检测的ZYNQ神经网络加速系统，其特征在于，还包括：输入铝材缺陷数据集训练所述LADFastDet网络，训练后的所述LADFastDet网络输出缺陷类别的检测结果。
6.根据权利要求5所述的铝表面微缺陷检测的ZYNQ神经网络加速系统，其特征在于，所述缺陷类别包括针孔、划痕、脏污、褶皱。
7.根据权利要求5所述的铝表面微缺陷检测的ZYNQ神经网络加速系统，其特征在于，对输入的所述铝材缺陷数据集，还进行数据增强处理，所述数据增强处理包括复制粘贴和高斯滤波。
8.根据权利要求5所述的铝表面微缺陷检测的ZYNQ神经网络加速系统，其特征在于，对输入的所述铝材缺陷数据集，还进行数据扩增处理，所述数据增强处理包括随机翻转、改变亮度、旋转、裁剪、平移和镜像。
...【技术特征摘要】
1.一种铝表面微缺陷检测的zynq神经网络加速系统，其特征在于，在zynq平台部署用于铝表面微缺陷检测的ladfastdet网络：将所述ladfastdet网络结构中的所有卷积模块设计成卷积ip核，上采样模块和最大池化模块设计成采样ip核；所述zynq平台采用pl端和ps端的异构计算架构，所述pl端包括加速器模块，所述加速器模块包括所述卷积ip核和采样ip核，所述卷积ip核设有多读写并行通道和接口，所述采样ip核设有多读写接口；所述ps端负责ladfastdet网络结构的配置、加速器模块的调用及整体控制流程的管理，所述pl端根据ps端的配置，调用并执行卷积ip核和采样ip核的功能，所述ps端和pl端的数据通信通过axi总线实现；
2.根据权利要求1所述的铝表面微缺陷检测的zynq神经网络加速系统，其特征在于，所述卷积ip核读取输入特征图、权重和偏置参数三种数据，写入输出特征图数据；所述采样ip核读取输入特征图数据，写入输出特征图数据。
3.根据权利要求1所述的铝表面微缺陷检测的zynq神经网络加速系统，其特征在于，所述卷积ip核采...
【专利技术属性】
技术研发人员：唐立军，赵东雪，刘深波，张志刚，张曌，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。