【技术实现步骤摘要】
本专利技术属于fpga(现场可编程门阵列，field-programmable gate array)硬件加速器设计领域，尤其适用于同时具有2d、3d卷积结构的神经网络加速器设计。
技术介绍
1、在航空发动机燃油泵调节器故障诊断领域，卷积神经网络(cnn)发挥着重要作用，它具备强大的特征提取能力，可从调节器复杂的多源异构数据中挖掘深层次特征，减少人工工作量，并对数据噪声有一定鲁棒性，能在含噪数据里准确提取关键故障特征；还可处理多种类型数据，整合不同数据助力全面诊断。
2、2d卷积在航空发动机燃油泵调节器故障诊断中，常用于分析部件表面图像纹理、多传感器构建的二维图像各通道相关性等，以判断故障情况。同时，其计算复杂度相对较低，便于在计算资源有限或对实时性要求较高场景中部署应用。然而，2d卷积无法捕捉数据的时间维度信息，难以掌握故障随时间演变的规律，且在涉及多部件协同及故障时空传播的复杂情况中诊断能力受限。
3、3d卷积的优势在于强大的时空特征提取能力，能处理三维数据结构，一次性获取空间及时间序列上的特征，可精准捕捉调节器在不同时刻各部件间相互影响以及故障的发展演变过程，也利于多源数据融合分析。但3d卷积计算复杂度高，计算量大，因此对硬件资源要求严苛。
4、为提高航空发动机燃油泵调节器故障诊断的准确性、全面性及可靠性，使用2d和3d混合卷积的网络结构成为新的研究方向，其具有以下几点优势：首先，可实现更全面的特征提取，3d卷积提取时空整体特征后，2d卷积再细化局部空间细节，让提取的特征更丰富、准确，更
5、在计算领域，常见cpu(中央处理器，central processing unit)、gpu(图形处理器，graphics processing unit)、asic(专用集成电路，application specificintegrated circuit)、npu(神经网络处理器，neural network processing unit)、tpu(张量处理器，tensor processing unit)、dsp(数字信号处理芯片，digital signalprocessing)以及fpga等计算平台。fpga有高度灵活性和可重配置性、低功耗和高效能的特点。其强大的并行处理能力尤其适合进行图像处理和边缘计算加速器设计。
6、涉及到2d和3d混合卷积的fpga加速器设计，多采用2d、3d分区开发的策略，即在fpga开发板上划分一部分资源专门加速2d卷积层，另一部分资源则专门加速3d卷积层，这种设计方法对开发板硬件资源的规模提出了很高的要求，实现成本较高；此外，以2d卷积一般采用滑窗法对特征图数据进行提取，滑窗在x,y两个维度上运动，在x维度滑窗提取结束后，在y维度上坐标值递增后再重新在x维度上进行滑窗。传统的3d滑窗则采用与2d滑窗相同的思路，在x、y方向滑窗结束后，在z维度上坐标递增后重复x、y方向上的滑窗操作，这种思路下的3d滑窗会导致特征图数据复用率低，特征图数据需要重复读取，造成系统带宽浪费。因此，要设计一种比较成功的混合维度加速算子，需要兼顾并行度、片上资源复用率以及特征图数据复用率。本专利提出一种基于输入维度分离的混合维度加速算子设计，对混合维度神经网络在fpga上的加速推理具有一定现实意义。
技术实现思路
1、针对以上问题，本专利技术提出一种基于输入维度分离的混合维度加速算子设计方案。以神经网络中的最小卷积单元为基本卷积模块，对基本卷积模块进行功能拓展，以实现2d卷积和3d卷积的融合。此外，本专利技术还优化了3d卷积的滑窗思路，对3d特征图数据进行维度分离得到多通道2d特征图数据，对多通道2d特征图数据并行滑窗，得到窗口数据。窗口数据与维度分离后的权重数据进行2d卷积运算后得到若干中间结果，加法树对中间结果筛选、重排得到最终的3d卷积结果。这一设计方法可有效减少卷积模块的资源占用，进而降低此类混合卷积加速器设计对fpga开发板的要求。
2、本专利技术的技术方案：
3、一种基于输入维度分离的混合维度加速算子设计方法，包括ps(处理系统，processing system)端和pl(可编程逻辑，programmable logic)端。ps端利用gp接口和hp接口与pl端进行数据交互；pl端包含卷积模块、权重加载模块、特征图加载模块、权重缓存模块、特征图缓存模块、特征图中间值暂存模块、控制模块、dma模块、pl_ddr(指硬件pl端的ddr，同理ps端的ddr下文称ps_ddr)等主要模块。以下对各模块功能做出解释：
4、1.ps端：ps端利用gp接口传输命令数据，利用hp接口传输特征图数据和权重数据，ps_ddr用于存储特征图数据和权重数据。
5、2.控制模块：负责判断、监视卷积运算进行到哪一阶段，并根据运算进度给各模块发送使能信号和指令参数，配置各模块运算模式。
6、3.pl_ddr：用于存储特征图数据、权重数据以及卷积运算结果。当pl_ddr需要更新权重数据和特征图数据时，控制模块通过gp接口向ps端反馈，请求ps端给出新的权重数据和特征图数据。
7、4.dma模块：负责在ps_ddr和pl_ddr间搬运数据，而不需要ps端全程参与，降低ps端的性能占用。dma模块从控制模块接收到使能信号及指令参数后，从ps_ddr指定地址开始搬运指令参数长度的数据到pl_ddr中，或从pl_ddr的指定地址开始搬运指令参数长度的数据到ps_ddr中。搬运数据完毕后，通过向控制模块发送数据和信号，控制模块再向ps端反馈执行情况，从而完成一次完整的数据搬运任务。
8、5.权重加载模块、权重缓存模块、权重存储模块：权重加载模块负责从pl_ddr指定地址读取权重数据到权重缓存模块中，同时将状态信息反馈给控制模块。权重缓存模块暂存从权重加载模块中传输来的权重数据，并将权重数据按照计算进度和状态，按需依次更新到权重存储模块中。
9、6.特征图加载模块、特征图缓存模块：特征图加载模块负责从pl_ddr指定地址读取特征图数据到特征图缓存模块中，同时将状态信息反馈给指令交互控制模块。特征图缓存模块负责将数据输入到卷积模块。
10、7.填充模块、滑窗模块：填充模块负责对特征图缓存模块输入的特征图数据进行填充操作。经过填充后的特征图数据传入滑窗模块，滑窗模块对多通道特征图数据并行处理并生成多通道窗口数据。
11、8.乘加模块、加法树模块：乘加模块负责利用片上乘法资源完成权重数据和对应窗口数据的相乘相加并将有效数据输出至加法树模块。加法树模块在收到控制模块的使能信号和指令参数后，根据计算模式将乘加模块输出的有效数据按通道维度叠加，得到加法树有效数据。
本文档来自技高网...
【技术保护点】
1.一种基于输入维度分离的混合维度加速算子设计方法，其特征在于，该混合维度加速算子设计方法所对应的系统包括PS端和PL端；
2.根据权利要求1所述的基于输入维度分离的混合维度加速算子设计方法，其特征在于，卷积模块中的乘加模块和加法树模块以k1*k1卷积下的乘加模块、加法树模块为基础单元，并根据k1*k1卷积的计算特点对k2*k2卷积和k1*k1*k1卷积进行功能拓展；其中，k1>1,k1为整数；k2>k1，k2为整数；乘加模块中以k1*k1卷积的乘加模块为基本单元，k2*k2卷积需用到(k2*k2)/(k1*k1)个k1*k1卷积的乘加模块；k1*k1*k1卷积需用到k1个k1*k卷积的乘加模块；在计算k1*k1*k1卷积时，将高度w*宽度h*通道数c的三维数据从通道方向分割为c个w*h大小的二维数据，对c个分割得到的二维数据同时输入到滑窗模块中得到二维窗口数据，将k1*k1*k1大小的三维权重矩阵在c方向分割为k1个k1xk1的二维权重矩阵，二维窗口数据和二维权重矩阵输入乘加模块得到若干二维卷积结果，若干二维卷积结果需经过加法树模块处理得到三维卷积结果；
3.根据权利要求2所述的基于输入维度分离的混合维度加速算子设计方法，其特征在于，
...【技术特征摘要】
1.一种基于输入维度分离的混合维度加速算子设计方法，其特征在于，该混合维度加速算子设计方法所对应的系统包括ps端和pl端；
2.根据权利要求1所述的基于输入维度分离的混合维度加速算子设计方法，其特征在于，卷积模块中的乘加模块和加法树模块以k1*k1卷积下的乘加模块、加法树模块为基础单元，并根据k1*k1卷积的计算特点对k2*k2卷积和k1*k1*k1卷积进行功能拓展；其中，k1>1,k1为整数；k2>k1，k2为整数；乘加模块中以k1*k1卷积的乘加模块为基本单元，k2*k2卷积需用到(k2*k2)/(k1*k1)个k1*k1卷积的乘加模块；k1*k1*k1卷积需用到k1个k1*k卷积的乘加模块；在计算k1*k1*k1卷积时，将高度w*宽度h*通道数c的三维数...
【专利技术属性】
技术研发人员：马艳华，李源潮，杜宪，万方，余国品，孙希明，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。