一种基于脉动阵列的神经网络加速器卷积计算装置与方法制造方法及图纸

本发明专利技术公开了一种基于脉动阵列的神经网络加速器卷积计算装置与方法，该装置的结构由64

【技术实现步骤摘要】
一种基于脉动阵列的神经网络加速器卷积计算装置与方法


[0001]本专利技术涉及计算机
，尤其是涉及一种基于脉动阵列的神经网络加速器卷积计算方法。

技术介绍

[0002]随着人工智能的迅速发展，神经网络逐渐变得更深更宽，包含大量的网络层，每一个网络层都存在权重数据和特征图数据之间的卷积操作。再进行卷积操作时，一般会将卷积操作转化成矩阵乘法，而权重数据和特征图数据中包含大量的数据，因此计算量呈现爆炸式增长。
[0003]按照传统的计算系统的模型，提前从memory中读取卷积需要的输入特征图和卷积核权重，进行运算完毕后再将结果写回存储器，继续下一批输入特征图和权重。这种方法简单直接容易计算，但是随着网络深度的增加，其计算时间过长，从而效率偏低，网络的实时性变差。此外，传统方法会占用过多的片上资源，导致芯片的面积增大。

技术实现思路

[0004]为解决现有技术的不足，实现提升数据吞吐率、提高扩展性及简化数据控制的目的，本专利技术采用如下的技术方案：一种基于脉动阵列的神经网络加速器卷积计算装置，包括PE基本运算单元排布而成的脉动阵列，所述脉动阵列最后一行为ACC累加模块，用于存储最终卷积运算结果，所述PE基本运算单元包括权重信息输入接口、特征图信息输入接口、上级PE基本运算单元运算结果输入接口（sum_in）、乘法器、加法器、权重信息输出接口、特征图信息输出接口和运算结果输出接口（sum_out），第一行PE基本运算单元的权重信息输入接口用于获取卷积核权重，第一列PE基本运算单元的特征图信息输入接口用于获取特征图数据，单个PE基本运算单元内，权重信息输入接口与权重信息输出接口连接，特征图信息输入接口与特征图信息输出接口连接，乘法器分别与权重信息输入接口、特征图信息输入接口和加法器连接，将权重数据与特征图数据相乘的结果作为加法器的输入，加法器分别与上级PE基本运算单元运算结果输入接口（sum_in）和运算结果输出接口（sum_out）连接，将上级PE基本运算单元运算结果与乘法器的输出累加后输出，PE基本运算单元的权重信息输出接口和运算结果输出接口，分别与同一列下一行的PE基本运算单元的权重信息输入接口、上级PE基本运算单元运算结果输入接口（sum_in）连接，PE基本运算单元的特征图信息输出接口与同一行下一列的PE基本运算单元的特征图信息输入接口连接，每一列的两个相邻PE基本运算单元及每一行的两个相邻PE基本运算单元之间，通过寄存器连接，寄存器在时钟信号的控制下，进行数据的存储和传递，最后一行PE基本运算单元的运算结果输出接口（sum_out）与其对应的ACC累加模块连接。
[0005]进一步地，所述权重信息输入接口包括权重输入接口（weight_in）、权重有效信号输入接口（weight_valid_in），所述特征图信息输入接口包括特征图数据输入接口（data_
in）、特征图数据有效信号输入接口（data_valid_in），所述权重信息输出接口包括权重输出接口（weight_out）、权重有效信号寄存输出接口（weight_valid_in_reg），所述特征图信息输出接口包括特征图数据寄存输出接口（data_in_reg）、特征图数据有效信号寄存输出接口（data_valid_in_reg），权重输入接口（weight_in）分别与权重输出接口（weight_out）和乘法器连接，权重有效信号输入接口（weight_valid_in）分别与权重有效信号寄存输出接口（weight_valid_in_reg）和乘法器连接，特征图数据输入接口（data_in）分别与特征图数据寄存输出接口（data_in_reg）和乘法器连接，特征图数据有效信号输入接口（data_valid_in）分别与特征图数据有效信号寄存输出接口（data_valid_in_reg）和乘法器连接。
[0006]进一步地，所述PE基本运算单元包括权重寄存器（weight_in_REG）、权重有效信号寄存器（weight_valid_in_REG）、特征图数据寄存器（data_in_REG）、特征图数据有效信号寄存器（data_valid_in_REG）和上级PE基本运算单元运算结果寄存器（sum_in_REG），权重寄存器（weight_in_REG）分别与权重输入接口（weight_in）、权重有效信号输入接口（weight_valid_in）和乘法器连接，权重有效信号寄存器（weight_valid_in_REG）分别与权重有效信号输入接口（weight_valid_in）和权重有效信号寄存输出接口（weight_valid_in_reg）连接，特征图数据寄存器（data_in_REG）分别与特征图数据输入接口（data_in）、特征图数据有效信号输入接口（data_valid_in）和乘法器连接，特征图数据有效信号寄存器（data_valid_in_REG）分别与特征图数据有效信号输入接口（data_valid_in）和特征图数据有效信号寄存输出接口（data_valid_in_reg）连接，上级PE基本运算单元运算结果寄存器（sum_in_REG）分别与上级PE基本运算单元运算结果输入接口（sum_in）和运算结果输出接口（sum_out）连接。
[0007]进一步地，所述脉动阵列为X
×
X个PE基本运算单元构成的阵列。
[0008]进一步地，所述ACC累加模块，包括上级PE基本运算单元计算结果输入接口（su_dout）、累加完成信号输入接口（ACC_done）、累加使能信号输入接口（ACC_en）、读写地址信号输入接口（wr/rd/addr）、累加结果输出接口（acc_dout）、累加器、第一Mux多路选择器、第二Mux多路选择器和Buff缓存器，上级PE基本运算单元计算结果输入接口（su_dout）通过累加器与第一Mux多路选择器连接，第一Mux多路选择器分别与累加完成信号输入接口（ACC_done）、第二Mux多路选择器和Buff缓存器连接，第二Mux多路选择器分别与上级PE基本运算单元计算结果输入接口（su_dout）、累加使能信号输入接口（ACC_en）和累加结果输出接口（acc_dout）连接，Buff缓存器分别与累加器和读写地址信号输入接口（wr/rd/addr）连接；所述上级PE基本运算单元计算结果输入接口（su_dout），用于获取每一列PE基本运算单元的计算结果；所述累加使能信号输入接口（ACC_en），用于控制ACC累加模块进行累加操作或将计算结果直接输出；所述累加完成信号输入接口（ACC_done），用于停止累加操作，并通过累加结果输出接口（acc_dout）将累加结果输出；所述读写地址信号输入接口（wr/rd/addr），根据获取的输出地址，将数据写到Buff缓存器中。
[0009]一种基于脉动阵列的神经网络加速器卷积计算方法，包括如下步骤：S1，获取权重信息和特征图信息；
S2，在权重有效信号和特征图数据有效信号的控制下，将权重信息和特征图信息，通过权重输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脉动阵列的神经网络加速器卷积计算装置，包括运算单元排布而成的脉动阵列，其特征在于所述脉动阵列最后一行为累加模块，用于存储最终运算结果，所述运算单元包括权重信息输入接口、特征图信息输入接口、上级运算单元运算结果输入接口、乘法器、加法器、权重信息输出接口、特征图信息输出接口和运算结果输出接口，第一行运算单元的权重信息输入接口用于获取卷积核权重，第一列运算单元的特征图信息输入接口用于获取特征图数据，单个运算单元内，权重信息输入接口与权重信息输出接口连接，特征图信息输入接口与特征图信息输出接口连接，乘法器分别与权重信息输入接口、特征图信息输入接口和加法器连接，将权重数据与特征图数据相乘的结果作为加法器的输入，加法器分别与上级运算单元运算结果输入接口和运算结果输出接口连接，将上级运算单元运算结果与乘法器的输出累加后输出，运算单元的权重信息输出接口和运算结果输出接口，分别与同一列下一行的运算单元的权重信息输入接口、上级运算单元运算结果输入接口连接，运算单元的特征图信息输出接口与同一行下一列的运算单元的特征图信息输入接口连接，每一列的相邻运算单元及每一行的相邻运算单元之间，通过寄存器连接，寄存器在时钟信号的控制下，进行数据的存储和传递，最后一行运算单元的运算结果输出接口与其对应的累加模块连接。2.根据权利要求1所述的一种基于脉动阵列的神经网络加速器卷积计算装置，其特征在于所述权重信息输入接口包括权重输入接口、权重有效信号输入接口，所述特征图信息输入接口包括特征图数据输入接口、特征图数据有效信号输入接口，所述权重信息输出接口包括权重输出接口、权重有效信号寄存输出接口，所述特征图信息输出接口包括特征图数据寄存输出接口、特征图数据有效信号寄存输出接口，权重输入接口分别与权重输出接口和乘法器连接，权重有效信号输入接口分别与权重有效信号寄存输出接口和乘法器连接，特征图数据输入接口分别与特征图数据寄存输出接口和乘法器连接，特征图数据有效信号输入接口分别与特征图数据有效信号寄存输出接口和乘法器连接。3.根据权利要求2所述的一种基于脉动阵列的神经网络加速器卷积计算装置，其特征在于所述运算单元包括权重寄存器、权重有效信号寄存器、特征图数据寄存器、特征图数据有效信号寄存器和上级运算单元运算结果寄存器，权重寄存器分别与权重输入接口、权重有效信号输入接口和乘法器连接，权重有效信号寄存器分别与权重有效信号输入接口和权重有效信号寄存输出接口连接，特征图数据寄存器分别与特征图数据输入接口、特征图数据有效信号输入接口和乘法器连接，特征图数据有效信号寄存器分别与特征图数据有效信号输入接口和特征图数据有效信号寄存输出接口连接，上级运算单元运算结果寄存器分别与上级运算单元运算结果输入接口和运算结果输出接口连接。4.根据权利要求1所述的一种基于脉动阵列的神经网络加速器卷积计算装置，其特征在于所述脉动阵列为X
×
X个运算单元构成的阵列。5.根据权利要求1所述的一种基于脉动阵列的神经网络加速器卷积计算装置，其特征在于所述累加模块，包括上级运算单元计算结果输入接口、累加完成信号输入接口、累加使能信号输入接口、读写地址信号输入接口、累加结果输出接口、累加器、第一选择器、第二选择器和缓存器，上级运算单元计算结果输入接口通过累加器与第一选择器连接，第一选择器分别与累加完成信号输入接口、第二选择器和缓存器连接，第二选择器分别与上级运算单元计算结果输入接口、累加使能信号输入接口和累加结果输出接口连接，缓存器分别与
...

【专利技术属性】
技术研发人员：杨方超，胡有能，朱国权，凡军海，陆启明，金孝飞，孙世春，章明，何煜坤，潘鑫，马德，
申请(专利权)人：浙江大学，
类型：发明
国别省市：