用于神经网络的算术设备制造技术

本申请涉及一种用于神经网络的算术设备。算术设备包括具有第一表储存电路的AF电路。当表设定信号被激活时，AF电路将表输入信号以查找表形式储存到在第一表储存电路中所包括的可变锁存器之中的、基于输入选择信号选择的一个可变锁存器中。AF电路基于输入分配信号来提取由查找表实现的第一激活函数的结果值，以将所提取的结果值输出作为用于产生输出分配信号的第一表输出信号。

【技术实现步骤摘要】
用于神经网络的算术设备相关申请的交叉引用本申请要求于2019年10月31日提交的韩国专利申请10-2019-0138114、于2020年1月8日提交的美国临时专利申请62/958,614、于2020年1月8日提交的美国临时专利申请62/958,609、于2020年1月10日提交的美国临时专利申请62/959,574和于2020年1月10日提交的美国临时专利申请62/959,593的优先权，其通过引用整体合并于此。
本公开的实施例总体而言涉及用于神经网络的算术设备(arithmeticdevice)。
技术介绍
在神经网络中，在数学上被建模为类似于人脑的神经元彼此连接以形成网络。最近，神经网络技术得到了快速发展。因此，已经有很多努力集中于在各种电子设备中使用神经网络技术来分析输入数据并提取有用的信息。
技术实现思路
根据一个实施例，一种算术设备可以包括命令解码器和激活函数(activationfunction，AF)电路。命令解码器对外部命令进行解码，以产生表设定信号(tablesetsignal)、输入选择信号和表输入信号。AF电路可以包括第一表储存电路。当表设定信号被激活时，AF电路将表输入信号以查找表形式储存到在第一表储存电路中所包括的多个可变锁存器之中的、基于输入选择信号选择的一个可变锁存器中。AF电路基于输入分配信号来提取由查找表实现的第一激活函数的结果值，以将所提取的结果值输出作为用于产生输出分配信号的第一表输出信号。根据另一实施例，一种算术设备可以包括外部数据解码器和AF电路。外部数据解码器对外部数据进行解码以产生表设定信号、输入选择信号和表输入信号。AF电路可以包括第一表储存电路。当表设定信号被激活时，AF电路将表输入信号以查找表形式储存到在第一表储存电路中所包括的多个可变锁存器之中的、基于输入选择信号选择的一个可变锁存器中。AF电路基于输入分配信号来提取由查找表实现的第一激活函数的结果值，以将所提取的结果值输出作为用于产生输出分配信号的第一表输出信号。根据又一实施例，一种算术设备可以包括模式寄存器和AF电路。模式寄存器经由模式寄存器设定(moderegisterset)而储存表设定信号、输入选择信号和表输入信号。AF电路可以包括第一表储存电路。当表设定信号被激活时，AF电路将表输入信号以查找表形式储存到在第一表储存电路中所包括的多个可变锁存器之中的、基于输入选择信号选择的一个可变锁存器中。AF电路基于输入分配信号来提取由查找表实现的第一激活函数的结果值，以将所提取的结果值输出作为用于产生输出分配信号的第一表输出信号。附图说明图1是示出根据本公开的一个实施例的算术设备的配置的框图。图2是示出图1的算术设备中包括的MAC电路的配置的框图。图3是示出图1的算术设备中包括的AF电路的配置的框图。图4示出了图3的AF电路中包括的第一表储存电路的配置。图5和图6是示出图4的第一表储存电路中包括的表输出电路的示例的电路图。图7是示出图3的AF电路中包括的第二表储存电路的配置的框图。图8是示出根据本公开的另一实施例的算术设备的配置的框图。图9是示出根据本公开的又一实施例的算术设备的配置的框图。具体实施方式在下文中将参考附图来描述本公开的各种实施例。然而，本文中所描述的实施例仅用于说明性目的，并不旨在限制本公开的范围。如图1所示，算术设备100可以包括命令解码器101、模式寄存器103、数据输入/输出电路105、数据线107、数据储存电路109、MAC电路111和AF电路113。命令解码器101可以基于外部命令ECMD来产生表设定信号TSC、输入选择信号ISEL和表输入信号TIN。输入选择信号ISEL中包括的比特位的数量可以根据实施例而被设置为不同。表输入信号TIN中包括的比特位的数量可以根据实施例而被设置为不同。命令解码器101可以对外部命令ECMD进行解码以产生表设定信号TSC。表设定信号TSC可以被激活以将用于神经网络的激活函数以查找表形式储存到第一表储存电路(图3的133)中。用于激活表设定信号TSC的外部命令ECMD中包括的比特位的数量可以根据实施例而被设置为不同。另外，用于激活表设定信号TSC的外部命令ECMD的逻辑电平组合可以根据实施例而被设置为不同。查找表具有的表形式包含关于输入值和与该输入值相对应的输出值的信息。当使用查找表时，可以直接打印与输入值相对应的输出值，而无需进行任何运算，从而提高运算速度。命令解码器101可以对外部命令ECMD进行解码以产生输入选择信号ISEL和表输入信号TIN。输入选择信号ISEL和表输入信号TIN可以被产生以将激活函数以查找表形式储存到包括在第一表储存电路(图3的133)中的第一可变锁存器至第N可变锁存器(图4的149_1至149_N)中。表输入信号TIN可以被储存在第一可变锁存器至第N可变锁存器(图4的149_1至149_N)之中的、由输入选择信号ISEL选择的一个可变锁存器中。用于设置表输入信号TIN的逻辑电平组合的外部命令ECMD的逻辑电平组合可以根据实施例而被设置为不同。用于设置输入选择信号ISEL的逻辑电平组合的外部命令ECMD的逻辑电平组合可以根据实施例而被设置为不同。模式寄存器103可以经由模式寄存器设定来储存函数选择信号FS。模式寄存器103可以经由模式寄存器读取输出函数选择信号FS。模式寄存器设定和模式寄存器读取是针对模式寄存器103的通用操作，因此省略具体描述。模式寄存器103可以将函数选择信号FS施加到AF电路113。函数选择信号FS可以被产生以选择用于神经网络的各种激活函数之一。用于神经网络的各种激活函数可以包括但不限于：S形(即，S形函数)，Tanh(即，双曲正切激活函数)，ReLU(即，修正线性单元函数)，带泄漏ReLU(即，带泄漏修正线性单元函数)，Maxout(即，最大输出激活函数)和基于外部命令ECMD输入的激活函数。函数选择信号FS中包括的比特位的数量可以根据实施例而被设置为不同。模式寄存器103可以位于算术设备100的外部，例如，位于主机或存储器控制器上。数据输入/输出电路105可以从算术设备100的外部接收外部数据DA，并且经由数据线107将外部数据DA传送到数据储存电路109和MAC电路111中的至少一个。数据输入/输出电路105可以经由数据线107将来自数据储存电路109、MAC电路111和AF电路113中的至少一个的数据输出为外部数据DA。在写入操作中，数据储存电路109可以通过经由数据线107接收从数据输入/输出电路105接收的外部数据DA而进行内部储存。在读取操作中，数据储存电路109可以通过数据线107将已内部储存的数据传送到数据输入/输出电路105并将其输出为外部数据DA。MAC电路111可以接收矢量数据(vectordata)VD和权重数据(weightdata)WD。MAC电路111可以从数据输入/输出电路105或数据储存电路1本文档来自技高网...

【技术保护点】
1.一种算术设备，包括：/n命令解码器，其被配置为对外部命令进行解码以产生表设定信号、输入选择信号和表输入信号；以及/n激活函数AF电路，其被配置为包括第一表储存电路，被配置为当所述表设定信号被激活时，将所述表输入信号以查找表形式储存到在所述第一表储存电路中所包括的可变锁存器之中的、基于所述输入选择信号选择的一个可变锁存器中，以及被配置为基于输入分配信号来提取由所述查找表实现的第一激活函数的结果值，以将所提取的结果值输出作为用于产生输出分配信号的第一表输出信号。/n

【技术特征摘要】
20191031 KR 10-2019-0138114;20200108 US 62/958,6141.一种算术设备，包括：
命令解码器，其被配置为对外部命令进行解码以产生表设定信号、输入选择信号和表输入信号；以及
激活函数AF电路，其被配置为包括第一表储存电路，被配置为当所述表设定信号被激活时，将所述表输入信号以查找表形式储存到在所述第一表储存电路中所包括的可变锁存器之中的、基于所述输入选择信号选择的一个可变锁存器中，以及被配置为基于输入分配信号来提取由所述查找表实现的第一激活函数的结果值，以将所提取的结果值输出作为用于产生输出分配信号的第一表输出信号。


2.根据权利要求1所述的算术设备，
其中，所述第一表储存电路被配置为包括第一可变锁存器和第二可变锁存器；以及
其中，所述表输入信号根据所述输入选择信号而被输入并储存到所述第一可变锁存器或所述第二可变锁存器中。


3.根据权利要求1所述的算术设备，其中，所述AF电路还包括第二表储存电路，用于神经网络的第二激活函数被硬接线在所述第二表储存电路中。


4.根据权利要求3所述的算术设备，其中，所述第二激活函数被设置为S形函数、双曲正切激活函数Tanh、修正线性单元函数ReLU、带泄漏ReLU和最大输出激活函数Maxout。


5.根据权利要求3所述的算术设备，其中，所述第二表储存电路被配置为基于所述输入分配信号来提取所述第二激活函数的结果值，以将所提取的结果值输出作为用于产生所述输出分配信号的第二表输出信号。


6.根据权利要求5所述的算术设备，其中，所述AF电路基于函数选择信号而输出所述第一表输出信号和所述第二表输出信号中的一个作为所述输出分配信号。


7.根据权利要求6所述的算术设备，其中，所述函数选择信号经由模式寄存器设定而被储存到模式寄存器中，以及
其中，所述函数选择信号经由模式寄存器读取而被从所述模式寄存器输出。


8.根据权利要求1所述的算术设备，还包括MAC电路，所述MAC电路被配置为执行用于产生所述输入分配信号的MAC算术运算，其中所述MAC算术运算包括矢量数据和权重数据的乘法运算和累加运算。


9.根据权利要求8所述的算术设备，其中，所述矢量数据包含与在用于神经网络的输入层中所包含的特征相关的信息，并且所述权重数据包含与对将所述输入层的特征分类为在用于所述神经网络的输出层中所包含的结果的影响相关的信息。


10.根据权利要求8所述的算术设备，其中，所述MAC电路从数据输入/输出电路或数据储存电路接收所述权重数据。


11.根据权利要求8所述的算术设备，其中，所述MAC电路从数据输入/...

【专利技术属性】
技术研发人员：宋清基，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：韩国;KR