【技术实现步骤摘要】
【国外来华专利技术】
本公开的各方面涉及机器学习，并且具体地涉及用于处理权重驻定方案中的部分和(partial sum)的电路、神经网络处理架构和技术，诸如存储器内计算(cim)技术。
技术介绍
1、机器学习通常是产生受训练模型(例如，人工神经网络、树或其他结构)的过程，其表示对先验已知的训练数据集的广义拟合。将受训练模型应用于新数据产生推断，这可被用于获得关于新数据的洞察。在一些情况下，将模型应用于新数据被描述为对新数据″运行推断″。
2、随着机器学习的使用激增以用于实现各种机器学习(或人工智能)任务，出现了对更高效地处理机器学习模型数据的需求。在一些情况下，专用硬件诸如机器学习加速器可用于增强处理系统处理机器学习模型数据的能力。然而，此类硬件需要空间和功率，这在处理设备上并不总是可用的。例如，″边缘处理″设备诸如移动设备、常通(always-on)设备、物联网(iot)设备等通常必须平衡处理能力与功率和封装约束。此外，加速器可以跨共用数据总线移动数据，这可导致大量用电量并将等待时间引入共享数据总线的其他过程中。
3、因此，正在考虑处理系统的其他方面来处理机器学习模型数据。存储器设备是可用于通过所谓的存储器内计算(cim)过程(也称为存储器内计算)执行机器学习模型数据的处理的处理系统的另一方面的一个示例。
技术实现思路
1、本公开的系统、方法和设备各自具有若干个方面，其中没有单一一个方面是仅主要负责其期望的属性的。在不限制如所附权利要求所表述的本公开的范围的情况下，下文简要地讨
2、本公开的某些方面涉及一种用于机器学习的处理元件(pe)电路。该pe电路总体包括：第一累加器电路；触发器阵列，该触发器阵列具有耦合到第一累加器电路的输出的输入；写入寄存器；和第一多路复用器，该第一多路复用器具有耦合到写入寄存器的输出的第一输入，具有耦合到触发器阵列的输出的第二输入，并且具有耦合到第一累加器电路的第一输入的输出。
3、本公开的某些方面涉及一种神经网络电路，该神经网络电路包括多个pe电路，其中多个pe电路中的至少一个pe电路包括如本文所述的pe电路。该神经网络电路还包括：紧耦合存储器，该紧耦合存储器耦合到写入总线和读取总线；和全局存储器，该全局存储器耦合到读取总线，其中多个pe电路中的另一个pe电路具有耦合到第一累加器电路的第二输入的输出。
4、本公开的某些方面涉及一种神经网络电路。该神经网络电路总体包括：第一组级联pe电路，其中第一组中的第一pe电路的输出耦合到第一组中的第二pe电路的输入；和第一全局累加器电路，该第一全局累加器电路具有耦合到第一组级联pe电路的输出的输入。第一组级联pe电路中的每个pe电路包括：乘法与累加(mac)电路；局部累加器电路，该局部累加器电路具有耦合到mac电路的输出的输入；和一组触发器，该一组触发器具有耦合到局部累加器电路的输出的输入。
5、本公开的某些方面涉及一种神经网络处理的方法。该方法总体包括：在多路复用器的第一输入处从写入寄存器接收第一数据；在多路复用器的第二输入处从触发器阵列接收第二数据；在累加器电路处从pe电路接收第三数据；利用多路复用器在第一数据与第二数据之间选择要输出到累加器电路的数据；以及利用累加器电路累加从多路复用器选择的输出数据和从pe电路接收的第三数据，以生成累加数据。
6、本公开的某些方面涉及一种神经网络处理的方法。该方法总体包括：在一组级联pe电路中的每个pe电路中执行mac运算，其中一组级联pe电路中的第一pe电路的输出耦合到一组级联pe电路中的第二pe电路的输入，并且其中一组级联pe电路中的每个pe电路包括：mac电路；局部累加器电路，该局部累加器电路具有耦合到mac电路的输出的输入；和一组触发器，该一组触发器具有耦合到局部累加器电路的输出的输入；利用每个pe电路中的一组触发器执行移位运算，以将值从该pe电路移位到该一组级联pe电路中的下一个pe电路或移位到全局累加器电路，其中在每个pe电路中，移位运算与mac运算的执行并发执行；以及利用全局累加器电路累加来自该一组级联pe电路中的最后一个pe电路的所移位的值，以生成累加数据。
7、其他方面提供了处理系统，该处理系统被配置为执行前述方法以及本文所述的方法；一种非暂态计算机可读介质，该非暂态计算机可读介质包括指令，该指令在由处理系统的一个或多个处理器执行时使处理系统执行前述方法以及本文所述的方法；一种计算机程序产品，该计算机程序产品体现在计算机可读存储介质上，该计算机可读存储介质包括用于执行前述方法以及本文所述的方法的代码；和一种处理系统，该处理系统包括用于执行前述方法以及本文进一步所述的方法的构件。
8、为了实现前述和相关的目的，一个或多个方面包括以下全面描述的并在权利要求中特别指出的特征。以下描述和附图详细阐述了一个或多个方面的某些例示性特征。然而，这些特征仅指示可以采用各个方面的原理的各种方式中的仅一些方式。
本文档来自技高网...【技术保护点】
1.一种处理元件(PE)电路，所述PE电路包括：
2.根据权利要求1所述的PE电路，所述PE电路还包括读取寄存器，所述读取寄存器具有耦合到所述触发器阵列的所述输出的输入。
3.根据权利要求2所述的PE电路，所述PE电路还包括写入总线，所述写入总线耦合到所述读取寄存器的输出。
4.根据权利要求3所述的PE电路，所述PE电路还包括读取总线，所述读取总线耦合到所述写入寄存器的输入。
5.一种神经网络电路，所述神经网络电路包括多个PE电路，其中所述多个PE电路中的至少一个PE电路包括根据权利要求4所述的PE电路，所述神经网络电路还包括：
6.根据权利要求5所述的神经网络电路，其中所述多个PE电路中的所述另一个PE电路不包括写入寄存器。
7.根据权利要求1所述的PE电路，所述PE电路还包括读取总线，所述读取总线耦合到所述写入寄存器的输入，其中所述读取总线被配置为在所述PE电路外部耦合到紧耦合存储器或全局存储器中的至少一者。
8.根据权利要求1所述的PE电路，所述PE电路还包括：
9.根据权利要求
10.根据权利要求1所述的PE电路，其中所述PE电路是数字存储器内计算(DCIM)PE电路，并且其中所述PE电路还包括：
11.根据权利要求10所述的PE电路，其中所述DCIM阵列包括多个存储器内计算单元，并且其中所述存储器内计算单元中的至少一个存储器内计算单元包括八晶体管(8T)静态随机存取存储器(SRAM)单元。
12.一种神经网络电路，所述神经网络电路包括：
13.根据权利要求12所述的神经网络电路，其中所述第一组级联PE电路中的每个PE电路被配置为并发地进行：用所述MAC电路执行MAC运算以及用所述一组触发器执行移位运算以将值从所述PE电路移位到所述第一组级联PE电路中的下一个PE电路或移位到所述第一全局累加器电路。
14.根据权利要求12所述的神经网络电路，所述神经网络电路还包括存储器，其中：
15.根据权利要求12所述的神经网络电路，其中所述第一全局累加器电路包括：
16.根据权利要求15所述的神经网络电路，其中所述第一全局累加器电路还包括读取寄存器，所述读取寄存器具有耦合到所述触发器阵列的所述输出的输入。
17.根据权利要求16所述的神经网络电路，所述神经网络电路还包括紧耦合存储器，其中所述第一全局累加器电路还包括：
18.根据权利要求17所述的神经网络电路，所述神经网络电路还包括全局存储器，所述全局存储器耦合到所述第一全局累加器电路的所述读取总线。
19.根据权利要求12所述的神经网络电路，其中所述第一组级联PE电路被配置为使得权重被并行加载到所述第一组级联PE电路中。
20.根据权利要求12所述的神经网络电路，其中所述第一组级联PE电路包括多个级联PE电路，使得所述第一全局累加器电路被配置为接收来自所述第一PE电路的在已经发生与所述多个级联PE电路匹配的多个激活输入位循环之后通过所述第一组中的全部PE电路的部分和。
21.根据权利要求12所述的神经网络电路，其中：
22.根据权利要求12所述的神经网络电路，其中所述第一组级联PE电路中的每个PE电路是数字存储器内计算(DCIM)PE电路，其中每个PE电路中的所述MAC电路包括DCIM阵列，其中所述DCIM阵列包括多个存储器内计算单元，并且其中所述存储器内计算单元中的至少一个存储器内计算单元包括八晶体管(8T)静态随机存取存储器(SRAM)单元。
23.根据权利要求12所述的神经网络电路，所述神经网络电路还包括：
24.一种神经网络处理的方法，所述方法包括：
25.根据权利要求24所述的方法，所述方法还包括：
26.根据权利要求24所述的方法，所述方法还包括：
27.一种神经网络处理的方法，所述方法包括：
28.根据权利要求27所述的方法，所述方法还包括：在利用权重在每个PE电路中执行所述MAC运算之前，将所述权重并行加载到所述一组级联PE电路中。
29.根据权利要求27所述的方法，其中所述累加包括：
30.根据权利要求27所述的方法，其中所述累加包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种处理元件(pe)电路，所述pe电路包括：
2.根据权利要求1所述的pe电路，所述pe电路还包括读取寄存器，所述读取寄存器具有耦合到所述触发器阵列的所述输出的输入。
3.根据权利要求2所述的pe电路，所述pe电路还包括写入总线，所述写入总线耦合到所述读取寄存器的输出。
4.根据权利要求3所述的pe电路，所述pe电路还包括读取总线，所述读取总线耦合到所述写入寄存器的输入。
5.一种神经网络电路，所述神经网络电路包括多个pe电路，其中所述多个pe电路中的至少一个pe电路包括根据权利要求4所述的pe电路，所述神经网络电路还包括：
6.根据权利要求5所述的神经网络电路，其中所述多个pe电路中的所述另一个pe电路不包括写入寄存器。
7.根据权利要求1所述的pe电路，所述pe电路还包括读取总线，所述读取总线耦合到所述写入寄存器的输入，其中所述读取总线被配置为在所述pe电路外部耦合到紧耦合存储器或全局存储器中的至少一者。
8.根据权利要求1所述的pe电路，所述pe电路还包括：
9.根据权利要求8所述的pe电路，所述pe电路还包括：
10.根据权利要求1所述的pe电路，其中所述pe电路是数字存储器内计算(dcim)pe电路，并且其中所述pe电路还包括：
11.根据权利要求10所述的pe电路，其中所述dcim阵列包括多个存储器内计算单元，并且其中所述存储器内计算单元中的至少一个存储器内计算单元包括八晶体管(8t)静态随机存取存储器(sram)单元。
12.一种神经网络电路，所述神经网络电路包括：
13.根据权利要求12所述的神经网络电路，其中所述第一组级联pe电路中的每个pe电路被配置为并发地进行：用所述mac电路执行mac运算以及用所述一组触发器执行移位运算以将值从所述pe电路移位到所述第一组级联pe电路中的下一个pe电路或移位到所述第一全局累加器电路。
14.根据权利要求12所述的神经网络电路，所述神经网络电路还包括存储器，其中：
15.根据权利要求12所述的神经网络电路，其中所述第一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。