使用误差反向传播执行监督学习的神经形态系统技术方案

本发明专利技术涉及一种神经形态系统。该神经形态系统包括：第一神经形态层，利用输入信号和第一权重执行正向运算；第一运算电路，对第一神经形态层的正向运算结果执行第一运算；第二神经形态层，利用第一运算电路的输出信号和第二权重执行正向运算；第二运算电路，对第二神经形态层的正向运算结果执行第二运算；第一权重调整量计算电路，计算第一权重调整量以及第二权重调整量计算电路，计算第二权重调整量。

Neural morphological system for supervised learning using error back propagation

【技术实现步骤摘要】
使用误差反向传播执行监督学习的神经形态系统相关申请的交叉引用本申请要求于2018年12月19日提交的申请号为10-2018-0164780的韩国专利申请的优先权，其全部公开内容通过引用并入本文。
各种实施例涉及一种执行监督学习的神经形态系统，且更具体地，涉及一种使用误差反向传播执行监督学习的神经形态系统。
技术介绍
在具有人工智能(AI)的计算装置中需要高效节能硬件技术。特别地，神经形态系统正在被研究作为一种高效节能技术。神经形态系统是一种实现模拟生物体大脑的人工神经网络的半导体电路。在神经形态系统中，节点通过突触联接形成网络，并且通过适当学习来改变突触的权重值而具有解决任意问题的能力。为了在各种
中使用神经形态系统，需要能够有效训练神经形态系统的技术。
技术实现思路
根据本公开的实施例，一种神经形态系统可以包括：第一神经形态层，该第一神经形态层被配置为利用输入信号和第一权重执行正向运算；第一运算电路，该第一运算电路被配置为对第一神经形态层的正向运算结果执行第一运算；第二神经形态层，该第二神经形态层被配置为利用第一运算电路的输出信号和第二权重执行正向运算；第二运算电路，该第二运算电路被配置为对第二神经形态层的正向运算结果执行第二运算；第一权重调整量计算电路，该第一权重调整量计算电路被配置为基于输入信号、第一运算电路的输出信号以及第二神经形态层执行的反向运算的结果来计算第一权重调整量，其中利用与输入信号对应的目标信号、第二运算电路的输出信号和第二权重来执行该反向运算；以及第二权重调整量计算电路，该第二权重调整量计算电路被配置为基于与输入信号对应的目标信号、第二运算电路的输出信号和第一运算电路的输出信号来计算第二权重调整量。附图说明附图以及以下的详细描述被并入说明书中并且形成说明书的一部分，并且用于进一步示出包括各种特征的实施例，并且解释这些实施例的各种原理和有益方面，在附图中相同的附图标记在各个示图中指代相同或功能相似的元件。图1示出根据实施例的神经形态系统。图2A和2B示出根据实施例的第一神经形态层的运算。图3示出根据实施例的第一神经形态层。图4和图5示出根据实施例的模拟计算电路。图6A和6B示出根据实施例的第二神经形态层的运算。图7示出根据实施例的第一权重调整量计算电路。图8示出根据实施例的第二权重调整量计算电路。图9示出根据实施例的示出神经形态系统的学习运算的流程图。具体实施方式下面将参照附图描述各种实施例。提供实施例是为了说明性目的，并且也可存在其他未明确示出或描述的实施例。此外，可以对下面将详细描述的本公开的实施例进行修改。图1示出根据实施例的神经形态系统。神经形态系统包括第一神经形态层100和第二神经形态层200。第一神经形态层100和第二神经形态层200可以具有基本相同的配置，并且可以执行正向和反向运算。这将在下面详细描述。根据本公开的实施例，神经形态系统进一步包括：用于存储待提供给第一神经形态层100的正向输入信号X的第一输入存储电路10；用于对从第一神经形态层100输出的正向计算结果Y执行第一运算的第一运算电路20；以及用于存储从第一运算电路20输出的信号f(Y)的第一输出存储电路30。当使用包括多个批输入的批输入信号来执行监督学习时，第一输入存储电路10存储多个批输入并且将多个批输入作为正向输入信号X顺序地提供给第一神经形态层100，每个批输入对应于批索引。批索引被分配给多个批输入中的每一个批输入。在本实施例中，由第一运算电路20执行的第一运算是作为非线性运算的修正线性单元(ReLU)运算。由于ReLU运算本身是众所周知的，因此省略对ReLU运算的详细描述。当使用批输入信号中的多个批输入之中的第n批输入来执行监督学习时，第一输出存储电路30可以顺序地存储与第n批索引对应的第一运算电路20的输出，n是自然数。将第一输出存储电路30的输出作为第二神经形态层200的正向输入信号来提供。根据本公开的实施例，神经形态系统进一步包括：用于存储从第二神经形态层200输出的正向运算结果Z的第二输出存储电路40；用于对第二输出存储电路40的输出执行第二运算的第二运算电路50；用于存储第二运算电路50的输出O和目标T的第二输入存储电路500；以及用于存储第二神经形态层200的反向运算结果的第三输出存储电路600。当使用批输入信号执行监督学习时，第二输出存储电路40可以顺序地存储与批输入信号中的多个批输入对应的、第二神经形态层200的正向运算结果。在本实施例中，由第二运算电路50执行的第二运算是Softmax运算。Softmax运算本身是公知的，因此省略对Softmax运算的详细描述。目标T可以被称为标签L，标签L为当使用第n批输入来执行监督学习时，与对应于第n批输入的正确答案相对应的值。当使用批输入信号来执行监督学习时，存在分别与批输入信号的多个批输入对应的多个目标。在这种情况下，第二输入存储电路500可以顺序地存储分别与多个批输入对应的多个目标。另外，第二输入存储电路500可以顺序地存储与多个批输入对应的第二运算电路50的输出。当使用第n批输入来执行监督学习时，第三输出存储电路600可以存储第一反向运算结果P和第二反向运算结果Q，并且输出与第一反向运算结果P和第二反向运算结果Q之间的差对应的误差反向传播信号R。通过将第二运算电路50的输出O作为第二神经形态层200的第一反向输入提供，来从第二神经形态层200输出第一反向运算结果P。通过将与第n批输入对应的目标T作为第二神经形态层200的第二反向输入提供，来从第二神经形态层200输出第二反向运算结果Q。根据本公开的实施例，神经形态系统进一步包括第一权重调整量计算电路300和第一权重调整电路700。第一权重调整量计算电路300基于第一输入存储电路10的输出X(即正向输入信号X)、从第一输出存储电路30输出的信号f(Y)以及从第三输出存储电路600输出的误差反向传播信号R，来计算存储在第一神经形态层100中的第一权重W1的第一权重调整量ΔW1。第一权重调整电路700基于从第一权重调整量计算电路300输出的第一权重调整量ΔW1来调整第一神经形态层100的第一权重W1。在本实施例中，第一权重W1可以具有包括多个权重元素的矩阵结构。根据本公开的实施例，神经形态系统进一步包括第二权重调整量计算电路400和第二权重调整电路800。第二权重调整量计算电路400基于从第一输出存储电路30输出的信号f(Y)以及第二输入存储电路500的输出(O-T)，来计算存储在第二神经形态层200中的第二权重W2的第二权重调整量ΔW2。第二权重调整电路800基于从第二权重调整量计算电路400输出的第二权重调整量ΔW2来调整第二神经形态层200的第二权重W2。在本实施例中，第二权重W2可以具有包括多个权重元素的矩阵结构。图本文档来自技高网...

【技术保护点】
1.一种神经形态系统，包括：/n第一神经形态层，利用输入信号和第一权重执行正向运算；/n第一运算电路，对所述第一神经形态层的正向运算结果执行第一运算；/n第二神经形态层，利用所述第一运算电路的输出信号和第二权重执行正向运算；/n第二运算电路，对所述第二神经形态层的正向运算结果执行第二运算；/n第一权重调整量计算电路，基于所述输入信号、所述第一运算电路的输出信号和由所述第二神经形态层执行的反向运算结果来计算第一权重调整量，所述反向运算利用与所述输入信号对应的目标信号、所述第二运算电路的输出信号和所述第二权重来执行；以及/n第二权重调整量计算电路，基于与所述输入信号对应的目标信号、所述第二运算电路的输出信号和所述第一运算电路的输出信号来计算第二权重调整量。/n

【技术特征摘要】
20181219 KR 10-2018-01647801.一种神经形态系统，包括：
第一神经形态层，利用输入信号和第一权重执行正向运算；
第一运算电路，对所述第一神经形态层的正向运算结果执行第一运算；
第二神经形态层，利用所述第一运算电路的输出信号和第二权重执行正向运算；
第二运算电路，对所述第二神经形态层的正向运算结果执行第二运算；
第一权重调整量计算电路，基于所述输入信号、所述第一运算电路的输出信号和由所述第二神经形态层执行的反向运算结果来计算第一权重调整量，所述反向运算利用与所述输入信号对应的目标信号、所述第二运算电路的输出信号和所述第二权重来执行；以及
第二权重调整量计算电路，基于与所述输入信号对应的目标信号、所述第二运算电路的输出信号和所述第一运算电路的输出信号来计算第二权重调整量。


2.根据权利要求1所述的神经形态系统，进一步包括：
第一权重调整电路，根据所述第一权重调整量来调整所述第一权重；以及
第二权重调整电路，根据所述第二权重调整量来调整所述第二权重。


3.根据权利要求1所述的神经形态系统，其中所述第二神经形态层利用所述目标信号和所述第二权重来执行第一反向运算以生成第一反向运算结果，并且利用所述第二运算电路的输出信号和所述第二权重来执行第二反向运算以生成第二反向运算结果，以及
其中所述第一权重调整量计算电路使用所述第一反向运算结果与所述第二反向运算结果之间的差、所述第一运算电路的输出信号和所述输入信号来计算所述第一权重调整量。


4.根据权利要求3所述的神经形态系统，进一步包括输出存储电路，所述输出存储电路存储所述第一反向运算结果和所述第二反向运算结果或者存储所述第一反向运算结果与所述第二反向运算结果之间的差。


5.根据权利要求1所述的神经形态系统，进一步包括：
第一输入存储电路，存储包括多个批输入的批输入信号，并且将所述批输入信号中的第n批输入作为所述输入信号来提供，所述第n批输入对应于分配给所述第n批输入的第n批索引，其中n为自然数；
第一输出存储电路，存储所述第一运算电路的、与所述第n批输入对应的输出信号；
第二输出存储电路，存储所述第二神经形态层的、与所述第n批输入对应的正向运算结果；
第二输入存储电路，存储与所述第n批输入对应的目标信号以及所述第二运算电路的、与所述第n批输入对应的输出信号；以及
第三输出存储电路，存储所述第二神经形态层的、与所述第n批输入对应的反向运算结果。


6.根据权利要求5所述的神经形态系统，其中所述第三输出存储电路存储与第一反向运算结果和第二反向运算结果之间的差对应的误差反向传播信号，所述第一反向运算结果由所述第二神经形态层使用与所述第n批输入对应的目标信号和所述第二权重执行的第一反向运算来生成，所述第二反向运算结果由所述第二神经形态层使用所述第二运算电路的、与所述第n批输入对应的输出信号和所述第二权重执行的第二反向运算来生成。


7.根据权利要求6所述的神经形态系统，其中所述第一权重调整量计算电路包括：
多路复用器，根据所述第一运算电路的、与所述第n批输入对应的输出信号来选择零或与所述第n批输入对应的误差反向传播信号；
第一乘法器，将所述多路复用器的输出与所述第n批输入相乘；
第一加法器，在第一寄存器中累加所述第一乘法器对所述多个批输入的输出；以及
第三运算电路，在累加了所述第一乘法器对所述多个批输入的输出之后，根据所述第一寄存器的最终输出值来确定所述第一权重调整量。


8.根据权利要求7所述的神经形态系统，其中当所述误差反向传播信号和所述输入信号中的每一个包括多个位时，所述第一乘法器选择所述误差反向传播信号的预定数量的高位和所述输入信号的预定数量的高位。


9.根据权利要求7所述的神经形态系统，其中所述第三运算电路在...

【专利技术属性】
技术研发人员：孙贤佑，沈载润，
申请(专利权)人：爱思开海力士有限公司，浦项工科大学校产学协力团，
类型：发明
国别省市：韩国;KR