用于实现神经网络的神经形态装置和方法制造方法及图纸

提供了一种用于实现神经网络的神经形态装置和方法。所述神经形态装置包括：存储器，其中存储有至少一个程序；片上存储器，包括交叉开关矩阵阵列电路；和至少一个处理器，被配置为通过执行所述至少一个程序来驱动神经网络。所述至少一个处理器还被配置为：将二进制权重值存储在包括在交叉开关矩阵阵列电路中的突触电路中；从存储器获得输入特征图；将输入特征图转换成时域二进制向量。此外所述至少一个处理器还被配置为：将时域二进制向量作为输入值提供给交叉开关矩阵阵列电路；和通过执行二进制权重值与时域二进制向量之间的卷积计算来输出输出特征图。来输出输出特征图。来输出输出特征图。

【技术实现步骤摘要】
用于实现神经网络的神经形态装置和方法
[0001]本申请要求于2020年6月8日在韩国知识产权局提交的第10
‑
2020
‑
0069100号韩国专利申请的权益，所述韩国专利申请的公开通过引用全部包含于此。


[0002]本公开涉及一种用于实现神经网络的设备以及该设备的操作方法。

技术介绍

[0003]面向存储器的神经网络装置表示对生物大脑进行建模的计算架构。随着面向存储器的神经网络技术的发展，已经积极地进行了通过在各种类型的电子系统中使用面向存储器的神经网络来分析输入数据并提取有效信息的研究。
[0004]因此，为了通过使用以存储器为中心的神经网络来实时分析大量输入数据并提取期望的信息，需要一种用于高效地处理计算的技术。

技术实现思路

[0005]本公开提供了一种用于通过使用神经网络生成化学结构的设备和方法。本公开还提供一种其上记录有用于在计算机上执行所述方法的程序的计算机可读记录介质。将由一个或多个实施例实现的技术目标不限于如上所述的技术目标，并且其它技术问题可从下面的实施例来推断。
[0006]另外的方面将部分地在以下描述中阐述，并且部分地将从描述清楚，或者可通过实践呈现的公开的实施例而得知。
[0007]根据实施例的一方面，一种用于实现神经网络的神经形态装置包括：存储器，其中存储有至少一个程序；片上存储器，包括交叉开关矩阵阵列电路；和至少一个处理器，被配置为通过执行所述至少一个程序来驱动神经网络，其中，所述至少一个处理器还被配置为：将二进制权重值存储在包括在交叉开关矩阵阵列电路中的突触电路中；从存储器获得输入特征图；将输入特征图转换成时域二进制向量；将时域二进制向量提供为交叉开关矩阵阵列电路的输入值；和通过执行二进制权重值与时域二进制向量之间的卷积计算来输出输出特征图。
[0008]根据实施例的另一方面，一种用于实现神经网络的神经网络装置，所述神经网络装置包括：存储器，其中存储有至少一个程序；和至少一个处理器，被配置为通过执行所述至少一个程序来驱动神经网络，其中，所述至少一个处理器还被配置为：从存储器获得二进制权重值和输入特征图；将输入特征图转换成时域二进制向量；和通过执行二进制权重值与时域二进制向量之间的卷积计算来输出输出特征图。
[0009]根据实施例的另一方面，一种在神经形态装置中实现神经网络的方法包括：将二进制权重值存储在神经形态装置中的包括在交叉开关矩阵阵列电路中的突触电路中；从神经形态装置中的存储器获得输入特征图；将输入特征图转换成时域二进制向量；将时域二进制向量作为输入值提供给交叉开关矩阵阵列电路；和通过在二进制权重值与时域二进制
向量之间执行卷积计算来输出输出特征图。
[0010]根据实施例的另一方面，一种在神经网络装置中实现神经网络的方法包括：从存储器获得二进制权重值和输入特征图；将输入特征图转换成时域二进制向量；和通过在二进制权重值与时域二进制向量之间执行卷积计算来输出输出特征图。
[0011]根据实施例的另一方面，提供了一种其上记录有用于在计算机上实现以上方法的程序的计算机可读记录介质。
附图说明
[0012]从下面的结合附图的描述，公开的特定实施例的以上和其它方面、特征和优点将更加清楚，其中：
[0013]图1是用于描述生物神经元和模拟生物神经元的操作的数学模型的示图。
[0014]图2A至图2B是根据实施例的用于描述神经形态装置的操作方法的示图。
[0015]图3A至图3B是根据实施例的用于将向量矩阵乘法与在交叉开关矩阵(或交叉开关，crossbar)阵列中执行的计算进行比较的示图。
[0016]图4是根据实施例的用于描述在神经形态装置中执行卷积计算的示例的示图。
[0017]图5是根据实施例的用于描述在神经网络中执行的计算的示图。
[0018]图6A至图6C是根据实施例的用于描述将初始权重值转换成二进制权重值的示例的示图。
[0019]图7A和图7B是根据实施例的用于描述将输入特征图转换成时域二进制向量的示例的示图。
[0020]图8是根据实施例的用于描述将二进制权重值和时域二进制向量应用到批归一化(或批量归一化，batch normalization)处理的示图。
[0021]图9是根据实施例的使用冯诺依曼结构(von Neumann structure)的神经网络装置的框图。
[0022]图10是根据实施例的使用存储器内结构(in
‑
memory structure)的神经网络装置的框图。
[0023]图11是根据实施例的在神经网络装置中实现神经网络的方法的流程图。
[0024]图12是根据实施例的在神经形态装置中实现神经网络的方法的流程图。
[0025]图13是示出根据实施例的神经网络装置的硬件配置的框图。
[0026]图14是示出根据实施例的神经形态装置的硬件配置的框图。
具体实施方式
[0027]现在将对实施例进行详细参照，实施例的示例在附图中示出，其中，相同的参考标号始终表示相同的元件。在这方面，本实施例可具有不同的形式，并且不应被解释为限于在此阐述的描述。因此，通过参照附图，以下仅描述实施例以解释方面。如在此使用的，术语“和/或”包括相关联的所列项中的一个或多个的任何和所有组合。诸如
“……
中的至少一个”的表述在一列元素之后时，修饰整列元素，而不是修饰列中的单个元素。
[0028]除非另有明确指定，否则在贯穿本说明书中出现的短语“在一些实施例中”、“在特定实施例中”、“在各种实施例中”以及类似的语言可以但不必全部表示相同的实施例，而是
表示“一个或多个但不是全部的实施例”。
[0029]可根据功能块组件和各种处理步骤来描述一些实施例。这样的功能块可由被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如，公开的功能块可用用于特定功能的一个或多个微处理器或电路配置来实现。此外，公开的功能块可用任何编程或脚本语言来实现。功能块可以在一个或多个处理器上执行的算法中实现。此外，公开可以采用任何数量的用于电子配置、信号处理和/或数据处理的常规技术。诸如“机制”、“元件”、“装置”和“组合物”的术语可以广泛使用，并且不限于机械组件和物理组件。
[0030]此外，在呈现的各种附图中示出的连接线或连接器意在表示各种元件之间的示例性功能关系和/或物理结合或逻辑结合。应注意，在实际装置中可存在许多替换功能关系或附加功能关系、物理连接或逻辑连接。
[0031]在下文中，将参照附图详细描述本公开。
[0032]图1是用于描述生物神经元和模拟生物神经元的操作的数学模型的示图。
[0033]生物神经元表示人类神经系统中的细胞。生物神经元可以是基本生物计算实体之一。人脑包括约1000亿个生物神经元和生物神经元之间的约100万亿个互连(interconnection)。...

【技术保护点】

【技术特征摘要】
1.一种用于实现神经网络的神经形态装置，所述神经形态装置包括：存储器，存储有至少一个程序；片上存储器，包括交叉开关矩阵阵列电路；和至少一个处理器，被配置为通过执行所述至少一个程序来驱动神经网络，其中，所述至少一个处理器还被配置为：将二进制权重值存储在包括在交叉开关矩阵阵列电路中的突触电路中；从存储器获得输入特征图；将输入特征图转换成时域二进制向量；将时域二进制向量提供为交叉开关矩阵阵列电路的输入值；和通过使用交叉开关矩阵阵列电路执行二进制权重值与时域二进制向量之间的卷积计算来输出输出特征图。2.根据权利要求1所述的神经形态装置，其中，所述至少一个处理器还被配置为：通过对卷积计算的结果执行批归一化来输出输出特征图。3.根据权利要求2所述的神经形态装置，其中，所述至少一个处理器还被配置为：通过将批归一化的初始标度值与初始权重值的绝对值的平均值相乘并且将相乘的结果除以包括在每个时域二进制向量中的元素的数量来计算修改的标度值；和基于修改的标度值执行批归一化。4.根据权利要求1所述的神经形态装置，其中，所述至少一个处理器还被配置为：基于量化等级将输入特征图转换成时域二进制向量。5.根据权利要求4所述的神经形态装置，其中，所述至少一个处理器还被配置为：将允许被输入到神经网络的最大值与最小值之间的范围划分成N个量化等级，其中，N是正整数；和基于所述N个量化等级之中的输入特征图的激活分别所属的量化等级，将激活转换成时域二进制向量。6.根据权利要求5所述的神经形态装置，其中，所述至少一个处理器还被配置为：将允许被输入到神经网络的最大值与最小值之间的范围划分成非线性量化等级。7.根据权利要求3至6中的任一项所述的神经形态装置，其中，所述至少一个处理器还被配置为：执行用于将应用到神经网络的每个偏置值与初始标度值相乘的乘法计算；和将乘法计算的结果反映到输出特征图。8.根据权利要求3至6中的任一项所述的神经形态装置，其中，所述至少一个处理器还被配置为：通过对卷积计算的结果执行批归一化并且将激活函数应用到批归一化的结果来输出输出特征图。9....

【专利技术属性】
技术研发人员：金炫秀，权纯完，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：