神经网络装置及其操作方法、应用处理器制造方法及图纸

提供了神经网络装置及其操作方法、应用处理器。一种用于执行神经网络操作的神经网络装置，包括：浮点运算电路，该浮点运算电路被配置为对多个浮点数据对中的每一个执行点积操作，其中，浮点运算电路被配置为：在点积操作，基于从分别与浮点数据对相对应的多个指数部分加法操作结果中确定的最大值，将分别与浮点数据对相对应的多个分数部分乘法操作结果对齐移位。位。位。

【技术实现步骤摘要】
神经网络装置及其操作方法、应用处理器
[0001]相关申请的交叉引用
[0002]本申请基于并要求2020年4月7日在韩国知识产权局提交的韩国专利申请No.10
‑
2020
‑
0042410和2020年12月24日在韩国知识产权局提交的韩国专利申请No.10
‑
2020
‑
0183519的优先权，其各自的公开内容通过引用整体并入本文。


[0003]专利技术构思涉及神经网络，并且更具体地，涉及包括浮点运算电路的神经网络装置以及/或者该神经网络装置的浮点运算方法。

技术介绍

[0004]神经网络可以指的是对与动物的大脑相对应的生物网络进行建模的计算架构。随着神经网络技术的最新发展，正在积极地进行在各种类型的电子系统中使用基于神经网络操作的神经网络装置来分析输入数据和/或提取有效信息的研究。
[0005]神经网络装置需要用于复杂输入数据的大量操作。为了使神经网络装置实时分析输入并提取信息，需要一种能够有效处理神经网络的操作的技术。特别地，由于诸如智能电话之类的低功率高性能系统具有有限的资源，因此需要一种能够改善人工神经网络的性能(例如使人工神经网络的性能最大化)同时减少处理复杂输入数据所需的操作量的技术。

技术实现思路

[0006]专利技术构思提供了包括浮点运算电路的神经网络装置以及/或者该神经网络装置的浮点运算方法。
[0007]根据专利技术构思的一些示例实施例，提供了一种神经网络装置，神经网络装置包括被配置为对多个浮点数据对中的每一个执行点积操作的处理电路。处理电路被配置为通过对分别与浮点数据对相对应的多个分数部分乘法操作结果进行对齐移位来执行点积操作，对齐移位基于从分别与浮点数据对相对应的多个指数部分加法操作结果中确定的第一值。
[0008]根据专利技术构思的一些示例实施例，提供了一种操作神经网络装置的方法，方法包括从存储器接收多个浮点数据对，以及对多个浮点数据对中的每一个执行点积操作。点积操作的执行包括：对多个浮点数据对中的每一个执行指数部分加法运算；对多个浮点数据对中的每一个执行分数部分乘法操作；从分别与多个浮点数据对中的每一个相对应的指数部分加法操作结果中确定第一值；以及基于第一值，将分别与多个浮点数据对中的每一个相对应的分数部分乘法操作结果进行对齐移位。
[0009]根据专利技术构思的一些示例实施例，提供了一种包括神经网络装置的应用处理器，神经网络装置被配置为对多个浮点数据对中的每一个执行点积操作，浮点数据对包括操作参数和特征值。神经网络装置被配置为通过将与浮点数据对相对应的多个分数部分乘法操作结果共同地进行对齐移位和求和来执行点积操作，对齐移位和求和基于分别与浮点数据对相对应的多个指数部分加法操作结果。
附图说明
[0010]通过以下结合附图的详细描述，将更清楚地理解专利技术构思的一些非限制性示例实施例，在附图中：
[0011]图1是示出根据专利技术构思的一些示例实施例的神经网络系统的示意框图；
[0012]图2是示出神经网络结构的示例的示图；
[0013]图3A至图3C是用于描述浮点数据格式的类型的示例的图，并且图3D是用于描述整数数据的示例的示图；
[0014]图4是根据专利技术构思的一些示例实施例的操作神经网络装置的方法的流程图；
[0015]图5是示出根据专利技术构思的一些示例实施例的神经网络系统的操作的示图；
[0016]图6是示出根据专利技术构思的一些示例实施例的神经网络装置的示图；
[0017]图7A是示出根据专利技术构思的一些示例实施例的执行点积操作的浮点运算电路的示图，并且图7B是用于描述输入到浮点运算电路的浮点数据对的格式的类型的示图；
[0018]图8A和图8B是用于描述根据浮点数据的格式的类型执行位扩展的乘法器的示图；
[0019]图9是示出根据专利技术构思的一些示例实施例的执行累加操作的浮点运算电路的示图；
[0020]图10和图11是用于描述根据专利技术构思的一些示例实施例的浮点运算电路的操作的示图；
[0021]图12是示出根据专利技术构思的一些示例实施例的在神经网络装置中包括的操作电路的框图；以及
[0022]图13是示出根据专利技术构思的一些示例实施例的应用处理器的框图。
具体实施方式
[0023]图1是示出根据专利技术构思的一些示例实施例的神经网络系统100的示意框图。
[0024]神经网络系统100可以训练和/或学习神经网络，并且/或者可以通过使用神经网络分析输入数据来推断在输入数据中包括的信息。神经网络系统100可以基于推断的信息来确定状况并且/或者可以控制安装有神经网络系统100的电子装置的组件。例如，神经网络系统100可以应用于使用神经网络执行语音识别、图像识别和图像分类的智能手机、平板装置、智能电视、增强现实(AR)装置、物联网(IoT)装置、自动驾驶车辆、机器人、医疗装置、无人机、高级驾驶员辅助系统(ADAS)、图像显示装置、测量装置等中的至少一种，并且神经网络系统100也可以安装在各种类型的电子装置中。在一些示例实施例中，图1的神经网络系统100可以是或包括应用处理器。
[0025]参照图1，神经网络系统100可以包括中央处理单元(CPU)110、神经网络装置(NND)120、存储器130和传感器模块140。神经网络系统100还可以包括输入/输出模块、安全模块和电源控制器，并且还可以包括各种类型的处理器。在一些实施例中，神经网络系统100的一些或全部组件(例如，CPU 110、神经网络装置120、存储器130和传感器模块140)可以形成在单个芯片上。例如，神经网络系统100可以被实现为片上系统(SoC)。神经网络系统100的组件可以通过总线150彼此通信。总线150可以是有线的，并且/或者可以是无线的。尽管在图1中未示出，但是神经网络系统100还可以包括用于与其它知识产权(IP)块通信的接口(未示出)。
[0026]CPU 110控制神经网络系统100的所有操作。CPU 110可以包括单核或多核。CPU 110可以处理和/或运行在诸如存储器130的存储区域中存储的程序和/或数据。
[0027]例如，CPU 110可以控制神经网络装置120运行应用并执行应用被运行时所需的基于神经网络的任务。神经网络装置120可以包括各种类型的神经网络模型中的至少一种，例如，卷积神经网络(CNN)、具有卷积神经网络的区域(R
‑
CNN)、区域提议网络(RPN)、递归神经网络(RNN)、基于堆栈的深度神经网络(S
‑
DNN)、状态空间动态神经网络(S
‑
SDNN)、解卷积网络、深度置信网络(DBN)、受限玻尔兹曼机(RBM)、全卷积网络、长短期记忆(LSTM)网络和/或分类网络。
[0028]神经网络装置120可以基于接收到的输入数据来执行神经网络操作。神经网络装置120可以基于执行神经网络操作的结果来生成信息信号。神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种配置为执行神经网络操作的神经网络装置，所述神经网络装置包括：处理电路，其被配置为对多个浮点数据对中的每一个执行点积操作，其中，所述处理电路被配置为通过对分别与所述多个浮点数据对相对应的多个分数部分乘法操作结果进行对齐移位来执行所述点积操作，所述对齐移位基于从分别与所述多个浮点数据对相对应的多个指数部分加法操作结果中确定的第一值。2.根据权利要求1所述的神经网络装置，其中，所述多个浮点数据对包括多条输入数据，所述多条输入数据具有浮点16类型和脑浮点16类型中的至少一种的格式。3.根据权利要求2所述的神经网络装置，其中，所述处理电路被配置为输出输出数据，所述输出数据具有浮点32类型的格式。4.根据权利要求2所述的神经网络装置，其中，所述处理电路被配置为扩展所述输入数据当中的具有所述浮点16类型的格式的第一数据的指数部分的位区域，并且扩展所述输入数据当中的具有所述脑浮点16类型的格式的第二数据的分数部分的位区域。5.根据权利要求4所述的神经网络装置，其中，所述处理电路被配置为扩展所述第一数据的指数部分的位区域以匹配所述第二数据的指数部分的位区域宽度。6.根据权利要求4所述的神经网络装置，其中，所述处理电路被配置为扩展所述第二数据的分数部分的位区域以匹配所述第一数据的分数部分的位区域宽度。7.根据权利要求1所述的神经网络装置，其中，所述处理电路被配置为在所述对齐移位中扩展或丢弃分数部分乘法操作结果，所述扩展或丢弃基于根据应用的操作精度而变化的位宽度，所述应用使用由所述神经网络装置生成的数据。8.根据权利要求1所述的神经网络装置，其中，所述处理电路被配置为：对多个整数数据对中的每一个执行乘法操作，以及将经对齐移位的分数部分乘法操作结果求和。9.根据权利要求1所述的神经网络装置，还包括：缓冲器，其中所述处理电路被配置为通过将与所述多个浮点数据对相对应的多个分数部分乘法操作结果和从所述缓冲器接收的第一累加数据的分数部分对齐移位并求和，来生成第二累加数据，生成所述第二累加数据基于通过附加地考虑所述第一累加数据的指数值而确定的所述第一值。10.根据权利要求1所述的神经网络装置，其中，所述处理电路被配置为通过将经对齐移位的分数部分乘法操作结果求和以及对所述求和的结果进行归一化和四舍五入，来生成输出数据。11.根据权利要求10所述的神经网络装置，其中，所述输出数据具有与在所述多个浮点数据对中包括的多条输入数据的格式不同的格式。12.根据权利要求1所述的神经网络装置，其中，所述处理电路被配置为：将所述多个分数部分乘法操作结果在分别...

【专利技术属性】
技术研发人员：金贤弼，安成祐，李宗协，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：