用于计算的系统和方法技术方案

公开了用于计算的系统和方法。在一些实施例中，所述系统包括：电路，被配置为将第一数与第二数相乘，第一数被表示为：符号位、五个指数位以及七个尾数位，所述七个尾数位表示八位全尾数。尾数。尾数。

【技术实现步骤摘要】
用于计算的系统和方法
[0001]本申请要求于2021年12月23日提交的名称为“用于深度学习神经网络加速的FP13和近似的FP16”的第63/293,400号美国临时申请以及于2022年1月6日提交的第17/570,326号美国专利申请的优先权和权益，所述美国申请的全部内容通过引用包含于此。


[0002]根据本公开的实施例的一个或多个方面涉及用于计算的系统和方法，更具体地，涉及用于神经网络推断操作的高效处理的系统和方法。

技术介绍

[0003]在人工神经网络中，用于推断操作的处理可能涉及大量的乘法运算和加法运算。在一些情况下，快速执行处理是有利的，并且处理消耗很少的能量也可能是有利的。
[0004]这是本公开的各方面所相关的总体技术环境。

技术实现思路

[0005]根据本公开的实施例，提供了一种系统，所述系统包括：电路，被配置为将第一数与第二数相乘，第一数被表示为：符号位、五个指数位以及七个尾数位，所述七个尾数位表示八位全尾数。
[0006]在一些实施例中，所述电路包括：第一乘法器；第二乘法器；第三乘法器；以及第四乘法器，第一乘法器、第二乘法器、第三乘法器和第四乘法器中的每个是4位乘8位的乘法器。
[0007]在一些实施例中，第二数被表示为：符号位、五个指数位以及七个尾数位，所述七个尾数位表示八位全尾数。
[0008]在一些实施例中，所述电路在第一配置中被配置为：使用第一乘法器和第二乘法器将第一数的尾数与第二数的尾数相乘。
[0009]在一些实施例中，所述电路在第二配置中被配置为：计算第三数和第四数的近似乘积，第三数和第四数中的每个被表示为：符号位、五个指数位以及十个尾数位，所述十个尾数位表示11位全尾数。
[0010]在一些实施例中，所述电路在第二配置中被配置为：使用第一乘法器和第二乘法器将第三数的全尾数中的八位与第四数的全尾数中的八位相乘；使用第三乘法器将第三数的全尾数中的三位与第四数的全尾数中的八位相乘；以及使用第四乘法器将第三数的全尾数中的八位与第四数的全尾数中的三位相乘。
[0011]在一些实施例中，所述电路被配置为：不计算第三数的全尾数中的所述三个最低有效位与第四数的全尾数中的所述三个最低有效位的乘积。
[0012]在一些实施例中，第二数是8位整数，并且所述电路被配置为：使用第一乘法器和第二乘法器将第一数的全尾数中的8位与第二数相乘。
[0013]在一些实施例中，第二数是4位整数，并且所述电路被配置为：使用第一乘法器将
第一数的全尾数中的8位与第二数相乘。
[0014]根据本公开的实施例，提供一种方法，所述方法包括：通过电路将第一数与第二数相乘，第一数被表示为：符号位、五个指数位以及七个尾数位，所述七个尾数位表示八位全尾数。
[0015]在一些实施例中，所述电路包括：第一乘法器；第二乘法器；第三乘法器；以及第四乘法器，第一乘法器、第二乘法器、第三乘法器和第四乘法器中的每个是4位乘8位的乘法器。
[0016]在一些实施例中，第二数被表示为：符号位、五个指数位以及七个尾数位，所述七个尾数位表示八位全尾数。
[0017]在一些实施例中，所述电路在第一配置中被配置为：使用第一乘法器和第二乘法器将第一数的尾数与第二数的尾数相乘。
[0018]在一些实施例中，所述电路在第二配置中被配置为：计算第三数和第四数的近似乘积，第三数和第四数中的每个被表示为：符号位、五个指数位以及十个尾数位，所述十个尾数位表示11位全尾数。
[0019]在一些实施例中，所述电路在第二配置中被配置为：使用第一乘法器和第二乘法器将第三数的全尾数中的八位与第四数的全尾数中的八位相乘；使用第三乘法器将第三数的全尾数中的三位与第四数的全尾数中的八位相乘；以及使用第四乘法器将第三数的全尾数中的八位与第四数的全尾数中的三位相乘。
[0020]在一些实施例中，所述电路被配置为：不计算第三数的全尾数中的所述三个最低有效位与第四数的全尾数中的所述三个最低有效位的乘积。
[0021]在一些实施例中，第二数是8位整数，并且所述电路被配置为：使用第一乘法器和第二乘法器将第一数的全尾数中的8位与第二数相乘。
[0022]在一些实施例中，第二数是4位整数，并且所述电路被配置为：使用第一乘法器将第一数的全尾数中的8位与第二数相乘。
[0023]根据本公开的实施例，提供一种系统，所述系统包括：用于将第一数与第二数相乘的装置，第一数被表示为：符号位、五个指数位以及七个尾数位，所述七个尾数位表示八位全尾数。
[0024]在一些实施例中，所述用于相乘的装置包括：第一乘法器；第二乘法器；第三乘法器；以及第四乘法器，第一乘法器、第二乘法器、第三乘法器和第四乘法器中的每个是4位乘8位的乘法器。
附图说明
[0025]参照说明书、权利要求书和附图，将了解和理解本公开的这些和其他特征和优点，其中：
[0026]图1A是根据本公开的实施例的若干数值表示的图示；
[0027]图1B是根据本公开的实施例的若干数值表示的特性的表；
[0028]图2A是根据本公开的实施例的近似乘积的计算的图示；
[0029]图2B是根据本公开的实施例的用于计算乘积或近似乘积的硬件的图示；
[0030]图3A是根据本公开的实施例的性能特性的表；
[0031]图3B是根据本公开的实施例的性能特性的表；
[0032]图3C是根据本公开的实施例的性能特性的表；
[0033]图4是根据本公开的实施例的性能特性的表；
[0034]图5是根据本公开的实施例的性能特性的表；以及
[0035]图6是根据本公开的实施例的性能特性的表。
具体实施方式
[0036]下面结合附图阐述的具体实施方式旨在作为根据本公开提供的用于神经网络推断操作的高效处理的系统和方法的示例性实施例的描述，而不旨在表示可构造或利用本公开的唯一形式。该描述结合示出的实施例阐述本公开的特征。然而，将理解，相同或等同的功能和结构可通过不同的实施例来实现，这些实施例也旨在包含在公开的范围内。如本文其他地方所表示的，相同的元件编号旨在表示相同的元件或特征。
[0037]执行推断操作的人工神经网络可执行大量的乘法运算和加法运算。这些运算可形成人工神经网络的计算负担的显著部分，使得降低这些运算的成本可对人工神经网络的性能(例如，处理速度)具有显著影响。此外，在一些情况下，推断操作可在便携式装置中(例如，在移动电话中)执行。在这种情况下，限制电路尺寸和功耗可能是有利的，并且能够在相对少量的芯片面积中执行乘法和加法并且使用很少功率的硬件可能是有利的。
[0038]由人工神经网络执行的乘法运算中的一些(例如，大多数)可以是各自形成权重和激活的乘积的乘法运算。在一些情况下，权重和激活二者可被表示为浮点数。图1A和图1B示出各种浮点表示，包括bfloat16(其也可被称为BF16)、float32(也可称本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于计算的系统，包括：电路，被配置为将第一数与第二数相乘，第一数被表示为：符号位、五个指数位以及七个尾数位，所述七个尾数位表示八位全尾数。2.如权利要求1所述的系统，其中，所述电路包括：第一乘法器；第二乘法器；第三乘法器；以及第四乘法器，第一乘法器、第二乘法器、第三乘法器和第四乘法器中的每个是4位乘8位的乘法器。3.根据权利要求2所述的系统，其中，第二数被表示为：符号位、五个指数位以及七个尾数位，所述七个尾数位表示八位全尾数。4.根据权利要求3所述的系统，其中，所述电路在第一配置中被配置为：使用第一乘法器和第二乘法器将第一数的尾数与第二数的尾数相乘。5.根据权利要求4所述的系统，其中，所述电路在第二配置中被配置为：计算第三数和第四数的近似乘积，第三数和第四数中的每个被表示为：符号位、五个指数位以及十个尾数位，所述十个尾数位表示11位全尾数。6.根据权利要求5所述的系统，其中，所述电路在第二配置中被配置为：使用第一乘法器和第二乘法器将第三数的全尾数中的八位与第四数的全尾数中的八位相乘；使用第三乘法器将第三数的全尾数中的三位与第四数的全尾数中的八位相乘；以及使用第四乘法器将第三数的全尾数中的八位与第四数的全尾数中的三位相乘。7.根据权利要求6所述的系统，其中，所述电路被配置为：不计算第三数的全尾数中的三个最低有效位与第四数的全尾数中的三个最低有效位的乘积。8.根据权利要求2所述的系统，其中，第二数是8位整数，并且所述电路被配置为：使用第一乘法器和第二乘法器将第一数的全尾数中的8位与第二数相乘。9.根据权利要求2所述的系统，其中，第二数是4位整数，并且所述电路被配置为：使用第一乘法器将第一数的全尾数中的8位与第二数相乘。10.根据权利要求1至9中的任意一项所述的系统，还包括：加法器树，其中，第一数与第二数相乘的值被输入到加法器树；以及累加器，被配置为基于加法器树输出的结果输出计算结果。11.一种用于...

【专利技术属性】
技术研发人员：李玲，阿里，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：