【技术实现步骤摘要】
本公开涉及用于使用基于整数的运算来计算分类输出的概率分布的由计算机实现的方法。具体地，本公开涉及一种用于在数据处理装置上计算softmax函数的由计算机实现的方法，该方法避免了指数运算。
技术介绍
1、softmax函数将输入向量归一化为与输入数的指数成比例的概率分布。在应用softmax函数后，概率分布中的各个分量具有在0和1之间的值，并且分量的和为1。softmax函数可以用作神经网络(例如，分类神经网络)的最后激活函数，以将神经网络的输出归一化为在所预测的输出类上的概率分布。为了执行softmax函数，处理器通常需要计算指数函数，这会需要大量的计算时间和能量。
技术实现思路
1、本文描述了用于使用基于整数的运算来计算分类输出的概率分布的技术和系统。特别地，本文描述了用于使用分段近似而不使用指数运算来执行softmax函数的技术和系统。示例处理装置包括处理器，该处理器获得输入数y，输入数y可以偏离原始输入数x。对于各个输入数yi，处理器通过将该输入数yi乘以2的自然对数的倒数的近似值来确定元素数zi。然后将各个元素数zi分成整数部分inti和分数部分fraci。使用分数部分fraci的分段近似来确定分数分量fc,i。然后，处理器使用该分数分量fc,i和整数部分inti生成二进制数qi，其表示对应的输入数yi的指数值。根据二进制数q确定归一化概率pi。这样，对于基于整数的处理器优化了softmax函数的执行，以提供高高效和准确的计算。
2、本文还描述了由上述系统和这里
3、本概述介绍了与详细描述和附图中描述的使用分段近似来执行softmax函数相关的简化构思。本概述不旨在标识所要求保护的主题的必要特征，也不旨在确定所要求保护的主题的范围。
本文档来自技高网...【技术保护点】
1.一种处理神经网络的分类输出的由计算机实现的方法，所述方法包括以下步骤：
2.根据权利要求1所述的由计算机实现的方法，其中，确定所述二进制数qi的步骤包括：
3.根据权利要求2所述的由计算机实现的方法，其中，确定所述分数分量fc,i的步骤包括通过以下处理来计算对2的所述分数部分fraci的相反数次幂的线性近似或二次近似：
4.根据权利要求1至3中的任一项所述的由计算机实现的方法，其中，根据所述二进制数q确定所述归一化概率pi的步骤包括：
5.根据权利要求4所述的由计算机实现的方法，其中，生成所述二进制数qi的步骤包括通过以下处理将所述分数分量fc,i右移所述整数部分inti的值：
6.根据前述权利要求中的任一项所述的由计算机实现的方法，其中，各个输入数yi由输入缩放因子Sin缩放且存储在第一N位寄存器中。
7.根据权利要求6所述的由计算机实现的方法，其中，所述输入缩放因子Sin是基于所述输入数y的预期最小值和预期最大值以及所述第一寄存器的大小N来确定的。
8.根据权利要求2至5中的任一项所述的由
9.根据权利要求8所述的由计算机实现的方法，其中，通过将所述输入数yi乘以2的自然对数的倒数的近似值来确定所述元素数zi的步骤还包括：
10.根据权利要求2至5中的任一项所述的由计算机实现的方法，其中，通过将所述输入数yi乘以2的自然对数的倒数的近似值来确定所述元素数zi的步骤包括：
11.根据权利要求10所述的由计算机实现的方法，其中，通过将所述输入数yi乘以2的自然对数的倒数的近似值来确定所述元素数zi的步骤还包括：
12.根据权利要求9或11所述的由计算机实现的方法，其中，确定所述归一化概率pi的步骤包括：
13.根据权利要求4所述的由计算机实现的方法，其中，所述二进制数qi是以包括指数和尾数的IEEE 754浮点数的形式在所述结果寄存器中生成的，其中，所述指数是二进制形式的所述整数部分inti与所述IEEE 754指数偏差的组合，并且所述尾数是从所述分数分量fc,i得出的。
14.根据前述权利要求中的任一项所述的由计算机实现的方法，其中，所述由计算机实现的方法还包括：
15.一种包括一个或更多个处理器的系统，所述一个或更多个处理器被配置成执行根据前述权利要求中的任一项所述的由计算机实现的方法。
...【技术特征摘要】
1.一种处理神经网络的分类输出的由计算机实现的方法，所述方法包括以下步骤：
2.根据权利要求1所述的由计算机实现的方法，其中，确定所述二进制数qi的步骤包括：
3.根据权利要求2所述的由计算机实现的方法，其中，确定所述分数分量fc,i的步骤包括通过以下处理来计算对2的所述分数部分fraci的相反数次幂的线性近似或二次近似：
4.根据权利要求1至3中的任一项所述的由计算机实现的方法，其中，根据所述二进制数q确定所述归一化概率pi的步骤包括：
5.根据权利要求4所述的由计算机实现的方法，其中，生成所述二进制数qi的步骤包括通过以下处理将所述分数分量fc,i右移所述整数部分inti的值：
6.根据前述权利要求中的任一项所述的由计算机实现的方法，其中，各个输入数yi由输入缩放因子sin缩放且存储在第一n位寄存器中。
7.根据权利要求6所述的由计算机实现的方法，其中，所述输入缩放因子sin是基于所述输入数y的预期最小值和预期最大值以及所述第一寄存器的大小n来确定的。
8.根据权利要求2至5中的任一项所述的由计算机实现的方法，其中，通过将所述输入数yi乘以2的自然对数的倒数的近似值来确定所述元素数zi的步骤包括：<...
【专利技术属性】
技术研发人员：C·培提格，
申请(专利权)人：APTIV技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。