一种有限输入定点数矩阵乘法器的优化方法技术

本发明专利技术属于集成电路技术领域，具体为一种有限输入定点数矩阵乘法器的优化方法。该乘法器将定点数矩阵乘法运算拆分为有限输入的矩阵乘法运算与矩阵位移运算，对于矩阵中个别超出输入范围的单元，依然可以用有限输入的定点数矩阵乘法器来实现，保持低计算复杂度。矩阵乘法作为各类处理器的基本运算之一，该实现方法可以在维持低功耗的同时拓展定点数矩阵乘法运算的定义域。在神经网络应用中，对于CPU与加速器结合的架构，可以由CPU完成定义域溢出检测与移位计算，由加速器完成定点数矩阵乘法，并将输入溢出量转化为偏移量一起累加，达到低功耗的目的。

【技术实现步骤摘要】
一种有限输入定点数矩阵乘法器的优化方法
本专利技术属于集成电路
，具体涉及有限输入定点数矩阵乘法器的优化方法。
技术介绍
矩阵乘法是一种计算机处理器中经常用到，却非常耗时且耗费硬件资源的运算。随着计算机架构的进一步发展，大规模人工神经网络的出现，人工智能应用对处理器的运算能力提出了更高的要求，各种加速器、专用处理器，包括图形处理器及深度学习处理器等，成为了系统运算的主力，其中，矩阵乘法依然是基本运算之一，要通过硬件完成运算且要求高速低功耗，一种快速有效的实现方法有很高的实用价值。以深度学习算法为例，我们知道它需要完成一系列矩阵乘法及加法运算，而输入数值基本能保持在一定范围内，只有少量个别权重值在训练过程中会超出定义域范围，若此时采用浮点数矩阵乘法器的实现方法，无谓提高了硬件复杂度，但若采用定点数矩阵乘法器的实现方法，那个偶尔超出定义域的权重值则会被误截取到错误的值，严重影响了计算结果。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种有限输入定点数矩阵乘法器的优化方法。本专利技术提供的有限输入定点数矩阵乘法器的优化方法，其包括：若所述矩阵乘法器其中一个乘法因子的定点数矩阵中有一个单元超出了输入定义域范围，那么将其拆分为一个定义域范围内的数与2i的和；将矩阵乘法拆分为定义域范围内的矩阵乘法与矩阵的移位运算。本专利技术还提供实现上述优化方法的定点数矩阵乘法器，其包括：输入定义域检测模块，用于将一个乘法因子的定点数矩阵中超出了输入定义域范围的单元，拆分为一个定义域范围内的数与2i的和；移位计算模块，用于将另一个乘法因子移位i位；定点数矩阵乘法器模块，用于进行有限输入定点数矩阵乘法；矩阵加法器模块，用于将移位计算模块与定点数矩阵乘法器模块的结果相加。进一步地，所述的输入定义域检测模块与移位计算模块，在CPU与加速器结合的架构下，可以由CPU实现；所述定点数矩阵乘法器模块，在CPU与加速器结合的架构下，可以由加速器实现。本专利技术中，无论矩阵或向量的大小，所述超出输入定义域范围的单元有且只能出现一个。本专利技术中，所述矩阵包括向量，所述矩阵乘法器可以执行向量间、矩阵间或矩阵与向量间的乘法。本专利技术的技术效果是，通过将定点数矩阵乘法运算拆分为有限输入的矩阵乘法运算与矩阵位移运算，对于矩阵中个别超出输入范围的单元，可以用有限输入的定点数矩阵乘法器来实现，可以在维持低功耗、低硬件复杂度的同时拓展定点数矩阵乘法运算的定义域。附图说明图1是本专利技术的有限输入定点数矩阵乘法器的优化方法示意图。图2是本专利技术的有限输入定点数矩阵乘法器的结构框图。图3是本专利技术有限输入定点数矩阵乘法器在神经网络应用中的示意图。具体实施方式在下文中结合图示在参考实施例中更完全地描述本专利技术，本专利技术提供优选实施例，但不应该被认为仅限于在此阐述的实施例。图1所示为本专利技术定点数矩阵乘法器的实现方法示意图，示意了一个4x4矩阵W与向量x的点乘过程，其中矩阵W中除w33外，其它单元均在定点数定义域(-2,2)的范围内；将w33拆分为一个在定义域(-2,2)范围内的数w33’与2i的和，矩阵W也拆分为矩阵W’与矩阵W33的和，其中矩阵W’中的每个单元均在定点数定义域范围内；矩阵W’与向量x的点乘可以用普通的定点数矩阵乘法器来完成，而矩阵W33与向量x的点乘结果仅为向量x第三个单元x3产生i位位移，而位移运算在硬件上极易实现且消耗很少；将以上两者结果相加即为定义域扩展的矩阵W与向量x的点乘结果。图2所示为本专利技术的有限输入定点数矩阵乘法器的结构框图，输入矩阵W中有一个单元超出了该定点数矩阵乘法器的输入范围，经过输入定义域检测模块后，将超出输入范围的单元拆分为2的i次幂与定义域范围内的值的和，并组成更新后的矩阵W’,其所有单元都定点数矩阵乘法器的输入范围内。同时将计算得出的i次幂输入到移位计算模块中，将输入向量x移位i位。而更新后的矩阵W’与原向量x相乘，得到的结果与移位后的向量x累加，得到最终的计算结果Y。由于定点数矩阵乘法器的有限输入特性，定点数矩阵乘法的硬件耗费较低，但对于偶尔超出输入范围的数值却直接导致了结果错误，采用本专利技术的定义域扩展的定点数矩阵乘法器，可以允许一个值超出定义域范围，大大增加了乘法器的可靠性，同时仍然保持低功耗的特性，可广泛应用于各种加速器、处理器、协处理器等的基本矩阵运算中。图3所示为本专利技术的有限输入定点数矩阵乘法器在神经网络应用中的示意图，神经元节点通常都需要完成类似W1x1+W2x2+b的运算，其中W1为矩阵，经过CPU中的定义域检测后得到定义域范围内的矩阵W1’，超过定义域范围的单元经过CPU中的i位移位计算后得到的值作为偏移量b，于是在加速器中将矩阵W1’与向量x1相乘，并与同样方式计算的W2x2及偏移量b相加得到神经元节点中的一步基础的计算结果。以上通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。本文档来自技高网...

【技术保护点】
一种有限输入定点数矩阵乘法器的优化方法，其特征在于，包括：若所述矩阵乘法器其中一个乘法因子的定点数矩阵中有一个单元超出了输入定义域范围，那么将其拆分为一个定义域范围内的数与

【技术特征摘要】
1.一种有限输入定点数矩阵乘法器的优化方法，其特征在于，包括：若所述矩阵乘法器其中一个乘法因子的定点数矩阵中有一个单元超出了输入定义域范围，那么将其拆分为一个定义域范围内的数与2i的和；将超出定义域的矩阵乘法拆分为定义域范围内的矩阵乘法与矩阵的移位运算；其中，所述矩阵包括向量，所述矩阵乘法器可以执行向量间、矩阵间或矩阵与向量间的乘法。2.一种如权利要求1所述优化方法的定点数矩阵乘法器，其特征在于，包括：输入定义域检测模块，用于将一个乘法因子的定点数矩阵中超出了输入定义域范围的单元，拆分为一个定义域范围...

【专利技术属性】
技术研发人员：陈迟晓，史传进，张怡云，王彧，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31