量化处理方法及相关装置制造方法及图纸

技术编号：41935768 阅读：12 留言：0更新日期：2024-07-05 14:29

本申请提供一种量化处理方法及相关装置，其中相关装置包括组合处理装置，该组合处理装置包括机器学习处理装置、通用互联接口和其他处理装置。该机器学习处理装置与其他处理装置进行交互，共同完成用户指定的计算操作，从而提高运算效率。

全部详细技术资料下载

【技术实现步骤摘要】

本申请涉及计算机，主要涉及了一种量化处理方法及相关装置。

技术介绍

1、随着深度学习技术在各领域的广泛应用，涌现了大量比中央处理器(centralprocessing unit/processor，cpu)、图形处理器(graphics processing unit，gpu)等传统架构更高效的人工智能(artificial intelligence，ai)芯片。

2、目前，本领域技术人员除使用tensorflow、caffe、pytorch等开源框架之外，还使用自研的ai运算框架，例如，magicmind等自研框架，提高了ai运算的多样性。为了减小存储需求，提升网络模型推理速度，还在自研框架上构造了量化算子。然而，自研框架和开源框架存在区别，如何提高量化算子的适用性是本领域技术人员待解决的技术问题。

技术实现思路

1、本申请实施例提供了一种量化处理方法及相关装置，可识别量化算子的精度。

2、第一方面，本申请实施例提供一种量化处理装置，包括：

3、存储单元，用于存储量化请求；其中，量化请求包括自定义的量化功能；

4、模型构造单元，用于从存储单元获取量化功能并基于量化功能得到对应的参考计算算子以构造模拟量化模型；

5、参数确定单元，用于根据模拟量化模型的输入数据的范围和权值数据的范围确定量化参数；以及

6、计算单元，用于基于模拟量化模型的输入数据和权值数据及量化参数对模拟量化模型进行计算以获取量化结果。

<p>7、第二方面，本申请实施例提供一种量化处理方法，应用于量化处理装置，量化处理装置包括存储单元、模型构造单元、参数确定单元和计算单元，存储单元中存储有量化请求，量化请求包括自定义的量化功能，方法包括：

8、通过模型构造单元从存储单元获取量化功能并基于量化功能得到对应的参考计算算子以构造模拟量化模型；

9、通过参数确定单元根据模拟量化模型的输入数据的范围和权值数据的范围确定量化参数；以及

10、通过计算单元基于模拟量化模型的输入数据和权值数据及量化参数对模拟量化模型进行计算以获取量化结果。

11、第三方面，本申请实施例提供一种计算机设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，程序包括用于如第二方面中所描述的部分或全部步骤的指令。

12、第四方面，本申请实施例提供了一种计算机可读存储介质，其中，计算机可读存储介质存储计算机程序，计算机程序使得计算机执行以实现如第二方面中所描述的部分或全部步骤。

13、第五方面，本申请实施例提供了一种机器学习运算装置，该机器学习运算装置包括一个或者多个第一方面的量化处理装置。该机器学习运算装置用于从其他处理装置中获取待运算数据和控制信息，并执行指定的机器学习运算，将执行结果通过i/o接口传递给其他处理装置；

14、当机器学习运算装置包含多个量化处理装置时，多个量化处理装置间可以通过特定的结构进行链接并传输数据；

15、其中，多个量化处理装置通过pcie总线进行互联并传输数据，以支持更大规模的机器学习的运算；多个量化处理装置共享同一控制系统或拥有各自的控制系统；多个量化处理装置共享内存或者拥有各自的内存；多个量化处理装置的互联方式是任意互联拓扑。

16、第六方面，本申请实施例提供了一种组合处理装置，该组合处理装置包括如第五方面的机器学习处理装置、通用互联接口，和其他处理装置。该机器学习运算装置与上述其他处理装置进行交互，共同完成用户指定的操作。该组合处理装置还可以包括存储装置，该存储装置分别与机器学习运算装置和其他处理装置连接，用于保存机器学习运算装置和其他处理装置的数据。

17、第七方面，本申请实施例提供了一种神经网络芯片，包括上述第一方面的量化处理装置、上述第五方面的机器学习运算装置或者上述第六方面的组合处理装置。

18、第八方面，本申请实施例提供了一种神经网络芯片封装结构，该神经网络芯片封装结构包括上述第七方面的神经网络芯片。

19、第九方面，提供了一种板卡，包括：存储器件、接口装置和控制器件以及上述的神经网络芯片；其中，神经网络芯片与存储器件、控制器件以及接口装置分别连接；

20、存储器件，用于存储数据；

21、接口装置，用于实现神经网络芯片与外部设备之间的数据传输；

22、控制器件，用于对神经网络芯片的状态进行监控；

23、神经网络芯片，用于对数据进行数据处理。

24、第十方面，本申请实施例提供了另一种计算机设备，包括上述量化处理装置、神经网络芯片或板卡。

25、第十一方面，本申请实施例还提供一种执行机器学习模型的计算方法，计算方法应用于量化处理装置，量化处理装置用于执行机器学习计算；量化处理装置包括：运算单元以及控制单元；运算单元包括：一个主处理电路和多个从处理电路；方法包括：

26、控制单元获取数据、机器学习模型以及计算指令；控制单元解析该计算指令得到多个运算指令，将该多个运算指令以及数据发送给主处理电路；主处理电路对数据执行前序处理以及与多个从处理电路之间传输数据以及运算指令；多个从处理电路依据从主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给主处理电路；主处理电路对多个中间结果执行后续处理得到计算指令的计算结果。

27、通过实施本申请实施例，先通过模型构造单元从存储单元中获取包含自定义的量化功能的量化请求，并基于量化功能得到对应的参考计算算子以构造模拟量化模型，再根据模拟量化模型的输入数据的范围和权值数据的范围确定量化参数。然后可以基于模拟量化模型的输入数据、权值数据及量化参数对模拟量化模型进行计算以得到量化结果。如此，可在设计自定义的量化功能的设计框架之外的框架或处理器上运行量化功能对应的模拟量化模型，并得到对应的量化结果。

本文档来自技高网...

【技术保护点】

1.一种量化处理装置，其特征在于，包括：

2.根据权利要求1所述的装置，其特征在于，所述模型构造单元具体用于在所述参考计算算子之前插入量化函数对应的节点，且在所述参考计算算子之后插入反量化函数对应的节点，得到模拟量化模型。

3.根据权利要求1或2所述的装置，其特征在于，所述参数确定单元具体用于运行所述模拟量化模型的权值数据对应的常量节点模型，得到所述权值数据的数据信息；基于所述权值数据的数据信息确定所述权值数据的范围；以及基于所述权值数据的范围确定所述权值数据的量化参数。

4.根据权利要求1或2所述的装置，其特征在于，所述模型构造单元还用于分别在所述模拟量化模型的输入数据和权值数据对应的节点之后插入参考范围函数对应的节点，得到第一图优化节点模型；

5.根据权利要求4所述的装置，其特征在于，还包括：

6.根据权利要求1或2所述的装置，其特征在于，所述量化结果包括所述输入数据的第一输出结果，所述存储单元还用于存储所述输入数据在所述量化功能对应的设计框架中运算得到的第二输出结果；

7.一种量化处理方法，其特征在于，

8.根据权利要求7所述的方法，其特征在于，所述通过所述模型构造单元从所述存储单元获取所述量化功能并基于所述量化功能得到对应的参考计算算子以构造模拟量化模型，包括：

9.根据权利要求7或8所述的方法，其特征在于，所述通过所述参数确定单元根据所述模拟量化模型的输入数据的范围和权值数据的范围确定量化参数，包括：

10.根据权利要求7或8所述的方法，其特征在于，还包括：

11.根据权利要求10所述的方法，其特征在于，所述量化处理装置还包括判断单元，所述方法还包括：

12.根据权利要求7或8所述的方法，其特征在于，所述量化结果包括所述输入数据的第一输出结果，所述存储单元还用于存储所述输入数据在所述量化功能对应的设计框架中运算得到的第二输出结果；

13.一种计算机设备，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求7-12中任一项方法中的步骤的指令。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序使得计算机执行以实现权利要求7-12中任一项所述的方法。

...

【技术特征摘要】

1.一种量化处理装置，其特征在于，包括：

5.根据权利要求4所述的装置，其特征在于，还包括：

7.一种量化处理方法，其特征在于，应用于量化处理装置，所述量化处理装置包括存储单元、模型构造单元、参数确定单元和计算单元，所述存储单元中存储有量化请求，所述量化请求包括自定...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：寒武纪西安集成电路有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人