System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 运算系统和方法技术方案_技高网

运算系统和方法技术方案

技术编号:43904804 阅读:2 留言:0更新日期:2025-01-03 13:15
本公开公开了一种运算系统和方法,其中该系统和方法可以包括在组合处理装置中,该组合处理装置还可以包括通用互联接口和其他处理装置。所述计算装置与其他处理装置进行交互,共同完成用户指定的计算操作。组合处理装置还可以包括存储装置,该存储装置分别与设备和其他处理装置连接,用于存储该设备和其他处理装置的数据。

【技术实现步骤摘要】

本公开一般地涉及数据存储领域。更具体地,本公开涉及一种数据的运算系统和方法


技术介绍

1、在深度学习硬件崛起之前,大多数的科学计算都是基于ieee float32和ieeefloat64。随着深度学习的发展和人工智能(ai)处理器的演进,研究发现在训练和推理过程中,可以通过降低浮点运算的精度来有效地提升运行速度、功耗和芯片面积。

2、例如,经过算法研究,在leopard的ai-nr网络中,大部分网络层应用fp16能够满足精度要求和性能要求。然而有的网络层应用fp16数据类型精度是不够的,需要用tf32或fp32才能满足精度要求。

3、但是,fp32虽然具有较高的精度,但运算效率较低,这对于某些需要较高运算速度的应用而言是需要解决的问题。


技术实现思路

1、为了至少部分地解决
技术介绍
中提到的一个或多个技术问题,本公开提供一种运算系统和方法,能够在需要的情况下隐式地转换数据格式,以便达到所需的运算速度。

2、根据本公开的第一方面,提供一种运算系统,该运算系统包括指令译码单元、前置转数单元和运算单元,其中,所述指令译码单元,配置为:接收控制指令;从所述控制指令中译码待运算数据的第一数据类型和针对所述待运算数据的运算类型;如果所述第一数据类型和运算类型满足预设条件,则指示待运算数据输入到所述前置转数单元;所述前置转数单元,配置为将具有第一数据类型的待运算数据转换为具有第二数据类型的中间数据,其中针对第一数据类型的待运算数据进行运算的第一效率低于针对第二数据类型的中间数据进行运算的第二效率;以及所述运算单元,配置为从所述前置转数单元接收所述中间数据,并对所述中间数据进行运算。

3、根据本公开的第二方面,提供一种运算方法,包括:接收控制指令;从所述控制指令中译码待运算数据的第一数据类型和针对所述待运算数据的运算类型;如果所述第一数据类型和运算类型满足预设条件,则指示对待运算数据进行前置转数;所述前置转数包括:将具有第一数据类型的待运算数据转换为具有第二数据类型的中间数据,其中针对第一数据类型的待运算数据进行运算的第一效率低于针对第二数据类型的中间数据进行运算的第二效率;以及对所述中间数据进行运算。

4、根据本公开的第三方面,提供一种芯片,包括如上所述的运算系统。

5、根据本公开的第四方面,提供一种板卡,包括如上所述的芯片。

6、根据本公开的一个实施方式,当检测到满足特定条件时,系统自动地将数据转换为所需的格式,从而隐式地提升了运算效率。

本文档来自技高网...

【技术保护点】

1.一种运算系统,包括指令译码单元、前置转数单元和运算单元,其中,

2.根据权利要求1所述的运算系统,其中,所述预设条件为:针对第一数据类型的待运算数据进行运算的第一效率低于预定效率。

3.根据权利要求1或2所述的运算系统,其中,所述预设条件为:所述第一数据类型为FP32数据类型,所述运算类型为乘法运算。

4.根据权利要求3所述的运算系统,其中,所述第二数据类型为FP16。

5.根据权利要求3所述的运算系统,其中,所述第二数据类型为TF32。

6.根据权利要求5所述的运算系统,进一步包括用于存储具有第二数据类型的中间数据的存储装置,所述存储装置包括:

7.根据权利要求6所述的运算系统,其中所述第一地址与所述第二地址之间的映射关系是预先设定的。

8.根据权利要求6所述的运算系统,其中所述第一地址与所述第二地址之间的映射关系是在存储所述中间数据时实时建立的,并通过地址表格进行维护。

9.根据权利要求6-8中任意一项所述的运算系统,其中所述第一存储区域按所述访存对齐值进行寻址访存。

<p>10.根据权利要求9所述的运算系统,其中所述第一存储区域位于已配备的按所述访存对齐值进行寻址访存的存储器中。

11.根据权利要求6-10中任意一项所述的运算系统,其中所述第二存储区域按所述余数部分对齐进行寻址访存。

12.根据权利要求6-11中任意一项所述的运算系统,所述访存对齐值为8bit,所述整数部分包括16bit,所述余数部分包括3bit。

13.根据条款12所述的运算系统,其中所述中间数据的符号位包含在所述整数部分中。

14.根据权利要求1-13中任意一项所述的运算系统,进一步包括后置转数单元,配置为将具有第二数据类型的运算后中间数据转换为第一数据类型。

15.一种运算方法,包括:

16.根据权利要求15所述的运算方法,其中,所述预设条件为:针对第一数据类型的待运算数据进行运算的第一效率低于预定效率。

17.根据权利要求15或16所述的运算方法,其中,所述预设条件为:所述第一数据类型为FP32数据类型,所述运算类型为乘法运算。

18.根据权利要求17所述的运算方法,其中,所述第二数据类型为FP16。

19.根据权利要求17所述的运算方法,其中,所述第二数据类型为TF32。

20.根据权利要求19所述的运算方法,进一步包括:通过如下方式对所述中间数据进行存储:

21.根据权利要求20所述的运算方法,其中,通过如下方式来读取所述中间数据:

22.根据权利要求20或21所述的运算方法,其中所述第一地址与所述第二地址之间的映射关系是预先设定的。

23.根据权利要求20或21所述的运算方法,其中所述第一地址与所述第二地址之间的映射关系是在存储所述中间数据时实时建立的,并通过地址表格进行维护。

24.根据权利要求20-23中任意一项所述的运算方法,其中所述第一存储区域按所述访存对齐值进行寻址访存。

25.根据权利要求24所述的方法,其中所述第一存储区域位于已配备的按所述访存对齐值进行寻址访存的存储器中。

26.根据权利要求20-25中任意一项所述的运算方法,其中所述第二存储区域按所述余数部分对齐进行寻址访存。

27.根据权利要求20-26中任意一所述述的运算方法,其中,所述访存对齐值为8bit,所述整数部分包括16bit,所述余数部分包括3bit。

28.根据权利要求27所述的方法,其中所述中间数据的符号位包含在所述整数部分中。

29.根据权利要求15-28中任意一项所述的运算方法,进一步包括:将具有第二数据类型的运算后中间数据转换为第一数据类型。

30.一种芯片,包括根据权利要求1-14中任一项所述的运算系统。

31.一种板卡,包括根据权利要求30所述的芯片。

...

【技术特征摘要】

1.一种运算系统,包括指令译码单元、前置转数单元和运算单元,其中,

2.根据权利要求1所述的运算系统,其中,所述预设条件为:针对第一数据类型的待运算数据进行运算的第一效率低于预定效率。

3.根据权利要求1或2所述的运算系统,其中,所述预设条件为:所述第一数据类型为fp32数据类型,所述运算类型为乘法运算。

4.根据权利要求3所述的运算系统,其中,所述第二数据类型为fp16。

5.根据权利要求3所述的运算系统,其中,所述第二数据类型为tf32。

6.根据权利要求5所述的运算系统,进一步包括用于存储具有第二数据类型的中间数据的存储装置,所述存储装置包括:

7.根据权利要求6所述的运算系统,其中所述第一地址与所述第二地址之间的映射关系是预先设定的。

8.根据权利要求6所述的运算系统,其中所述第一地址与所述第二地址之间的映射关系是在存储所述中间数据时实时建立的,并通过地址表格进行维护。

9.根据权利要求6-8中任意一项所述的运算系统,其中所述第一存储区域按所述访存对齐值进行寻址访存。

10.根据权利要求9所述的运算系统,其中所述第一存储区域位于已配备的按所述访存对齐值进行寻址访存的存储器中。

11.根据权利要求6-10中任意一项所述的运算系统,其中所述第二存储区域按所述余数部分对齐进行寻址访存。

12.根据权利要求6-11中任意一项所述的运算系统,所述访存对齐值为8bit,所述整数部分包括16bit,所述余数部分包括3bit。

13.根据条款12所述的运算系统,其中所述中间数据的符号位包含在所述整数部分中。

14.根据权利要求1-13中任意一项所述的运算系统,进一步包括后置转数单元,配置为将具有第二数据类型的运算后中间数据转换为第一数据类型。

15.一种运算方法,包括:

16.根据权利要求15所述的运算方法,其中,所述预设条件...

【专利技术属性】
技术研发人员:请求不公布姓名
申请(专利权)人:上海寒武纪信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1