System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开一般地涉及数据存储领域。更具体地,本公开涉及一种数据的运算系统和方法。
技术介绍
1、在深度学习硬件崛起之前,大多数的科学计算都是基于ieee float32和ieeefloat64。随着深度学习的发展和人工智能(ai)处理器的演进,研究发现在训练和推理过程中,可以通过降低浮点运算的精度来有效地提升运行速度、功耗和芯片面积。
2、例如,经过算法研究,在leopard的ai-nr网络中,大部分网络层应用fp16能够满足精度要求和性能要求。然而有的网络层应用fp16数据类型精度是不够的,需要用tf32或fp32才能满足精度要求。
3、但是,fp32虽然具有较高的精度,但运算效率较低,这对于某些需要较高运算速度的应用而言是需要解决的问题。
技术实现思路
1、为了至少部分地解决
技术介绍
中提到的一个或多个技术问题,本公开提供一种运算系统和方法,能够在需要的情况下隐式地转换数据格式,以便达到所需的运算速度。
2、根据本公开的第一方面,提供一种运算系统,该运算系统包括指令译码单元、前置转数单元和运算单元,其中,所述指令译码单元,配置为:接收控制指令;从所述控制指令中译码待运算数据的第一数据类型和针对所述待运算数据的运算类型;如果所述第一数据类型和运算类型满足预设条件,则指示待运算数据输入到所述前置转数单元;所述前置转数单元,配置为将具有第一数据类型的待运算数据转换为具有第二数据类型的中间数据,其中针对第一数据类型的待运算数据进行运算的第一效率低于针对第二
3、根据本公开的第二方面,提供一种运算方法,包括:接收控制指令;从所述控制指令中译码待运算数据的第一数据类型和针对所述待运算数据的运算类型;如果所述第一数据类型和运算类型满足预设条件,则指示对待运算数据进行前置转数;所述前置转数包括:将具有第一数据类型的待运算数据转换为具有第二数据类型的中间数据,其中针对第一数据类型的待运算数据进行运算的第一效率低于针对第二数据类型的中间数据进行运算的第二效率;以及对所述中间数据进行运算。
4、根据本公开的第三方面,提供一种芯片,包括如上所述的运算系统。
5、根据本公开的第四方面,提供一种板卡,包括如上所述的芯片。
6、根据本公开的一个实施方式,当检测到满足特定条件时,系统自动地将数据转换为所需的格式,从而隐式地提升了运算效率。
本文档来自技高网...【技术保护点】
1.一种运算系统,包括指令译码单元、前置转数单元和运算单元,其中,
2.根据权利要求1所述的运算系统,其中,所述预设条件为:针对第一数据类型的待运算数据进行运算的第一效率低于预定效率。
3.根据权利要求1或2所述的运算系统,其中,所述预设条件为:所述第一数据类型为FP32数据类型,所述运算类型为乘法运算。
4.根据权利要求3所述的运算系统,其中,所述第二数据类型为FP16。
5.根据权利要求3所述的运算系统,其中,所述第二数据类型为TF32。
6.根据权利要求5所述的运算系统,进一步包括用于存储具有第二数据类型的中间数据的存储装置,所述存储装置包括:
7.根据权利要求6所述的运算系统,其中所述第一地址与所述第二地址之间的映射关系是预先设定的。
8.根据权利要求6所述的运算系统,其中所述第一地址与所述第二地址之间的映射关系是在存储所述中间数据时实时建立的,并通过地址表格进行维护。
9.根据权利要求6-8中任意一项所述的运算系统,其中所述第一存储区域按所述访存对齐值进行寻址访存。
< ...【技术特征摘要】
1.一种运算系统,包括指令译码单元、前置转数单元和运算单元,其中,
2.根据权利要求1所述的运算系统,其中,所述预设条件为:针对第一数据类型的待运算数据进行运算的第一效率低于预定效率。
3.根据权利要求1或2所述的运算系统,其中,所述预设条件为:所述第一数据类型为fp32数据类型,所述运算类型为乘法运算。
4.根据权利要求3所述的运算系统,其中,所述第二数据类型为fp16。
5.根据权利要求3所述的运算系统,其中,所述第二数据类型为tf32。
6.根据权利要求5所述的运算系统,进一步包括用于存储具有第二数据类型的中间数据的存储装置,所述存储装置包括:
7.根据权利要求6所述的运算系统,其中所述第一地址与所述第二地址之间的映射关系是预先设定的。
8.根据权利要求6所述的运算系统,其中所述第一地址与所述第二地址之间的映射关系是在存储所述中间数据时实时建立的,并通过地址表格进行维护。
9.根据权利要求6-8中任意一项所述的运算系统,其中所述第一存储区域按所述访存对齐值进行寻址访存。
10.根据权利要求9所述的运算系统,其中所述第一存储区域位于已配备的按所述访存对齐值进行寻址访存的存储器中。
11.根据权利要求6-10中任意一项所述的运算系统,其中所述第二存储区域按所述余数部分对齐进行寻址访存。
12.根据权利要求6-11中任意一项所述的运算系统,所述访存对齐值为8bit,所述整数部分包括16bit,所述余数部分包括3bit。
13.根据条款12所述的运算系统,其中所述中间数据的符号位包含在所述整数部分中。
14.根据权利要求1-13中任意一项所述的运算系统,进一步包括后置转数单元,配置为将具有第二数据类型的运算后中间数据转换为第一数据类型。
15.一种运算方法,包括:
16.根据权利要求15所述的运算方法,其中,所述预设条件...
【专利技术属性】
技术研发人员:请求不公布姓名,
申请(专利权)人:上海寒武纪信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。