System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 维度变换方法、维度变换装置、智能设备及存储介质制造方法及图纸_技高网

维度变换方法、维度变换装置、智能设备及存储介质制造方法及图纸

技术编号:42413650 阅读:9 留言:0更新日期:2024-08-16 16:30
本申请公开了一种维度变换方法、维度变换装置、智能设备及计算机可读存储介质。其中,该维度变换方法应用于具备NPU的智能设备;该维度变换方法包括:确定待执行维度变换在NPU中的执行对象;触发执行对象基于待执行维度变换对待处理张量矩阵进行处理,得到目标张量矩阵,其中,待处理张量矩阵及目标张量矩阵均采用指定的NPU排布格式,且指定的NPU排布格式在指定对齐维度上以N个数据为单位进行对齐。本申请方案通过NPU来进行维度变换操作,可减少对CPU资源的大量占用。

【技术实现步骤摘要】

本申请属于人工智能,尤其涉及一种维度变换方法、维度变换装置、智能设备及计算机可读存储介质。


技术介绍

1、深度学习模型在智能设备上部署时,需要经过编译器的编译来生成离线模型。当前,通常是在此编译过程中,通过中央处理器(cpu)来进行矩阵张量的维度变换操作,此过程往往需要占用大量cpu资源。


技术实现思路

1、本申请提供了一种维度变换方法、维度变换装置、智能设备及计算机可读存储介质,通过神经网络处理器(network processing unit,npu)来进行维度变换操作,减少对cpu资源的大量占用。

2、第一方面,本申请提供了一种维度变换方法,该维度变换方法应用于具备npu的智能设备;该维度变换方法包括:

3、确定待执行维度变换在npu中的执行对象;

4、触发执行对象基于待执行维度变换对待处理张量矩阵进行处理,得到目标张量矩阵,其中,待处理张量矩阵及目标张量矩阵均采用指定的npu排布格式,且指定的npu排布格式在指定对齐维度上以n个数据为单位进行对齐。

5、第二方面,本申请提供了一种维度变换装置,该维度变换装置应用于具备神经网络处理器npu的智能设备;该维度变换装置包括:

6、确定单元,用于确定待执行维度变换在npu中的执行对象;

7、处理单元,用于触发执行对象基于待执行维度变换对待处理张量矩阵进行处理,得到目标张量矩阵,其中,待处理张量矩阵及目标张量矩阵均采用指定的npu排布格式,且指定的npu排布格式在指定对齐维度上以n个数据为单位进行对齐。

8、第三方面,本申请提供了一种智能设备,上述智能设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

9、第四方面,本申请提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

10、第五方面,本申请提供了一种计算机程序产品,上述计算机程序产品包括计算机程序,上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

11、本申请与现有技术相比存在的有益效果是:本申请将维度转换算子部署于npu,由npu执行维度变换操作。此过程中,由于npu的常见架构中通常包括多个运算处理模块,因而可先确定待执行维度变换在该npu中的执行对象,再触发该执行对象基于该待执行维度变换对待处理张量矩阵进行处理,得到目标张量矩阵。本申请还定义该待处理张量矩阵及该目标张量矩阵均采用指定的npu排布格式,且该指定的npu排布格式在指定对齐维度上以n个数据为单位进行对齐,以简化npu执行该维度变换操作的流程,减少npu不必要的运算。可见,通过本申请方案,可减少对cpu资源的大量占用。可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

本文档来自技高网...

【技术保护点】

1.一种维度变换方法,其特征在于,所述维度变换方法应用于具备神经网络处理器NPU的智能设备;所述维度变换方法包括:

2.如权利要求1所述的维度变换方法,其特征在于,所述NPU包括计算模组及维度变换模组,且所述计算模组包括后处理模块;所述确定待执行维度变换在所述NPU中的执行对象,包括:

3.如权利要求2所述的维度变换方法,其特征在于,所述触发所述执行对象基于所述待执行维度变换对待处理张量矩阵进行处理,得到目标张量矩阵,包括:

4.如权利要求3所述的维度变换方法,其特征在于,所述指定对齐维度为通道维度;所述触发所述维度变换模组基于所述变换类型所对应的目标处理流程对所述待处理张量矩阵进行处理,得到所述目标张量矩阵,包括:

5.如权利要求4所述的维度变换方法,其特征在于,所述维度变换方法还包括:

6.如权利要求3所述的维度变换方法,其特征在于,所述指定对齐维度为通道维度;所述触发所述执行对象基于所述待执行维度变换对待处理张量矩阵进行处理,得到目标张量矩阵,包括:

7.如权利要求6所述的维度变换方法,其特征在于,所述基于所述目标读取位置,从待处理张量矩阵读取N个原子数据组,包括:

8.如权利要求7所述的维度变换方法,其特征在于,所述静态存储器的大小为N*N;所述从所述待处理张量矩阵读取未重复命中的目标读取位置所对应的原子数据组写入所述静态存储器,包括:

9.如权利要求2所述的维度变换方法,其特征在于,所述触发所述执行对象基于所述待执行维度变换对待处理张量矩阵进行处理,得到目标张量矩阵,包括:

10.一种维度变换装置,其特征在于,所述维度变换装置应用于具备神经网络处理器NPU的智能设备;所述维度变换装置包括:

11.一种智能设备,包括存储器、神经网络处理器以及存储在所述存储器中并可在所述神经网络处理器上运行的计算机程序,其特征在于,所述神经网络处理器执行所述计算机程序时实现如权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。

...

【技术特征摘要】

1.一种维度变换方法,其特征在于,所述维度变换方法应用于具备神经网络处理器npu的智能设备;所述维度变换方法包括:

2.如权利要求1所述的维度变换方法,其特征在于,所述npu包括计算模组及维度变换模组,且所述计算模组包括后处理模块;所述确定待执行维度变换在所述npu中的执行对象,包括:

3.如权利要求2所述的维度变换方法,其特征在于,所述触发所述执行对象基于所述待执行维度变换对待处理张量矩阵进行处理,得到目标张量矩阵,包括:

4.如权利要求3所述的维度变换方法,其特征在于,所述指定对齐维度为通道维度;所述触发所述维度变换模组基于所述变换类型所对应的目标处理流程对所述待处理张量矩阵进行处理,得到所述目标张量矩阵,包括:

5.如权利要求4所述的维度变换方法,其特征在于,所述维度变换方法还包括:

6.如权利要求3所述的维度变换方法,其特征在于,所述指定对齐维度为通道维度;所述触发所述执行对象基于所述待执行维度变换对待处理张量矩阵进行处理,得到目标张量矩阵,包括:

7.如权利要...

【专利技术属性】
技术研发人员:朱启明
申请(专利权)人:普联技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1