System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种计算图的处理方法和装置制造方法及图纸_技高网

一种计算图的处理方法和装置制造方法及图纸

技术编号:44006719 阅读:1 留言:0更新日期:2025-01-10 20:24
本发明专利技术实施例公开了一种计算图的处理方法和装置,本发明专利技术实施例通过遍历计算图,将计算图中至少两个第一子图进行合并操作,得到第二子图。然后根据第一子图的切分信息为第二子图绑定切分信息。并根据可用计算资源数量确定第二子图的候选切分信息,候选切分信息包括至少一个切分轴以及切分轴的候选切分系数,其中,候选切分系数对应的切分方式可最大限度的使用可用计算资源数量。响应于第二子图的切分信息中的至少一个切分轴的候选切分系数为最大切分系数的因子,确定合并操作有效。由此可以对算子进行快速分组,通过将算子分组与计算资源分配统一进行考虑,减少了子图合并过程中的重复计算过程,加快了计算图的编译过程,提高了计算资源利用率。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体而言,涉及一种计算图的处理方法和装置


技术介绍

1、人工智能近年来不断发展,在众多领域大放异彩,影响着生活的方方面面,例如人脸识别、自动驾驶、安全防护、游戏娱乐、语音技术、医用医疗等。人工智能及其相关产业已经成为当前科技竞争的新高地,深刻影响着新一代的科技进步。

2、随着人工智能技术的持续发展,其对应的运算操作量以及内存访问量也随之快速地增加,远远超出了硬件处理的能力。目前人工智能技术的表达方式在处理中往往以计算图的方式呈现,计算图的执行效率对硬件处理能力的影响不容小觑。如何优化计算图在各硬件上的执行效率,调度问题是其中最关键的问题之一,良好的计算图调度可以极大的优化硬件的性能。

3、目前现有的自动调度技术方案中,主要有以下几种方式:一种是指定计算图中的一部分或者整体完全由通用默认指定的调度方式在硬件加速器上运算,这种方法调度方式粒度较粗,无法精细的控制运算过程中对于运算及存储的资源分配,无法充分发挥特定芯片架构的极致性能;另一种通过算子特征及计算图局部特征先进行分组,再针对每个组分别进行计算资源分配,两个过程分开独立进行,且没有考虑对方带来的影响,这种方法没有基于全局进行考虑,资源分配过程中会重复计算每个分组的相关信息,导致有较多的冗余计算,在对计算图进行编译的时候造成了大量浪费;同时在对每个分组进行切分的时候分别考虑计算资源,可能使得计算资源分配推导阶段无法找到充分利用计算资源的方式。


技术实现思路

1、有鉴于此,本专利技术实施例提供了一种计算图的处理方法和装置,以将算子分组与计算资源分配两个过程统一进行考虑,既减少了计算子图合并过程中的重复计算过程,加快了对计算图的编译过程,也充分使用了计算资源,提高了计算资源的利用率。

2、第一方面,提供一种计算图的处理方法,所述方法包括:

3、遍历计算图,将所述计算图中至少两个第一子图进行合并操作,得到第二子图,其中,所述第一子图包括至少一个算子,所述第一子图绑定有切分信息,所述切分信息包括轴对应关系、至少一个切分轴以及所述至少一个切分轴的最大切分系数,所述轴对应关系为所述子图的输入数据和输出数据之间的关系;

4、根据所述第一子图的切分信息,为所述第二子图绑定切分信息;

5、根据可用计算资源数量确定所述第二子图的候选切分信息,所述候选切分信息包括:至少一个切分轴以及所述至少一个切分轴的候选切分系数,其中,所述候选切分系数对应的切分方式可最大限度的使用所述可用计算资源数量;

6、响应于所述第二子图的切分信息中的至少一个切分轴的候选切分系数为所述最大切分系数的因子,确定所述合并操作有效。

7、第二方面,提供一种计算图的处理装置,所述装置包括:

8、合并模块,用于遍历计算图,将所述计算图中至少两个第一子图进行合并操作,得到第二子图,其中,所述第一子图包括至少一个算子,所述第一子图绑定有切分信息,所述切分信息包括轴对应关系、至少一个切分轴以及所述至少一个切分轴的最大切分系数,所述轴对应关系为所述子图的输入数据和输出数据之间的关系;

9、绑定模块,用于根据所述第一子图的切分信息,为所述第二子图绑定切分信息;

10、第一确定模块,用于根据可用计算资源数量确定所述第二子图的候选切分信息,所述候选切分信息包括:至少一个切分轴以及所述至少一个切分轴的候选切分系数,其中,所述候选切分系数对应的切分方式可最大限度的使用所述可用计算资源数量;

11、第二确定模块,用于响应于所述第二子图的切分信息中的至少一个切分轴的候选切分系数为所述最大切分系数的因子,确定所述合并操作有效。

12、第三方面,提供一种电子设备,所述设备包括:

13、存储器,用于存储一条或多条计算机程序指令;

14、处理器,所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面中的方法。

15、第四方面,提供一种计算机可读存储介质,其上存储计算机程序指令,所述计算机程序指令在被处理器执行时实现如第一方面中的方法。

16、本专利技术实施例通过遍历计算图,将所述计算图中至少两个第一子图进行合并操作,得到第二子图,其中,所述第一子图包括至少一个算子,所述第一子图绑定有切分信息,所述切分信息包括轴对应关系、至少一个切分轴以及所述至少一个切分轴的最大切分系数,所述轴对应关系为所述子图的输入数据和输出数据之间的关系;根据所述第一子图的切分信息,为所述第二子图绑定切分信息;根据可用计算资源数量确定所述第二子图的候选切分信息,所述候选切分信息包括:至少一个切分轴以及所述至少一个切分轴的候选切分系数,其中,所述候选切分系数对应的切分方式可最大限度的使用所述可用计算资源数量;响应于所述第二子图的切分信息中的至少一个切分轴的候选切分系数为所述最大切分系数的因子,确定所述合并操作有效。由此,可以对算子进行快速分组,并通过将算子分组与计算资源分配统一进行考虑,减少了计算子图合并过程中的重复计算过程,加快了对计算图的编译过程,同时提高了计算资源利用率。

本文档来自技高网...

【技术保护点】

1.一种计算图的处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述至少两个第一子图的确定方法包括:

3.根据权利要求1所述的方法,其特征在于,所述至少两个第一子图的确定方法包括:

4.根据权利要求1-3中任一项所述的方法,其特征在于,所述根据所述第一子图的切分信息,为所述第二子图绑定切分信息,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述第二子图中至少两个相邻的第一子图之间的轴对应关系,确定所述第二子图的轴对应关系以及至少一个切分轴,包括:

6.根据权利要求5所述的方法,其特征在于,所述根据每个所述第一子图的切分轴以及对应的最大切分系数,确定所述第二子图的每个切分轴的最大切分系数,包括:

7.根据权利要求2所述的方法,其特征在于,所述方法还包括:

8.一种计算图的处理装置,其特征在于,所述装置包括:

9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

...

【技术特征摘要】

1.一种计算图的处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述至少两个第一子图的确定方法包括:

3.根据权利要求1所述的方法,其特征在于,所述至少两个第一子图的确定方法包括:

4.根据权利要求1-3中任一项所述的方法,其特征在于,所述根据所述第一子图的切分信息,为所述第二子图绑定切分信息,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述第二子图中至少两个相邻的第一子图之间的轴对应关系,确定所述第二子图的轴对应关系以及至少一个切分轴,包括:

6.根据权利要求5所述的方法,其特征在于,所述根...

【专利技术属性】
技术研发人员:杜开浩
申请(专利权)人:广州希姆半导体科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1