【技术实现步骤摘要】
本专利技术涉及人工智能领域，尤其是涉及一种基于多级成本模型的计算图优化方法、系统及存储介质。
技术介绍
1、随着人工智能技术的快速发展，神经网络已经在计算机视觉、自然语言处理等重要领域扮演了重要角色。然而，随着神经网络参数量和复杂性的不断增加，其在训练和推理过程中的计算资源需求也大幅增加，带来计算时间变长、内存占用增加等问题，限制了神经网络在实际应用中的效率与性能。
2、计算图优化是提高神经网络执行效率的关键技术之一。神经网络的计算过程可以抽象为一个有向无环图，即计算图。其中，计算图的边表示神经网络中的数据流向，节点表示神经网络中的计算操作。在计算图中，存在大量冗余的计算和数据传输。通过对计算图结构进行变换，在保证其功能等价的前提下，减少冗余计算和数据传输，从而提高神经网络的执行效率。
3、如公开号为cn110321999b的中国专利文献公开了一种神经网络计算图优化方法，所述方法包括：至少基于减少所述计算平台与所述外部存储器数据交互次数的优化规则选择能够进行层融合的层对象，根据选定的层对象融合所述计算图中至少两个相邻层，其中，所述至少两个相邻层是如下的至少一种：具有相同特征图输入的横向相邻层；以及前一层的特征图计算结果是后一层输入的至少一部分的竖向相邻层。该专利技术的计算图优化方案可以基于规则或通过同构子图匹配自动进行。由此，找出执行计算图的最优重构方式，提升神经网络计算平台的执行效率。
4、目前有一些计算图优化方法关注基于成本模型和回溯搜索的子图替换序列，以最小化执行成本为指导，在巨大搜索空
5、然而，目前的方法缺少对于平衡搜索时间和优化效果、以及成本模型本身的关注。成本模型用于评估不同执行方案的执行代价，包括计算开销、内存占用、数据传输等。改进成本模型的设计和建模方法，提高其准确性和可靠性，是提升计算图优化效果的关键之一。
6、因此，仍然需要一种基于多级成本模型的神经网络模型优化方法，综合考虑搜索时间与优化效果，以适应不同需求场景。
技术实现思路
1、本专利技术提供了一种基于多级成本模型的计算图优化方法、系统及存储介质，综合考虑搜索时间与优化效果的权衡问题，可以满足各种场景下的不同需要，指导计算图的优化方向，从而提高神经网络模型的计算效率和性能。
2、一种基于多级成本模型的计算图优化方法，包括以下步骤：
3、(1)定义多级成本模型，用于评估计算图执行方案的执行成本；
4、(2)设置子图替换规则集合；
5、(3)基于给定神经网络模型文件，转换为统一的计算图信息；
6、(4)对候选计算图结构进行分析，应用子图替换规则，得到新计算图；
7、(5)选择某一级成本模型对计算图的执行性能进行评估；
8、(6)基于成本评估结果与缩放因子，选取候选计算图；
9、(7)重复上述步骤(4)至步骤(6)，直到达到预期的计算图优化效果或收敛条件，得到最佳计算图。
10、步骤(1)中，根据成本模型的评估开销以及评估精度，将成本模型分为第一级成本模型、第二级成本模型和第三级成本模型；
11、其中，第一级成本模型基于神经网络的浮点操作次数、参数量、输入数据大小这些静态数据以及显存大小、时钟周期、计算核心数这些静态硬件信息进行预测；
12、第二级成本模型基于单个算子在目标硬件上的实际执行结果进行预测；由于具有相同参数的算子在相同硬件上的执行成本是固定的，以哈希表保存算子的执行信息，相同配置的算子仅需测试一次；在获取每个算子的执行信息后，以算子执行开销总和作为计算图执行总开销；
13、第三级成本模型分为试运行与正式运行，试运行中使用cuda graph记录gpu任务执行信息，正式运行中直接执行cuda graph中任务记录信息。
14、步骤(2)中，子图替换规则由原子图和目标子图组成，若在计算图中找到符合子图替换规则的子图，则将该部分子图替换为目标子图。
15、步骤(3)中，基于模型对象提取计算图信息，包括网络的层次结构、节点间的依赖关系、数据的流向。
16、步骤(4)的具体过程如下：
17、通过遍历计算图并检查每个节点的类型和计算依赖关系，检查节点的输入和输出，确定节点之间的计算顺序和依赖关系，获取计算图的拓扑结构信息；
18、根据预设的子图替换规则集合，检查计算图中是否存在符合替换规则的子图，若存在，则根据子图替换规则进行替换操作，获取新计算图；
19、在进行子图替换后，需更新节点的依赖关系和节点之间的连接。
20、步骤(6)中，在选取候选计算图时，设置缩放因子为1.1，增大搜索空间。
21、本专利技术还提供了一种基于多级成本模型的计算图优化系统，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述计算图优化方法。
22、本专利技术还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述计算图优化方法。
23、与现有技术相比，本专利技术具有以下有益效果：
24、1、本专利技术综合考虑计算图优化多个级别的成本模型，从静态数据，到算子的实际执行结果，再到整网的真实运行时性能评估。这种综合评估权衡了搜索时间和优化效果，满足各种场景下的不同需要，指导计算图的优化方向，从而提高神经网络模型的计算效率和性能。
25、2、本专利技术基于多级成本模型的优化思路，适用于各种神经网络模型和应用场景，可以灵活应用于不同的计算图结构和硬件平台，提供广泛的适用性。
本文档来自技高网...【技术保护点】
1.一种基于多级成本模型的计算图优化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多级成本模型的计算图优化方法，其特征在于，步骤(1)中，根据成本模型的评估开销以及评估精度，将成本模型分为第一级成本模型、第二级成本模型和第三级成本模型；
3.根据权利要求1所述的基于多级成本模型的计算图优化方法，其特征在于，步骤(2)中，子图替换规则由原子图和目标子图组成，若在计算图中找到符合子图替换规则的子图，则将该部分子图替换为目标子图。
4.根据权利要求1所述的基于多级成本模型的计算图优化方法，其特征在于，步骤(3)中，基于模型对象提取计算图信息，包括网络的层次结构、节点间的依赖关系、数据的流向。
5.根据权利要求1所述的基于多级成本模型的计算图优化方法，其特征在于，步骤(4)的具体过程如下：
6.根据权利要求1所述的基于多级成本模型的计算图优化方法，其特征在于，步骤(6)中，在选取候选计算图时，设置缩放因子为1.1，增大搜索空间。
7.一种基于多级成本模型的计算图优化系统，其特征在于，包括存储器和一个或
8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-6中任一项所述的计算图优化方法。
...【技术特征摘要】
1.一种基于多级成本模型的计算图优化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多级成本模型的计算图优化方法，其特征在于，步骤(1)中，根据成本模型的评估开销以及评估精度，将成本模型分为第一级成本模型、第二级成本模型和第三级成本模型；
3.根据权利要求1所述的基于多级成本模型的计算图优化方法，其特征在于，步骤(2)中，子图替换规则由原子图和目标子图组成，若在计算图中找到符合子图替换规则的子图，则将该部分子图替换为目标子图。
4.根据权利要求1所述的基于多级成本模型的计算图优化方法，其特征在于，步骤(3)中，基于模型对象提取计算图信息，包括网络的层次结构、节点间的依赖关系、数据...
【专利技术属性】
技术研发人员：刘畅畅，陈翯，李石坚，张犁，潘纲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。