System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 支持模型部署的分布式算力网络资源分配方法及相关设备组成比例_技高网

支持模型部署的分布式算力网络资源分配方法及相关设备组成比例

技术编号:40002934 阅读:11 留言:0更新日期:2024-01-09 04:10
本申请提供一种支持模型部署的分布式算力网络资源分配方法及相关设备,包括:确定目标AI模型的网络特征,根据所述网络特征对所述目标AI模型进行划分,确定若干模型块;对任一所述模型块进行计算资源占用量的评估,确定第一评估结果;确定所述分布式算力网络的若干算力节点,并对任一所述算力节点的算力能力进行评估,确定第二评估结果;根据所述第一评估结果和所述第二评估结果进行资源分配。本申请根据神经网络模型的具体结构对模型进行切分部署和动态路由规划,从而提高分布式算力网络的资源利用效率和基于AI模型的智能任务的服务质量,使得分布式算力网络对AI模型的处理性能发挥到极限。

【技术实现步骤摘要】

本申请涉及通信,尤其涉及一种分布式算力网络资源分配方法及相关设备。


技术介绍

1、随着ai技术的发展,ai模型的架构设计逐渐趋于大规模数据结构,参数量达到万亿级,同时无人驾驶、虚拟现实等应用场景对数据传输和处理时延提出更高的需求,ai和算力网络结合的模式逐渐成为未来网络的发展趋势。将ai服务和通信连接深度融合,从而将ai计算分布到网络节点中。算力网络根据任务的算力资源需求协同调度云边端分布式算力资源完成ai模型的相关处理,同时可以对复杂ai模型进行解构,以满足不同设备的算力约束,实现对资源的高效利用,从而降低任务处理开销。

2、然而,现有技术中仅结合网络环境、节点资源进行ai模型切分和部署,从而导致切分后的ai模型无法达到某个确定网络结构模型的分布式计算能力的极限。


技术实现思路

1、有鉴于此,本申请的目的在于提出一种基于分布式算力网络的模型算力分配方法、装置、电子设备及存储介质。

2、基于上述目的,本申请提供了一种分布式算力网络资源分配方法,包括:

3、确定目标ai模型的网络特征,根据所述网络特征对所述目标ai模型进行划分,确定若干模型块;

4、对任一所述模型块进行计算资源占用量的评估,确定第一评估结果;

5、确定所述分布式算力网络的若干算力节点,并对任一所述算力节点的算力能力进行评估,确定第二评估结果;

6、根据所述第一评估结果和所述第二评估结果进行资源分配。

7、可选的,所述网络特征包括:网络结构特征以及网络数据传输特征中的任一种;

8、所述确定目标ai模型的网络特征,根据所述网络特征对所述目标ai模型进行划分,确定若干模型块,包括:

9、根据网络结构特征或网络数据传输特征对所述目标ai模型进行划分,确定若干所述模型块。

10、可选的,所述模型块的计算资源占用量,包括:模型块的第一算力需求和处理开销;其中,所述第一算力需求为所述模型块完成任务所需的算力资源,所述算力资源包括cpu、gpu、fpga任一种计算单元的处理周期;

11、所述处理开销包括:处理时延和处理能耗,所述处理时延为算力网络中任一算力节点处理任一模型块的时延,所述处理能耗为算力网络中任一算力节点处理任一模型块的能耗。

12、可选的,所述对任一所述模型块进行计算资源占用量的评估,确定第一评估结果,包括:

13、确定任一所述模型块完成任一任务所需的cpu、gpu、fpga任一种计算单元的处理周期,将完成任一任务所需的cpu、gpu、fpga任一种计算单元的处理周期确定为所述第一算力需求;

14、根据所述第一算力需求,确定算力网络中任一算力节点处理任一所述模型块的时延和能耗;

15、将所述第一算力需求、所述时延以及所述能耗确定为所述第一评估结果。

16、可选的,所述算力节点的算力能力包括:算力节点的第二算力需求和数据传输开销;其中,所述第二算力需求为所述模型块在所述算力节点进行任务处理后输出结果的数据量,所述数据传输开销为任意两个所述算力节点进行数据传输的传输时延和传输能耗;

17、所述确定所述分布式算力网络的若干算力节点,并对任一所述算力节点的算力能力进行评估,确定第二评估结果,包括:

18、根据所述网络结构特征,确定所述模型块在所述算力节点进行任务处理后输出结果的数据量,将所述输出结果的数据量作为所述第二算力需求;

19、根据任意两个所述算力节点的所述第二算力需求,确定任意两个所述算力节点进行数据传输的传输时延和传输能耗;

20、根据所述第二算力需求、所述传输时延和所述传输能耗,确定所述第二评估结果。

21、可选的,所述资源分配包括算力分配和路由规划;

22、所述根据所述第一评估结果和所述第二评估结果,对若干所述模型块进行资源分配,包括:

23、根据所述第一评估结果和所述第二评估结果,对若干所述模型块进行算力分配和路由规划。

24、可选的,所述方法还包括:

25、确定任务请求,并根据所述算力分配的分配结果处理所述任务请求。

26、基于同一专利技术构思,本申请实施例还提供了一种分布式算力网络资源分配装置,包括:

27、模型划分模块,被配置为确定目标ai模型的网络特征,根据所述网络特征对所述目标ai模型进行划分,确定若干模型块;

28、第一评估模块,被配置为对任一所述模型块进行计算资源占用量的评估,确定第一评估结果;

29、第二评估模块,被配置为确定所述分布式算力网络的若干算力节点,并对任一所述算力节点的算力能力进行评估,确定第二评估结果;

30、算力分配模块,被配置为根据所述第一评估结果和所述第二评估结果进行资源分配。

31、基于同一专利技术构思,本申请实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上述任意一项所述的基于分布式算力网络的模型算力分配方法。

32、基于同一专利技术构思,本申请实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,其特征在于,所述计算机指令用于使计算机执行上述任一所述的基于分布式算力网络的模型算力分配方法。

33、从上面所述可以看出,本申请提供的,基于分布式算力网络资源分配方法、装置、电子设备及存储介质,所述分布式算力网络资源分配方法包括:确定目标ai模型的网络特征,根据所述网络特征对所述目标ai模型进行划分,确定若干模型块;对任一所述模型块进行计算资源占用量的评估,确定第一评估结果;确定所述分布式算力网络的若干算力节点,并对任一所述算力节点的算力能力进行评估,确定第二评估结果;根据所述第一评估结果和所述第二评估结果进行资源分配。本申请根据神经网络模型的具体结构对模型进行切分部署和动态路由规划,从而提高分布式算力网络的资源利用效率和基于ai模型的智能任务的服务质量,使得分布式算力网络对ai模型的处理性能发挥到极限。

本文档来自技高网...

【技术保护点】

1.一种分布式算力网络资源分配方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述网络特征包括:网络结构特征以及网络数据传输特征中的任一种;

3.根据权利要求1所述的方法,其特征在于,所述模型块的计算资源占用量,包括:模型块的第一算力需求和处理开销;其中,所述第一算力需求为所述模型块完成任务所需的算力资源,所述算力资源包括CPU、GPU、FPGA任一种计算单元的处理周期;

4.根据权利要求3所述的方法,其特征在于,所述对任一所述模型块进行计算资源占用量的评估,确定第一评估结果,包括:

5.根据权利要求2所述的方法,其特征在于,所述算力节点的算力能力包括:算力节点的第二算力需求和数据传输开销;其中,所述第二算力需求为所述模型块在所述算力节点进行任务处理后输出结果的数据量,所述数据传输开销为任意两个所述算力节点进行数据传输的传输时延和传输能耗;

6.根据权利要求1所述的方法,其特征在于,所述资源分配包括算力分配和路由规划;

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

>8.一种分布式算力网络资源分配装置,其特征在于,包括:

9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序,所述处理器在执行所述计算机程序时实现根据权利要求1至7中任意一项所述的方法。

10.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行根据权利要求1至7中任意一项所述的方法。

...

【技术特征摘要】

1.一种分布式算力网络资源分配方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述网络特征包括:网络结构特征以及网络数据传输特征中的任一种;

3.根据权利要求1所述的方法,其特征在于,所述模型块的计算资源占用量,包括:模型块的第一算力需求和处理开销;其中,所述第一算力需求为所述模型块完成任务所需的算力资源,所述算力资源包括cpu、gpu、fpga任一种计算单元的处理周期;

4.根据权利要求3所述的方法,其特征在于,所述对任一所述模型块进行计算资源占用量的评估,确定第一评估结果,包括:

5.根据权利要求2所述的方法,其特征在于,所述算力节点的算力能力包括:算力节点的第二算力需求和数据传输开销;其中,所述第二算力需求为所述模型...

【专利技术属性】
技术研发人员:韩书君张文昭董辰许晓东孙梦颖
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1