System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于负载均衡的时延优先任务调度方法及系统技术方案_技高网

一种基于负载均衡的时延优先任务调度方法及系统技术方案

技术编号:41133647 阅读:3 留言:0更新日期:2024-04-30 18:04
本发明专利技术提供一种基于负载均衡的时延优先任务调度方法及系统,包括:接入新的计算任务,根据计算任务的任务属性过滤不匹配的算力网络节点;基于马尔可夫决策过程,根据当前算力网络状态,生成计算任务的调度策略;根据调度策略,按照卸载路径将计算任务卸载至目标算力网络节点;根据时延确定计算任务的优先级,目标算力网络节点按照优先级顺序执行计算任务;在完成调度后且进行下一次调度之前,更新算力网络状态。本发明专利技术提供的任务调度方法能协同分配计算资源和网络资源,在任务调度时,能同时选择计算节点与网络链路,满足低时延高可靠任务的需求,并保障系统的长期稳定性。

【技术实现步骤摘要】

本专利技术涉及任务调度,尤其涉及一种基于负载均衡的时延优先任务调度方法及系统


技术介绍

1、信息技术的快速发展催化了数字孪生和人工智能生成内容等新型智能应用的兴起,并伴随着数据、算法和算力的发展。据预测,全球数据量将以23%的复合年增长率增长并将在2025年达到181zb,全球ai计算市场规模将从2022年的195.0亿美元增长到2026年的346.6亿美元。在这种经济社会的快速发展过程中,计算能力作为主要催化剂,显得尤为重要。

2、随着计算能力的发展与业务对时延、安全等性能需求的提升,计算形式经历了从云端集中计算到按需下沉业务至边缘分散计算的转变,并与海量终端设备一同形成云边端协同计算的三层架构。然而,对用户而言,云、边缘和端仍是在位置和形态上存在差异的孤立实体,且不同资源之间的相互隔离也使得资源利用率低。算力网络被提出作为该挑战的有效解决方案。算力网络侧重于利用无处不在的网络来感知、连接和协调泛在异构的计算资源并编织成一个更具凝聚力的网络,以为用户屏蔽资源差异,并基于云原生能力进行算网资源的编排管理。鉴于这些突出的优势,算力网络受到了工业界和学术界的广泛关注。通过计算和网络的深度融合,不仅解决了算力孤岛的痛点,并为更具协作性和响应能力的计算生态系统制定了蓝图。

3、在算力网络中,被称为“计算大脑”的编排调度功能引发了研究者们的广泛关注。然而,传统的云边端调度侧重于异构节点的选择和多目标组合的优化,缺乏对网络的关注。而算力网络深度融合了计算与网络,调度问题不仅涉及异构的计算节点,还需考虑复杂的网络链路,即需要对网络链路上的计算任务分流,以避免网络拥塞引发的通信延迟增加、数据丢失等连锁反应,从而确保计算任务在计算节点之间的高效可靠传输。此外,面对网络中高并发和不均匀的计算任务,在提升资源利用率的基础上,兼顾计算资源和网络资源的负载均衡对于系统的长期持续稳定性至关重要。

4、现有技术提出一种云边端协同的泛在算力网络架构的典型代表。在云边端协同的计算卸载模式中,计算任务可以在终端设备、任意边缘节点或远端云服务器上执行。该云边端计算卸载问题模型的目标是对长时间平均服务体验提升率的优化。服务体验提升率与计算任务的执行时延相关,计算卸载模式能够减少的时延越多,服务体验越好。将该云边端计算卸载问题描述为马尔可夫决策过程,当新计算任务产生时,终端设备会观察系统状态,基于系统状态为该任务选择卸载动作,并产生相应奖,每个终端设备的目标通过优化从状态映射到动作的策略来最大化系统长期奖励。该技术研究了算力网络架构中的计算卸载问题,但仍采用云边端的三层协同架构,没有将泛在异构的算力节点融入到集成的网络中,算力资源仍存在差异且相互隔离的,同时,未提及对卸载路由路径的选择,无从知晓任务在三层之间的传输方式以及任务在层内各算力节点间的路由方式,因此无法评估网络资源的使用状态。

5、另一现有技术提出一种混合式路由调度方案的总体架构,该架构包括算力网络编排管理系统和算网基础设施两个主要组成成分。算力网络编排管理系统负责资源状态感知与通告,并进行智能化处理,通过南北向接口方式将处理后的算力状态按需下发至网络设备节点。算网基础设施包括算力资源和网络资源,算力资源负责向上层系统上报算力状态信息,网络资源负责接收上层系统下发的算力状态信息,并基于算网综合状态计算最优路径,进行路由调度与业务引流。该技术中仅根据网络设备结合算网信息进行计算,缺少对最优算力服务节点和最有网络转发路径分析与选择,缺少对最优解的定义及介绍,同时,在制定路由调度策略时只考虑到对算力资源状态和网络状态的综合评估,忽略对业务流量的时延、可靠、安全等性能需求的考量。


技术实现思路

1、鉴于此,本专利技术实施例提供了一种基于负载均衡的时延优先任务调度方法及系统,以消除或改善现有技术中存在的一个或更多个缺陷,解决现有技术未将泛在异构算力节点融入集成网络而导致算力资源存在差异且相互隔离,以及未全面综合算力资源状态、算力网络状态、业务流量时延等方面制定调度策略而导致效率低、任务完成成功率低、系统稳定性差的问题。

2、一方面,本专利技术提供了一种基于负载均衡的时延优先任务调度方法,所述方法在算力网络中执行,包括以下步骤:

3、接入新的计算任务,根据所述计算任务的任务属性过滤不匹配的算力网络节点;其中,每个算力网络节点维护一个缓冲队列和一个计算队列;

4、基于马尔可夫决策过程,根据当前算力网络状态,生成所述计算任务的调度策略;根据所述调度策略,按照卸载路径将所述计算任务卸载至目标算力网络节点;根据时延确定所述计算任务的优先级,所述目标算力网络节点按照所述优先级顺序执行所述计算任务;

5、其中,在所述马尔可夫决策过程中,预先设置负载均衡程度上限,以约束所述马尔科夫决策过程;所述算力网络状态包括算力网络节点计算队列集合、算力网络节点缓存队列集合、链路负载集合和算力网络节点接入任务集合,使用所述计算任务执行延迟作为即时奖励、计算完成的成功率作为额外奖励,综合构建奖励值;

6、在进行下一次调度之前,更新所述算力网络状态。

7、在本专利技术的一些实施例中,所述方法还包括:

8、若所述计算任务在本地算力网络节点执行,其时延包括计算时延和排队等待时延,计算式为:

9、

10、其中,表示在本地算力网络节点n执行时,算力网络节点n上第k个计算任务的执行时延;on,k(t)表示所述计算任务的计算量;|cn(t*)|表示算力网络节点n计算队列上所有任务的总计算量;t表示接入所述计算任务时的时隙;t*表示执行所述计算任务时的时隙;fn表示算力网络节点n的最大计算能力;

11、若所述计算任务根据所述调度策略被卸载至所述目标算力网络节点执行,其时延包括计算时延、排队等待时延和网络传输时延,计算式为:

12、

13、其中,表示在目标算力网络节点n'执行时,算力网络节点n上第k个计算任务的执行时延;on,k(t)表示所述计算任务的计算量;|cn'(t*)|表示目标算力网络节点n'计算队列上所有任务的总计算量;t表示接入所述计算任务时的时隙;t*表示执行所述计算任务时的时隙;fn'表示目标算力网络节点n'的最大计算能力;dn,k(t)表示所述计算任务数据量;表示算力网络节点n和目标算力网络节点n'之间的第h条路由路径;vl(t)表示链路的实时传输速率。

14、在本专利技术的一些实施例中,所述方法还包括:

15、根据所述算力网络节点的缓存资源和计算资源的利用率衡量节点负载,计算式为:

16、

17、其中,|cn(t)|表示算力网络节点n计算队列上所有任务的总计算量;t表示接入所述计算任务时的时隙;δt表示一个调度时隙的时间跨度;fn表示算力网络节点n的最大计算能力;|bn(t)|表示算力网络节点n缓冲队列上所有任务的总数据量;mn表示算力网络节点n的最大缓存资源;

18、使用所有算力网络节点负载的标准本文档来自技高网...

【技术保护点】

1.一种基于负载均衡的时延优先任务调度方法,其特征在于,所述方法在算力网络中执行,包括以下步骤:

2.根据权利要求1所述的基于负载均衡的时延优先任务调度方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的基于负载均衡的时延优先任务调度方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的基于负载均衡的时延优先任务调度方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的基于负载均衡的时延优先任务调度方法,其特征在于,使用所述计算任务执行延迟作为即时奖励、计算完成的成功率作为额外奖励,综合构建奖励值,还包括:

6.根据权利要求4所述的基于负载均衡的时延优先任务调度方法,其特征在于,在所述马尔可夫决策过程中,预先设置负载均衡程度上限,以约束所述马尔科夫决策过程,还包括:

7.根据权利要求6所述的基于负载均衡的时延优先任务调度方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的基于负载均衡的时延优先任务调度方法,其特征在于,所述方法还包括:

9.一种基于负载均衡的时延优先任务调度系统,其特征在于,所述系统包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种基于负载均衡的时延优先任务调度方法,其特征在于,所述方法在算力网络中执行,包括以下步骤:

2.根据权利要求1所述的基于负载均衡的时延优先任务调度方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的基于负载均衡的时延优先任务调度方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的基于负载均衡的时延优先任务调度方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的基于负载均衡的时延优先任务调度方法,其特征在于,使用所述计算任务执行延迟作为即时奖励、计算完成的成功率作为额外奖励,综合构建奖励值,还包括:

【专利技术属性】
技术研发人员:谢人超冯立唐琴琴黄韬王旭周安琪包宇舰陈天骄
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1