System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种命名架构下基于迁移学习经验的算力路由方法技术_技高网
当前位置: 首页 > 专利查询>江苏大学专利>正文

一种命名架构下基于迁移学习经验的算力路由方法技术

技术编号:41683458 阅读:18 留言:0更新日期:2024-06-14 15:35
本发明专利技术涉及一种命名架构下基于迁移学习经验的算力路由方法,将算力服务提供者曾训练的模型精度作为其拥有的经验值,设计任务完成能力评价函数,该函数综合考虑了算力服务提供者处的平均等待任务队列长度和该类模型训练经验值。对于接收到的分类模型训练任务请求,若其具备多个可选的算力服务提供者,NDN路由器根据预先获取的算力服务提供者服务状态信息,对潜在算力服务提供者进行任务完成能力评价,进而结合评价结果计算每个算力提供者的转发概率,将任务调用兴趣包尽可能转发给具备更高经验的算力服务提供者。本发明专利技术进一步考虑命名算力服务提供者的经验,提供了更为合理的命名算力服务提供者选择,降低了用户获取计算结果的时间。

【技术实现步骤摘要】

本专利技术涉及命名算力网络(named computing power network,ncpn),具体涉及一种命名架构下基于迁移学习经验的算力路由方法


技术介绍

0、技术背景

1、随着智能化社会的到来,接入网络的智能终端数量与智能化应用规模呈现爆炸式增长,而智能终端和智能化应用的运行无不需要海量算力的支持,故当前互联网正面临前所未有的算力访问压力。为应对上述挑战,如何设计高效服务于用户算力需求的算力网络,已成为当前网络领域备受关注的研究方向。而作为下一代互联网体系架构的重要范例,命名数据网络(named data networking,ndn)通过采用基于命名的寻址方式,有效解决了ip架构因面向主机寻址而导致的地址容量、移动性等问题。基于ndn架构构建算力网络,可以利用其语义寻址特性,实现对网内动态部署的算力服务的高效发现与灵活寻址,因此ndn架构已成为富有潜力的算力网络解决方案之一。

2、虽然ndn架构为算力需求带来灵活的寻址方案,但如何为用户智能化分配、调度算力资源,仍依赖于算力感知路由设计。现有算力感知路由主要通过对算网资源感知,实现智能化的转发请求调度,并为用户选择合适的算力资源进行调用。典型考虑的决策因素包括各个算力服务提供者的算力资源、算力资源运行开销、任务排队时间、各个链路的带宽以及链路传播时延等算网资源信息。

3、但若仅考虑算网资源因素,将带来较长的计算时延和较大的计算开销。在图1所示的网络拓扑中,网内共存在3个算力服务提供者:a、b、c。3个算力服务提供者算力资源总量相同,但a算力资源已被占用50%,b算力资源已被占用20%,c算力资源已被占用75%,路由节点将用户请求转发至上述3个算力服务提供者的转发时延相同。现用户请求图像分类模型训练任务,a和b以往没有执行过该类任务,需要进行模型的重训练;c以往执行过类似任务,具备可供迁移的模型,模型迁移训练时间约为重训练时间的90%。若仅按照算网资源情况进行路由转发,则用户请求将被优先转发至b。而更合理的路由方案是将用户请求转给c。虽然c较为忙碌,但因c曾处理过类似的图像分类模型训练任务,其本地存有可供迁移的模型,导致其具有同类任务处理经验,最终完成任务的时间会明显小于a和b。因此,面向未来以机器学习为主体的各类智能化应用,从算力路由设计的合理性角度,不仅需要考虑算网资源情况,也需要深层次考虑算力服务提供者内在的服务处理能力。


技术实现思路

1、为了解决现有技术中存在的问题,本专利技术提供一种命名算力网络架构下基于迁移学习经验的算力路由方法,将命名算力服务提供者曾训练的模型精度作为其拥有的经验值,进而设计了任务完成能力评价函数,该函数综合考虑了命名算力服务提供者处的平均等待任务队列长度和该类模型训练经验值。对于接收到的分类模型训练任务请求,若其具备多个可选的命名算力服务提供者,ndn路由器根据预先获取的命名算力服务提供者状态信息,对潜在命名算力服务提供者进行任务完成能力评价,进而结合评价结果计算每个命名算力提供者的转发概率,将任务调用兴趣包尽可能转发给具备更高经验的算力服务提供者。同时,配合该基于迁移学习经验的路由机制,提供了命名算力服务提供者状态感知方法。

2、为实现上述专利技术目的,实现在分类模型训练应用场景下,ndn路由器在多个备选算力服务提供者中,根据其各自的任务完成能力大小,进行自主决策转发,本专利技术提出了一种命名架构下基于迁移学习经验的算力路由方法,具体技术方案如下:

3、一种命名架构下基于迁移学习经验的算力路由方法,包括用户节点、命名算力服务提供者、ndn路由器、网关,所述ndn路由器同时执行服务状态感知机制和评价决策机制,所述ndn路由器执行服务状态感知机制分为初始化阶段和运行阶段;在初始化阶段,ndn路由器获取命名算力服务提供者的初始状态并存入状态标识表中;在运行阶段,ndn路由器主动获取状态发生变化的命名算力服务提供者的状态信息,并将其更新进ndn路由器维护的状态标识表中。

4、所述ndn路由器执行评价决策机制,ndn路由器收到用户任务请求,利用状态标识表中的信息评价每个命名算力服务提供者的任务完成能力,根据评价结果,计算转发至各个命名算力服务提供者的概率,依据概率的计算结果,ndn路由器执行自主决策转发。

5、进一步地,上述ndn路由器维护的状态标识表包括以下字段:

6、命名算力服务提供者的名称:网内共有n个命名算力服务提供者,第i个命名算力服务提供者的名称记为pi,1≤i≤n。

7、服务状态标识:第i个命名算力服务提供者的状态标识记为seq(i),代表pi最新的服务状态。

8、任务平均队列长度:第i个命名算力服务提供者的任务队列长度记为len(i),代表pi等待处理的任务个数。

9、平均训练时间:第i个命名算力服务提供者的平均训练时间记为time(i),代表pi处理分类模型训练服务所需的平均时间。

10、历史训练任务:历史训练任务存储了“所提供的分类模型名称”与“已训练过的分类数据集名称”的拼接字符串。将“所提供的分类模型名称”记为modelname,“已训练过的分类数据集名称”记为datasetname,则历史训练任务字段存储的内容为“/modelname/datasetname”。

11、历史最大训练精度:每个命名算力服务提供者均提供m类分类模型训练服务,第j类分类模型训练服务记为task(j),1≤j≤m,将第i个命名算力服务提供者处理第j类分类模型训练服务的历史最大训练精度记为acc(i,j),每次任务完成后将进行更新,若pi未处理过第j类分类模型训练服务,则acc(i,j)为0。

12、进一步地,上述服务状态感知机制的初始化阶段包括:

13、1.1)命名算力服务提供者发布初始服务状态:第i个命名算力服务提供者pi发布名为“/pi/seq(i)”的状态通告兴趣包广播自身服务状态,其中,seq(i)为pi的服务状态标识,初始状态为0。

14、1.2)ndn路由器获取初始服务状态:ndn路由器发送名为“/request-status/pi/0”的状态请求兴趣包,

15、1.3)命名算力服务提供者返回初始服务状态:命名算力服务提供者pi收到状态请求兴趣包后,将当前自身的任务队列长度len(i)、平均完成时间time(i)、历史训练任务、所提供模型的历史最大训练精度acc(i,j)、插入返回数据包中;

16、1.4)ndn路由器初始化状态标识表:ndn路由器收到携带命名算力服务提供者pi服务状态信息的数据包后新增条目,将数据包中的服务状态信息依次存入对应字段中;状态标识表中服务状态标识字段记录状态请求兴趣包命名中的seq(i)字段。

17、进一步地,上述服务状态感知机制的运行阶段包括:

18、2.1)命名算力服务提供者周期性发布服务状态:第i个命名算力服务提供者pi周期性发布名为“/pi/seq(i)本文档来自技高网...

【技术保护点】

1.一种命名架构下基于迁移学习经验的算力路由方法,包括用户节点、命名算力服务提供者、NDN路由器、网关,其特征在于,所述NDN路由器同时执行服务状态感知机制和评价决策机制,所述NDN路由器执行服务状态感知机制分为初始化阶段和运行阶段;在初始化阶段,NDN路由器获取命名算力服务提供者的初始状态并存入状态标识表中;在运行阶段,NDN路由器主动获取状态发生变化的命名算力服务提供者的状态信息,并将其更新进NDN路由器维护的状态标识表中;

2.如权利要求1所述的一种命名架构下基于迁移学习经验的算力路由方法,其特征在于,所述NDN路由器维护的状态标识表包括以下字段:

3.如权利要求1所述的一种命名架构下基于迁移学习经验的算力路由方法,其特征在于,所述服务状态感知机制的初始化阶段包括:

4.如权利要求1所述的一种命名架构下基于迁移学习经验的算力路由方法,其特征在于,所述服务状态感知机制的运行阶段包括:

5.如权利要求1所述的一种命名架构下基于迁移学习经验的算力路由方法,其特征在于,所述NDN路由器决策具体包括以下步骤:

【技术特征摘要】

1.一种命名架构下基于迁移学习经验的算力路由方法,包括用户节点、命名算力服务提供者、ndn路由器、网关,其特征在于,所述ndn路由器同时执行服务状态感知机制和评价决策机制,所述ndn路由器执行服务状态感知机制分为初始化阶段和运行阶段;在初始化阶段,ndn路由器获取命名算力服务提供者的初始状态并存入状态标识表中;在运行阶段,ndn路由器主动获取状态发生变化的命名算力服务提供者的状态信息,并将其更新进ndn路由器维护的状态标识表中;

2.如权利要求1所述的一种命名架构下基...

【专利技术属性】
技术研发人员:戴亚锴朱轶
申请(专利权)人:江苏大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1