System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于模型数据处理,涉及一种用于边缘无状态网内聚合的交换机资源管理方法和系统。
技术介绍
1、联邦学习(fl)是一个很有前途的框架,它可以在不共享参与者个人数据的情况下协同进行全局模型的训练。通常,有一个中心服务器管理训练过程并收集模型更新,而多个客户端使用它们各自的数据执行本地模型训练。尽管该框架具有广泛的应用和高性能,但仍可以通过加速模型聚合和增强数据隐私来进一步改进。一方面,多个客户端将各自的本地模型发送到中心服务器,在网络上形成“多对一”的incast传输,这可能会阻塞中心服务器,减慢整个训练过程。另一方面,在收集本地模型后,中心服务器进行有状态的聚合,这需要在每一轮中保留每个客户端的本地更新。通过这样的历史更新数据,中心服务器可以推断出敏感属性,甚至可以恢复每个客户端的原始数据。因此,联邦学习中所宣称的隐私保护优势可能会受到损害。然而,当前的研究要么集中在通信优化上,要么集中在数据隐私上,存在着交换机内存利用率低的技术问题。
技术实现思路
1、针对上述传统方法中存在的问题,本专利技术提出了一种用于边缘无状态网内聚合的交换机资源管理方法、一种用于边缘无状态网内聚合的交换机资源管理系统、一种计算机设备以及一种计算机可读存储介质,能够有效提高交换机内存利用率。
2、为了实现上述目的,本专利技术实施例采用以下技术方案:
3、一方面,提供一种用于边缘无状态网内聚合的交换机资源管理方法,包括步骤:
4、获取连接的不同客户端按照维护的滑动窗口
5、根据各报文的序列号使用聚合器第一索引找到匹配的聚合器;
6、若任一聚合器接收匹配的报文后已到达聚合转发条件,则将任一聚合器对应的聚合结果转发到后续节点,并根据聚合器第二索引初始化当前未被匹配的另一聚合器。
7、另一方面,还提供一种用于边缘无状态网内聚合的交换机资源管理系统,包括:
8、报文获取模块,用于获取连接的不同客户端按照维护的滑动窗口发出的一批报文;报文携带序列号和固定数量的加权模型更新的值,序列号对应于加权模型更新的值在报文的数组中的位置,滑动窗口的最大值不超过聚合交换机缓存的报文数阈值;
9、索引匹配模块,用于根据各报文的序列号使用聚合器第一索引找到匹配的聚合器;
10、转发初始模块,用于在任一聚合器接收匹配的报文后已到达聚合转发条件时,将任一聚合器对应的聚合结果转发到后续节点,并根据聚合器第二索引初始化当前未被匹配的另一聚合器。
11、又一方面,还提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述任一项的用于边缘无状态网内聚合的交换机资源管理方法的步骤。
12、再一方面,还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一项的用于边缘无状态网内聚合的交换机资源管理方法的步骤。
13、上述技术方案中的一个技术方案具有如下优点和有益效果:
14、上述用于边缘无状态网内聚合的交换机资源管理方法和系统,通过在每个源节点维护一个滑动窗口,其中包括已发送但未确认的报文和未来可发送的报文的处理,该滑动窗口的大小可以动态调整以适应不同的网络状况,但滑动窗口的最大值不超过聚合交换机缓存的报文数阈值,以防止交换机内存溢出,避免不同序列号的报文错误地匹配到同一个聚合器。同时,通过聚合器第一索引使用两倍于最大滑动窗口大小的聚合器来解决窗口不同步的问题,在聚合器完成聚合时通过聚合器第二索引初始化当前未被匹配的另一聚合器,以循环利用交换机的内存并实现重新同步窗口,使得聚合过程在出现窗口不同步的情况下也能自动恢复到正常的聚合处理状态,最终有效应对丢包同时实现交换机内存的回收,有效提高了交换机内存利用率。
本文档来自技高网...【技术保护点】
1.一种用于边缘无状态网内聚合的交换机资源管理方法,其特征在于,包括步骤:
2.根据权利要求1所述的用于边缘无状态网内聚合的交换机资源管理方法,其特征在于,还包括步骤:
3.根据权利要求1或2所述的用于边缘无状态网内聚合的交换机资源管理方法,其特征在于,获取连接的不同客户端按照维护的滑动窗口发出的一批报文时,还包括步骤:
4.根据权利要求3所述的用于边缘无状态网内聚合的交换机资源管理方法,其特征在于,将任一所述聚合器对应的聚合结果转发到后续节点的过程中,还包括步骤:
5.一种用于边缘无状态网内聚合的交换机资源管理系统,其特征在于,包括:
6.根据权利要求5所述的用于边缘无状态网内聚合的交换机资源管理系统,其特征在于,所述转发初始模块还用于在所述聚合器接收匹配的所述报文后未到达聚合转发条件时,继续等待新的报文到来;所述报文包括首次发送的报文或重传报文,所述重传报文为所述客户端未收到中心服务器广播的具有相同序列号的确认报文后,触发重传而向聚合交换机重传的相同序列号的报文。
7.根据权利要求5或6所述的用于边缘无状
8.根据权利要求7所述的用于边缘无状态网内聚合的交换机资源管理系统,其特征在于,所述转发初始模块在将任一所述聚合器对应的聚合结果转发到后续节点的过程中,还用于在聚合交换机的出端口拥塞时,将聚合结果所在报文的拥塞字段的值设为1;所述拥塞字段用于向客户端指示聚合交互机的出端口拥塞并指示客户端减小滑动窗口。
9.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的用于边缘无状态网内聚合的交换机资源管理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4任一项所述的用于边缘无状态网内聚合的交换机资源管理方法的步骤。
...【技术特征摘要】
1.一种用于边缘无状态网内聚合的交换机资源管理方法,其特征在于,包括步骤:
2.根据权利要求1所述的用于边缘无状态网内聚合的交换机资源管理方法,其特征在于,还包括步骤:
3.根据权利要求1或2所述的用于边缘无状态网内聚合的交换机资源管理方法,其特征在于,获取连接的不同客户端按照维护的滑动窗口发出的一批报文时,还包括步骤:
4.根据权利要求3所述的用于边缘无状态网内聚合的交换机资源管理方法,其特征在于,将任一所述聚合器对应的聚合结果转发到后续节点的过程中,还包括步骤:
5.一种用于边缘无状态网内聚合的交换机资源管理系统,其特征在于,包括:
6.根据权利要求5所述的用于边缘无状态网内聚合的交换机资源管理系统,其特征在于,所述转发初始模块还用于在所述聚合器接收匹配的所述报文后未到达聚合转发条件时,继续等待新的报文到来;所述报文包括首次发送的报文或重传报文,所述重传报文为所述客户端未收到中心服务器广播的具有相同序列号的确认报文后,触发重传而向聚合交换机重传的相同序列号的报文。
7.根...
【专利技术属性】
技术研发人员:郭得科,夏俊旭,罗来龙,程葛瑶,顾舜贤,
申请(专利权)人:中国人民解放军国防科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。