一种节能的在网联邦学习网络和方法技术

本申请公开了一种节能的在网联邦学习网络，包括服务器、多个边缘节点以及连接所述服务器和所述多个边缘节点的交换机网络。所述服务器，用于构建联邦学习的初始模型、下发到所述边缘节点。所述交换机网络中的至少一个为可编程交换机，所述可编程交换机用于模型训练过程中梯度向量或模型参数在网聚合。所述边缘节点，用于进行模型训练，接收聚合后的参数，再将更新的参数传输到所述可编程交换机。本申请还包含在网联邦学习网络的节能方法。本申请方案减少了参数传输距离，进而减小传输时延，解决现有技术网络开销较大的问题。现有技术网络开销较大的问题。现有技术网络开销较大的问题。

【技术实现步骤摘要】
一种节能的在网联邦学习网络和方法


[0001]本申请涉及通信和计算机
，尤其涉及一种基于在网联邦学习的网络节能方法及装置。

技术介绍

[0002]随着5G时代的到来，网络业务越来越丰富，数据量的产生呈指数级增长，数据的传输给网络带来了巨大的压力。尤其B5G或6G网络的智能化加速发展，存在两方面的问题：网络数据本身的传输、AI训练过程中参数的传输，都带来了非常大的通信开销、传输时延，且缺乏安全性，数据的隐私保护也面临挑战，因此一种绿色、节能且安全的网络架构和方法是至关重要的。
[0003]在网计算技术作为近数据处理技术的重要分支，为加速大规模分布式应用带来了前所未有的契机。联邦学习可以在数据不出本地的情况下构建机器学习系统，这有助于确保隐私并降低通信成本。因此，是一种助力实现绿色、节能且安全的网络架构的关键技术。
[0004]但是联邦学习自身技术也存在一些弊端，其各参与方和聚合方之间的参数传输也会带来一定的通信开销和传输时延。联邦学习需要多个节点紧密协同处理，对节点间的通信带宽和延迟要求很高。在训练过程中产生大量的参数，极有可能造成网络拥塞。

技术实现思路

[0005]本申请实施例提供一种节能的在网联邦学习网络和方法，用于解决现有技术中参数的传输网络开销较大，以及传输参数数量和传输距离较大导致对模型的收敛造成较大时延的问题。
[0006]第一方面，本申请提出一种节能的在网联邦学习网络，包括服务器、多个边缘节点以及连接所述服务器和所述多个边缘节点的交换机网络。
[0007]所述服务器，用于构建联邦学习的初始模型、下发到所述边缘节点；
[0008]所述交换机网络中的至少一个为可编程交换机，所述可编程交换机用于模型训练过程中梯度向量或模型参数在网聚合；
[0009]所述边缘节点，用于进行模型训练，接收聚合后的参数，再将更新的参数传输到所述可编程交换机。
[0010]优选地，所述可编程交换机包含可编程的数据处理器，用于实现模型训练过程中梯度向量或模型参数在网聚合。
[0011]优选地，在所述边缘节点和所述可编程交换机之间的传输层协议中，包含第一标识信息和负载。所述第一标识信息用于表示迭代次数；所述负载包含梯度向量或模型参数。进一步优选地，所述负载中还包含表示数据量的信息。
[0012]优选地，所述交换机网络中包含多个可编程交换机。以多个边缘节点和共同可达的至少一个可编程交换机构成在网联邦学习的网络，其中选择的可编程交换机使各节点到选择的可编程交换机之间的跳数总和最少。
[0013]进一步优选地，所述交换机网络的通信协议中包含第二标识；所述第二标识，用于表示优先转发用于聚合的梯度向量或模型参数。
[0014]第二方面，本申请还出一种在网联邦学习网络节能方法，用于本申请任意一项实施例所述网络，包含以下步骤：
[0015]选定参与联邦学习的多个边缘节点；
[0016]以选定的多个边缘节点到共同可达的可编程交换机的跳数之和最少为准则，选择用于参与聚合的可编程交换机；
[0017]将联邦学习的初始模型部署到所述选定的多个边缘节点，这些边缘节点利用本地数据进行模型参数更新；
[0018]在边缘节点迭代N次后，将更新的梯度向量或模型参数发送到可编程交换机；可编程交换机对各个边缘节点迭代次数相同的梯度向量或模型参数进行聚合计算后，再发送到所述多个边缘节点；
[0019]重复进行迭代计算和聚合计算，直到训练结束。
[0020]优选地，在所述选定的多个边缘节点和用于聚合计算的可编程交换机之间的任一交换机，响应于通信协议中包含的设定字符，优先转发用于聚合的梯度向量或模型参数。
[0021]第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，并可在处理器运行所述计算机程序时实现第一方面任一所述方法。
[0022]第四方面，申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一所述的方法。
[0023]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0024]能够在数据不出本地的情况下进行模型的联合训练，在传统网络协议基础上进行改进和自定义，提出在交换设备上完成大数据的聚合操作。为了满足在网计算需求，提出可编程交换机，它为用户提供了一个完全开放的数据转发平面，用户可以根据需求灵活地定制网络功能，并实现对数据包的线速转发。因此，本专利提出将利用可编程交换机上进行联邦学习训练过程中参数的聚合，减小了参数传输距离，进而减小传输时延，从而减小梯度或者模型参数聚合开销，提供了更低的端到端通信时间。
附图说明
[0025]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0026]图1为现有技术的在网联邦学习网络框架结构；
[0027]图2为本说明书实施例提供的参数聚合模型框架结构示意图；
[0028]图3为本说明书实施例提供的协议改进第一种情况示意图；
[0029]图4为本说明书实施例提供的协议改进第二种情况示意图；
[0030]图5为本说明书实施例提供的结合协议的方法流程示意图；
[0031]图6为本说明书实施例提供的装置结构示意图。
具体实施方式
[0032]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及
相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0033]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0034]图1为现有技术的在网联邦学习网络框架结构。
[0035]第一种：边缘节点将数据发送到服务器/云端，服务器/云端基于这些数据构建模型进行集中式训练。此方案缺点在于边缘节点的数据量很大，其传输开销巨大，会带来通信的压力和传输时延。
[0036]第二种方式：边缘节点数据不出局，服务器/云端构建联邦学习模型，将构建的初始模型下发到边缘节点，边缘节点基于初始模型利用本地数据进行模型训练，将更新后的参数传输到服务器/云端进行参数的聚合，服务器/云端将聚合后的参数再次下发给各边缘节点，边缘节点继续下一轮的参数迭代更新，不断循环直至模型收敛。此方案较第一种方案在数据传输上和数据安全不出局上均有较大改进，但是参数的传输同样带来较大的网络开销，对于模型的收敛速度来讲也有一定时延。
[0037]图2为本说明书实施例提供的参数聚合模型框架结构示意图。
[0038]本申请提出一种节能的在网联邦学习网络，包括服务器、多个边缘节点以及连接所述服务器和所述多个边缘节点的交换机网络。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种节能的在网联邦学习网络，包括服务器、多个边缘节点以及连接所述服务器和所述多个边缘节点的交换机网络，其特征在于，所述服务器，用于构建联邦学习的初始模型、下发到所述边缘节点；所述交换机网络中的至少一个为可编程交换机，所述可编程交换机用于模型训练过程中梯度向量或模型参数在网聚合；所述边缘节点，用于进行模型训练，接收聚合后的参数，再将更新的参数传输到所述可编程交换机。2.如权利要求1所述节能的在网联邦学习网络，其特征在于，所述可编程交换机包含可编程的数据处理器，用于实现模型训练过程中梯度向量或模型参数在网聚合。3.如权利要求1所述的节能的在网联邦学习网络，其特征在于，在所述边缘节点和所述可编程交换机之间的传输层协议中，包含第一标识信息和负载；所述第一标识信息用于表示迭代次数；所述负载包含梯度向量或模型参数。4.如权利要求1所述的节能的在网联邦学习网络，其特征在于，所述交换机网络中包含多个可编程交换机；以多个边缘节点和共同可达的至少一个可编程交换机构成在网联邦学习的网络，其中选择的可编程交换机使各节点到选择的可编程交换机之间的跳数总和最少。5.如权利要求1所述的节能的在网联邦学习网络，其特征在于，所述交换机网络的通信协议中包含第二标识；所述第二标识，用于表示优先转发用于聚合的梯度向量或模型...

【专利技术属性】
技术研发人员：朱艳宏，党梅梅，程强，李少晖，刘姿杉，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：