【技术实现步骤摘要】
【国外来华专利技术】
本文描述的实施例涉及用于从多个潜在ml客户端成员中选择一个或多个ml客户端成员以执行联邦学习的方法和装置。
技术介绍
1、通常，本文使用的所有术语将根据其在相关
中的普通含义来解释，除非从使用其的上下文清楚地给出和/或暗示不同的含义。除非另外明确说明，否则对元件、装置、组件、部件、步骤等的所有引用将被开放地解释为指代元件、装置、组件、部件、步骤等的至少一个实例。本文公开的任何方法的步骤不必以所公开的确切顺序执行，除非步骤被明确地描述为在另一步骤之后或之前和/或其中隐含步骤必须在另一步骤之后或之前。在适当的情况下，本文公开的任何实施例的任何特征可以应用于任何其他实施例。同样，任何实施例的任何优点可以应用于任何其他实施例，反之亦然。根据下面的描述，所包含的实施例的其他目的、特征和优点将是显而易见的。
2、人工智能(ai)/机器学习(ml)正在工业领域中的一系列应用领域中使用。在移动通信系统中，移动设备(例如，智能电话、汽车、机器人)越来越多地用ai/ml模型替换常规算法(例如，语音识别、图像识别、视频处理)以实现应用。
3、近年来，基于ai/ml的移动应用越来越计算密集、存储器消耗和功率消耗。同时，终端设备通常具有严格的能量消耗、计算和存储器成本限制，以用于在机载运行完整的离线ai/ml推理/学习/控制。云服务器通过聚合由每个终端设备(例如，ue)部分训练的局部模型来训练全局模型。在每次训练迭代内，ue使用本地训练数据基于从ai服务器下载的模型来执行训练。然后，ue经由5g上行链路(ul)信道向云服务器
4、5g系统上的分布式/联邦学习
5、如tr22.874(v18.2.0)中介绍的，5g系统上的分布式/联邦学习是5g系统可以支持的三种类型的ai/ml操作之一。
6、目前，智能手机相机已经成为拍摄图像和视频的最流行的工具，其保持用于图像识别模型训练的有价值的视觉数据。对于许多图像识别任务，由移动设备收集的图像/视频对于训练全局模型是必要的。联邦学习(fl)是用于训练计算机视觉和图像识别模型的日益广泛使用的方法。
7、图1示出了5g系统上的联邦学习(fl)。在联邦学习模式中，云服务器通过基于迭代模型平均来聚合由每个终端设备(例如，ue)部分训练的局部模型来训练全局模型。如图1所示，在每次训练迭代内，ue(或终端设备)使用本地训练数据基于从ai服务器下载的模型来执行训练。然后，ue经由5g上行链路(ul)信道向云服务器报告临时训练结果(例如，dnn的梯度)。服务器聚合来自设备的梯度，并更新全局模型。接下来，经由5g下行链路(dl)信道将更新的全局模型分布给ue，并且ue可以执行下一次迭代的训练。
8、图2示出了迭代联邦学习过程。在第n次训练迭代中，设备(例如，ue)使用本地收集的图像/视频基于从fl训练服务器下载的模型来执行训练。然后，设备经由5g ul信道向服务器报告第n次迭代临时训练结果(例如，dnn的梯度)。同时，将第(n+1)次迭代的全局模型和训练配置发送到设备。当服务器聚合来自设备针对第n次迭代的梯度时，设备执行第(n+1)次迭代的训练。联邦聚合输出用于更新全局模型，其将与更新的训练配置一起分布到设备。
9、为了充分利用设备处的训练资源并最小化训练时延，图2所示的训练流水线要求在第n次迭代的设备训练过程期间完成第n-1次迭代的训练结果报告和第n+1次迭代的全局模型/训练配置分布。实际上，在牺牲训练收敛速度的情况下，还可以考虑更放松的fl时间线。
10、可能需要最小化训练时间，因为移动装置可仅在环境中停留短时间段。此外，考虑到训练设备处的有限存储，在训练设备移动到环境之外之后，要求训练设备将大量训练数据存储在存储器中以用于训练可能是不现实的。
11、与在云数据中心中操作的去中心化训练相比，可能需要修改无线通信系统上的联邦学习以适应可变无线信道条件、移动设备上的不稳定训练资源和设备异质性。
12、图3示出了用于无线通信的联邦学习协议的示例。
13、对于每次迭代，可以首先选择训练设备。候选训练设备向fl服务器报告其可用于训练任务的计算资源。fl服务器基于来自设备的报告和其他条件(例如，设备的无线信道条件、地理位置等)进行训练设备选择。
14、因此，除了执行联邦学习任务之外，通信系统中的训练设备还使其其他数据在上行链路(例如，用于正在进行的服务事务)处进行发送，这可能是高优先级的并且不容忍时延，并且其传输可能影响设备上传本地训练的模型的能力。因此，与上传其他上行链路数据相比，设备选择必须考虑上传训练结果的折衷。此外，针对一次或多次迭代从联邦学习模型聚合中排除设备影响联邦学习模型的收敛。因此，无线链路上的候选训练设备选择比数据中心中的联邦学习更复杂。
15、在选择训练设备之后，fl服务器将训练配置连同用于训练的全局模型一起发送到所选择的训练设备。训练设备基于接收到的全局模型和训练配置开始训练。当完成本地训练时，设备向fl服务器报告其临时训练结果(例如，dnn的梯度)。在图3中，执行训练设备选择，并且在每次迭代开始时将训练配置发送到训练设备。如果条件(例如，设备的计算资源、无线信道条件、训练设备的其他服务事务)未改变，则针对每次迭代可能不需要训练设备重新选择和训练重新配置，即，针对多次迭代，同一组训练设备可以以相同的配置参与训练。然而，训练设备的选择应当随时间替代，以便实现来自所有设备的独立且相同分布的采样，换句话说，给予所有设备公平的机会来贡献于聚合模型。
16、应用服务器选择
17、在tr23.700-80(v18.3.0)中给出了解决方案(即，解决方案#45)，用于在5gc的辅助下进行中央应用服务器选择。
18、该解决方案解决了tr23.700-80(v18.3.0)中的密钥发布#7“5gs辅助联邦学习操作”的以下方面。
19、-当应用服务器从不同ue接收本地ml模型训练信息以便执行全局模型更新时，如何辅助af改善ue之中的fl性能(例如，管理时延散度)。
20、在联邦学习中，任何成员ue的通信延迟的增加可能导致整体fl进展的延迟。在基于应用ai/ml的fl中，成员ue可以由不同的应用服务器服务。
21、图4示出了fl中央服务器分布在不同区域中的示例。可以假设在每一轮fl中仅有一个中央服务器。
22、显然，使用不同的应用服务器作为fl中央服务器将实现不同的性能(例如，总分组延迟、业务速率等)。为了提高fl的整体性能，应考虑如何选择基于应用ai/ml的fl的适当中央服务器。af可以能够在5gc的辅助下确定用于一轮或多轮fl的最佳中央服务器，以改善整体fl性能。在fl操作期间，由于成员ue的移动性，af可以能够动态地改变中央服务器。
23、过程
24、图5本文档来自技高网...
【技术保护点】
1.一种在应用功能(701)中用于从多个潜在机器学习ML客户端成员中选择一个或多个ML客户端成员以执行联邦学习的方法，所述方法包括：
2.根据权利要求1所述的方法，其中所述第一分析信息包括以下一项或多项：
3.根据权利要求1或2所述的方法，还包括：
4.根据权利要求3所述的方法，其中所述第一订阅请求还包括以下一项或多项：
5.根据权利要求3或4所述的方法，还包括：
6.根据权利要求5所述的方法，还包括使用所述第一组ML服务器和所述初始ML客户端成员来开始联邦学习。
7.根据任一前述权利要求所述的方法，其中所述获得所述第一分析信息的步骤包括：
8.根据权利要求7所述的方法，其中所述第二订阅请求包括最近选择的一组ML服务器的指示。
9.根据权利要求8所述的方法，其中所述第二订阅请求还包括以下一项或多项：
10.根据权利要求8或9所述的方法，其中所述第一分析信息与所述最近选择的一组ML服务器和多个潜在ML客户端成员之间的通信性能有关。
11.根据权利要求1至10中任一
12.根据权利要求11所述的方法，其中所述获得第三分析信息的步骤包括：
13.根据权利要求12所述的方法，其中所述第三订阅请求包括：
14.根据权利要求13所述的方法，其中所述第三订阅请求还包括以下一项或多项：
15.根据权利要求13或14所述的方法，其中所述第三分析信息与所述潜在组ML服务器和所述最近选择的一组ML客户端成员之间的通信性能有关。
16.根据权利要求1至7中任一项所述的方法，还包括：
17.根据权利要求1至16中任一项所述的方法，还包括：
18.根据权利要求17所述的方法，其中用以发起FL的执行的所述请求包括以下一项或多项：
19.一种在网络数据分析功能NWDAF(702)中用于辅助从多个潜在机器学习ML客户端成员中选择一个或多个ML客户端成员以执行联邦学习的方法，所述方法包括：
20.根据权利要求19所述的方法，还包括：
21.根据权利要求20所述的方法，还包括：
22.根据权利要求19至21中任一项所述的方法，其中所述第二订阅请求包括最近选择的一组ML服务器的指示。
23.根据权利要求22所述的方法，其中所述第一分析信息与所述最近选择的一组ML服务器和多个潜在ML客户端成员之间的通信性能有关。
24.根据权利要求19至23中任一项所述的方法，还包括：
25.根据权利要求24所述的方法，其中所述第三预订请求包括：
26.根据权利要求25所述的方法，其中所述第三分析信息与所述潜在组ML服务器和最近选择的一组ML客户端成员之间的通信性能有关。
27.根据权利要求19至21中任一项所述的方法，还包括：
28.一种用于从多个潜在机器学习ML客户端成员中选择一个或多个ML客户端成员以执行联邦学习的应用功能(701，1200)，所述应用功能包括处理电路(1201)，所述处理电路(1201)被配置为使所述应用功能：
29.根据权利要求28所述的应用功能，其中所述处理电路还被配置为使所述应用功能执行根据权利要求2至18中任一项所述的方法。
30.一种网络数据分析功能NWDAF(702，1400)，用于辅助从多个潜在机器学习ML客户端成员中选择一个或多个ML客户端成员以执行联邦学习，所述NWDAF包括处理电路(1041)，所述处理电路(1041)被配置为使所述NWDAF：
31.根据权利要求30所述的NWDAF，其中所述处理电路还被配置为使所述应用功能执行根据权利要求20至27中任一项所述的方法。
32.一种计算机程序，包括指令，所述指令当在至少一个处理器上执行时，使所述至少一个处理器执行根据权利要求1至27中任一项所述的方法。
33.一种载体，包含根据权利要求32所述的计算机程序，其中所述载体包括电子信号、光信号、无线电信号或计算机可读存储介质中的一项。
34.一种计算机程序产品，包括非瞬态计算机可读介质，在所述非瞬态计算机可读介质上存储有根据权利要求32所述的计算机程序。
...【技术特征摘要】
【国外来华专利技术】
1.一种在应用功能(701)中用于从多个潜在机器学习ml客户端成员中选择一个或多个ml客户端成员以执行联邦学习的方法，所述方法包括：
2.根据权利要求1所述的方法，其中所述第一分析信息包括以下一项或多项：
3.根据权利要求1或2所述的方法，还包括：
4.根据权利要求3所述的方法，其中所述第一订阅请求还包括以下一项或多项：
5.根据权利要求3或4所述的方法，还包括：
6.根据权利要求5所述的方法，还包括使用所述第一组ml服务器和所述初始ml客户端成员来开始联邦学习。
7.根据任一前述权利要求所述的方法，其中所述获得所述第一分析信息的步骤包括：
8.根据权利要求7所述的方法，其中所述第二订阅请求包括最近选择的一组ml服务器的指示。
9.根据权利要求8所述的方法，其中所述第二订阅请求还包括以下一项或多项：
10.根据权利要求8或9所述的方法，其中所述第一分析信息与所述最近选择的一组ml服务器和多个潜在ml客户端成员之间的通信性能有关。
11.根据权利要求1至10中任一项所述的方法，还包括：
12.根据权利要求11所述的方法，其中所述获得第三分析信息的步骤包括：
13.根据权利要求12所述的方法，其中所述第三订阅请求包括：
14.根据权利要求13所述的方法，其中所述第三订阅请求还包括以下一项或多项：
15.根据权利要求13或14所述的方法，其中所述第三分析信息与所述潜在组ml服务器和所述最近选择的一组ml客户端成员之间的通信性能有关。
16.根据权利要求1至7中任一项所述的方法，还包括：
17.根据权利要求1至16中任一项所述的方法，还包括：
18.根据权利要求17所述的方法，其中用以发起fl的执行的所述请求包括以下一项或多项：
19.一种在网络数据分析功能nwdaf(702)中用于辅助从多个潜在机器学习ml客户端成员中选择一个或多个ml客户端成员以执行联邦学习的方法，所述方法包括：
20.根据权利要求19所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。