一种基于分层联邦学习的客户端训练方法、装置和设备制造方法及图纸

本申请公开了一种基于分层联邦学习的客户端训练方法、装置和设备，通过根据重叠区域内各个客户端与各个重叠的边缘服务器之间的预估上下文奖励，为所述重叠区域内的客户端分配边缘服务器，以确定各个边缘服务器中的客户端集合；根据客户端集合中各个客户端与对应边缘服务器的预估上下文奖励和各个客户端的训练质量确定参与训练的客户端，并使参与训练的客户端按照接收到的训练模型进行训练；根据客户端的训练结果更新客户端与对应边缘服务器之间的预估上下文奖励和训练质量，有效的解决了处于边缘服务器重叠区域内的客户端的归属问题，并且为边缘服务器设计合理的训练客户端时的选择机制，使得客户端的训练时间和训练质量都能够得到有效保证。量都能够得到有效保证。量都能够得到有效保证。

【技术实现步骤摘要】
一种基于分层联邦学习的客户端训练方法、装置和设备


[0001]本申请涉及云计算与联邦学习
，尤其涉及一种基于分层联邦学习的客户端训练方法、装置和设备。

技术介绍

[0002]人工智能目前在许多新型应用中有着不可或缺的作用，例如：自然语言处理，无人驾驶汽车等。神经网络能够在我们拥有大量数据的前提下支持这些应用。随着终端设备收集的数据越来越多，终端设备的数量也在不断增加，因此联邦学习应运而生。在分层联邦学习中，终端设备不再与中央服务器直接交互，而是和与其相对应的边缘服务器进行交互，这大大降低了通信时间，并提供了更加稳定的网络连接。
[0003]在分层联邦学习中，每个边缘服务器都只负责一块区域，那么不同的边缘服务器必然存在相互重叠的区域，受限于客户端的带宽和计算能力，在重叠区域的客户端一轮只能参与到一个边缘服务器的训练中，因此如何为处在重叠区域内的客户端选择合适的边缘服务器是一个亟需解决的问题，并且在确定了重叠区域的客户端归属后，边缘服务器如何对客户端进行训练使得训练时间和训练质量都能够得到有效保证同样是亟需解决的技术问题。

技术实现思路

[0004]本申请的主要目的在于提供一种基于分层联邦学习的客户端训练方法、装置和设备，旨在解决上述技术问题。
[0005]第一方面，本申请提供一种基于分层联邦学习的客户端训练方法，所述方法包括以下步骤：
[0006]根据重叠区域内各个客户端与各个重叠的边缘服务器之间的预估上下文奖励，为所述重叠区域内的客户端分配边缘服务器，以确定各个边缘服务器中的客户端集合；
[0007]根据客户端集合中各个客户端与对应边缘服务器的预估上下文奖励和各个客户端的训练质量确定参与训练的客户端，并使参与训练的客户端按照接收到的训练模型进行训练；
[0008]根据客户端的训练结果更新客户端与对应边缘服务器之间的预估上下文奖励和训练质量。
[0009]一些实施例中，所述根据重叠区域内各个客户端与各个重叠的边缘服务器之间的预估上下文奖励，为所述重叠区域内的客户端分配边缘服务器，包括：
[0010]确定客户端所在的边缘服务器重叠区域内重叠的边缘服务器集合；
[0011]根据客户端与边缘服务器集合中各个边缘服务器之间的上下文向量，结合各个边缘服务器的上下文参数，计算客户端与边缘服务器集中各个边缘服务器之间的预估上下文奖励：
[0012][0013]根据公式将客户端分配至预估上下文奖励最大的边缘服务器中；
[0014]其中，i为客户端，t为训练轮次，a为第t轮训练时客户端i分配到的边缘服务器，P
t
(i)为客户端i的边缘服务器集合，r
i,a,t
为第t轮训练时客户端i与边缘服务器a之间的预估上下文奖励，X
i,a,t
为第t轮训练时客户端i与边缘服务器a之间的上下文向量，为第t
‑
1轮训练后边缘服务器a的上下文参数，CB
r,i
为预估上下文奖励的置信界。
[0015]一些实施例中，所述根据客户端集合中各个客户端与对应边缘服务器的预估上下文奖励和各个客户端的训练质量确定参与训练的客户端，包括：
[0016]根据预估上下文奖励对客户端合集中的客户端进行排序，并判断客户端集合中的客户端数量是大于第一预设数量；
[0017]若是，则根据客户端的UBC训练质量对预估上下文奖励最高的前第一预设数量的客户端进行排序，否则，根据客户端的UBC训练质量对客户端集合中所有的客户端进行排序；
[0018]判断根据客户端的UBC学习质量排序的客户端的数量是否大于第二预设数量；
[0019]若是，则选择客户端的UBC训练质量最高的前第二预设数量的客户端参与训练，否则选择客户端合集中所有的客户端参与训练；
[0020]根据边缘服务器中参与训练的客户端生成对应的参与训练的客户端合集；
[0021]其中，所述第一预设数量大于所述第二预设数量。
[0022]一些实施例中，根据客户端的训练结果更新对应客户端的训练质量，包括：
[0023]根据客户端完成本轮训练后训练模型的损失值和训练前训练模型的损失值确定客户端本轮训练的训练质量：
[0024]q
i,t
＝(L
s
‑
L
e
)*D
i,t
[0025]其中，q
i,t
为第t轮训练时客户端i的训练质量，L
s
为第t
‑
1轮训练时训练模型的损失值，L
e
为第t轮训练时训练模型的损失值，D
i,t
为客户端i在第t轮训练时的数据集；
[0026]将第t轮训练时客户端i的训练时质量q
i,t
的数值缩放至预设范围得到
[0027]根据客户端参与训练的次数和客户端本轮训练的训练质量，确定截止当前训练轮次客户端的整体训练质量；
[0028][0029]其中，为截止第t轮训练客户端i在边缘服务器a范围内的整体训练质量，为进行数值缩放后第t轮训练时客户端i的训练质量，z
i,t
为客户端i在截止第t轮训练时参与训练的次数，α为的权重参数，β为的权重参数，且α<β；
[0030]根据截止当前训练轮次客户端的整体训练质量更新客户端的UCB训练质量：
[0031][0032]其中，
[0033][0034]其中，为第t轮训练时客户端i在边缘服务器a范围内的UCB训练质量，u
i,t
为在第t轮训练时客户端i的整体训练质量与UCB训练质量的差值，K为边缘服务器a范围内参与本轮训练的客户端的数量。
[0035]一些实施例中，根据客户端的训练结果更新对应客户端的预估上下文奖励，包括：
[0036]根据客户端本轮训练的总耗时间确定客户端的实际上下文奖励：
[0037][0038]其中，r
′
i,a,t
为第t轮训练时客户端i在服务器a中的实际上下文奖励，v为第t轮训练时边缘服务器a中任意一个参与训练的客户端，Δt
t,i
为第t轮训练时客户端i的训练总耗时，S
a,t
为边缘服务器a对应的参与训练的客户端合集；
[0039]根据客户端的上下文向量和实际上下文奖励更新对应边缘服务器的上下文参数：
[0040][0041]其中，
[0042][0043][0044]其中，θ
a,t
为第t轮训练时更新的边缘服务器a的上下文参数，A
a,t
为第t轮训练时边缘服务器a的上下文参数的第一更新参数，b
a,t
为第t轮训练时边缘服务器a的上下文参数的第二更新参数，其中，包括x
i,a,t
和r
′
i,a,t
，为截止第t轮训练边缘服务器a历史数据，I为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分层联邦学习的客户端训练方法，其特征在于，包括：根据重叠区域内各个客户端与各个重叠的边缘服务器之间的预估上下文奖励，为所述重叠区域内的客户端分配边缘服务器，以确定各个边缘服务器中的客户端集合；根据客户端集合中各个客户端与对应边缘服务器的预估上下文奖励和各个客户端的训练质量确定参与训练的客户端，并使参与训练的客户端按照接收到的训练模型进行训练；根据客户端的训练结果更新客户端与对应边缘服务器之间的预估上下文奖励和训练质量。2.根据权利要求1所述的基于分层联邦学习的客户端训练方法，其特征在于，所述根据重叠区域内各个客户端与各个重叠的边缘服务器之间的预估上下文奖励，为所述重叠区域内的客户端分配边缘服务器，包括：确定客户端所在的边缘服务器重叠区域内重叠的边缘服务器集合；根据客户端与边缘服务器集合中各个边缘服务器之间的上下文向量，结合各个边缘服务器的上下文参数，计算客户端与边缘服务器集中各个边缘服务器之间的预估上下文奖励：根据公式将客户端分配至预估上下文奖励最大的边缘服务器中；其中，i为客户端，t为训练轮次，a为第t轮训练时客户端i分配到的边缘服务器，P
t
(i)为客户端i的边缘服务器集合，r
i,a,t
为第t轮训练时客户端i与边缘服务器a之间的预估上下文奖励，X
i,a,t
为第t轮训练时客户端i与边缘服务器a之间的上下文向量，为第t
‑
1轮训练后边缘服务器a的上下文参数，CB
r,i
为预估上下文奖励的置信界。3.根据权利要求1所述的基于分层联邦学习的客户端训练方法，其特征在于，所述根据客户端集合中各个客户端与对应边缘服务器的预估上下文奖励和各个客户端的训练质量确定参与训练的客户端，包括：根据预估上下文奖励对客户端合集中的客户端进行排序，并判断客户端集合中的客户端数量是大于第一预设数量；若是，则根据客户端的UBC训练质量对预估上下文奖励最高的前第一预设数量的客户端进行排序，否则，根据客户端的UBC训练质量对客户端集合中所有的客户端进行排序；判断根据客户端的UBC学习质量排序的客户端的数量是否大于第二预设数量；若是，则选择客户端的UBC训练质量最高的前第二预设数量的客户端参与训练，否则选择客户端合集中所有的客户端参与训练；根据边缘服务器中参与训练的客户端生成对应的参与训练的客户端合集；其中，所述第一预设数量大于所述第二预设数量。4.根据权利要求3所述的基于分层联邦学习的客户端训练方法，其特征在于，根据客户端的训练结果更新对应客户端的训练质量，包括：根据客户端完成本轮训练后训练模型的损失值和训练前训练模型的损失值确定客户
端本轮训练的训练质量：q
i，t
＝(L
s
‑
L
e
)*D
i，t
其中，q
i,t
为第t轮训练时客户端i的训练质量，L
s
为第t
‑
1轮训练时训练模型的损失值，L
e
为第t轮训练时训练模型的损失值，D
i,t
为客户端i在第t轮训练时的数据集；将第t轮训练时客户端i的训练质量q
i,t
的数值缩放至预设范围得到根据客户端参与训练的次数和客户端本轮训练的训练质量，确定截止当前训练轮次客户端的整体训练质量；其中，为截止第t轮训练时客户端i在边缘服务器a范围内的整体训练质量，...

【专利技术属性】
技术研发人员：李鹏升，甘庭，李宗鹏，黄浩，
申请(专利权)人：武汉大学，
类型：发明
国别省市：