面向边缘设备的多任务联邦学习方法及装置制造方法及图纸

本申请涉及一种面向边缘设备的多任务联邦学习方法及装置，属于计算机技术领域，该方法包括：在至少两个学习任务创建完成后，向多个边缘设备发送资源查询请求；根据资源查询请求查询到的资源信息和贝叶斯优化算法确定多个边缘设备的资源调度策略；按照资源调度策略为多个边缘设备分配学习任务；对于每个学习任务对应的全局模型，获取学习任务对应的各个边缘设备上传的模型参数；基于模型参数确定全局模型的最终模型参数；可以解决存在多个学习任务时，无法合理调度设备资源，导致联邦学习效率不高的问题；通过使得提交的至少两个学习任务的完成时长之和最小，也即使多个学习任务能尽可能快速地收敛，可以提高多任务学习的效率。率。率。

【技术实现步骤摘要】
面向边缘设备的多任务联邦学习方法及装置


[0001]本申请涉及一种面向边缘设备的多任务联邦学习方法及装置，属于计算机


技术介绍

[0002]联邦学习(Federated Learning)是一种机器学习框架，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。
[0003]当联邦学习过程存在多个机器学习任务时，如果同一时间只能运行一个学习任务，任务与任务之间不能并行，会增加任务的等待时间且效率极低。因此，在并行运行多个机器学习任务时，如何合理高效地调度设备资源，使得所有任务达到所需性能的效率最高是亟待解决的问题。

技术实现思路

[0004]本申请提供了一种面向边缘设备的多任务联邦学习方法及装置，可以解决存在多个学习任务时，无法合理调度设备资源，导致联邦学习效率不高的问题。本申请提供如下技术方案：
[0005]第一方面，提供一种面向边缘设备的多任务联邦学习方法，所述方法包括：
[0006]在至少两个学习任务创建完成后，向多个边缘设备发送资源查询请求；所述资源查询请求用于请求所述边缘设备返回资源信息；每个学习任务用于指示对一个全局模型进行训练；
[0007]根据所述资源信息和贝叶斯优化算法确定所述多个边缘设备的资源调度策略；所述资源调度策略用于使所述多个边缘设备完成所述至少两个学习任务后，消耗的通信时长和计算时长之和最小；
[0008]按照所述资源调度策略为所述多个边缘设备分配学习任务，以使每个边缘设备获取所述学习任务对应的全局模型，使用本地数据对所述全局模型进行训练，并将训练后的模型参数上传；每个学习任务对应至少一个边缘设备；
[0009]对于每个学习任务对应的全局模型，获取所述学习任务对应的各个边缘设备上传的模型参数；
[0010]基于所述模型参数确定所述全局模型的最终模型参数。
[0011]可选地，所述贝叶斯优化算法包括概率代理模型和采集函数；所述根据所述资源信息和贝叶斯优化算法确定所述多个边缘设备的资源调度策略，包括：
[0012]初始化随机选择t0个初始调度策略，并根据所述资源信息计算每个初始调度策略的目标函数值，得到已观测数据集所述目标函数值为所述至少两个学习任务训练一轮的时长之和；
[0013]将所述t0个初始调度策略和每个初始调度策略对应的时长之和输入所述概率代理模型，得到目标函数的后验概率分布，所述后验概率分布用于描述通过所述已观测数据集对先验进行修正后所述目标函数的置信度；
[0014]在所述置信度大于置信度阈值时，通过最大化所述采集函数查找下一个调度策略；根据所述下一个调度策略评估目标函数值；使用所述下一个调度策略和所述目标函数值更新所述已观测数据集；使用更新后的已观测数据集更新所述概率代理模型，得到更新后的置信度；
[0015]在所述更新后置信度大于所述置信度阈值时，触发执行所述通过最大化所述采集函数查找下一个调度策略；根据所述下一个调度策略评估目标函数值；使用所述下一个调度策略和所述目标函数值更新所述已观测数据集；使用更新后的已观测数据集更新所述概率代理模型，得到更新后的置信度的步骤；
[0016]在所述更新后置信度小于或等于置信度阈值时，确定所述更新后置信度对应的调度策略为所述资源调度策略。
[0017]可选地，所述概率代理模型为高斯过程，所述采集函数为基于增益期望EI策略的函数。
[0018]可选地，所述目标函数通过下式表示：
[0019][0020][0021]其中，κ＝{1,2,...,K}表示边缘设备的设备集合，J表示所述至少两个学习任务的任务总数，s
j
表示第r轮训练所选择的设备集合，R表示学习任务j的全局模型需要训练的轮数；表示单个边缘设备一轮所需的训练时长为通信时长与计算时长的和，表示学习任务j完成一轮训练所需的时长。
[0022]可选地，所述通过最大化所述采集函数查找下一个调度策略x
t
通过下式表示：
[0023]x
t
＝argmax
x u(x|D
1:t
‑1)
[0024]其中，D
1：t
‑1表示所述已观测数据集；u(*)表示采集函数。
[0025]可选地，所述在至少两个学习任务创建完成后，向多个边缘设备发送资源查询请求之前，还包括：
[0026]为每个学习任务创建一个通用模型，得到至少两个学习任务对应的全局模型；
[0027]或者，
[0028]为每个学习任务创建一个通用模型，并使用公共数据对所述通用模型进行预训练，得到至少两个学习任务对应的全局模型。
[0029]可选地，所述基于所述模型参数确定所述全局模型的最终模型参数，包括：
[0030]对所述模型参数进行平均，得到新的全局模型；
[0031]确定所述新的全局模型的模型性能是否达到期望模型性能；
[0032]在所述新的全局模型的模型性能未达到所述期望模型性能时，再次执行所述根据
所述资源信息和贝叶斯优化算法确定所述多个边缘设备的资源调度策略的步骤；
[0033]在所述新的全局模型的模型性能达到所述期望模型性能时，将所述新的全局模型确定为最终的全局模型，所述最终的全局模型的模型参数为最终模型参数。
[0034]第二方面，提供一种面向边缘设备的多任务联邦学习装置，所述装置包括：
[0035]资源查询模块，用于在至少两个学习任务创建完成后，向多个边缘设备发送资源查询请求；所述资源查询请求用于请求所述边缘设备返回资源信息；每个学习任务用于指示对一个全局模型进行训练；
[0036]策略确定模块，用于根据所述资源信息和贝叶斯优化算法确定所述多个边缘设备的资源调度策略；所述资源调度策略用于使所述多个边缘设备完成所述至少两个学习任务后，消耗的通信时长和计算时长之和最小；
[0037]任务分配模块，用于按照所述资源调度策略为所述多个边缘设备分配学习任务，以使每个边缘设备获取所述学习任务对应的全局模型，使用本地数据对所述全局模型进行训练，并将训练后的模型参数上传；每个学习任务对应至少一个边缘设备；
[0038]参数获取模块，用于对于每个学习任务对应的全局模型，获取所述学习任务对应的各个边缘设备上传的模型参数；
[0039]模型确定模块，用于基于所述模型参数确定所述全局模型的最终模型参数。
[0040]可选地，所述贝叶斯优化算法包括概率代理模型和采集函数；所述策略确定模块，用于：
[0041]初始化随机选择t0个初始调度策略，并根据所述资源信息计算每个初始调度策略的目标函数值，得到已观测数据集所述目标函数值为所述至少两个学习任务训练一轮的时长之和；
[0042]将所述t0个初本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向边缘设备的多任务联邦学习方法，其特征在于，所述方法包括：在至少两个学习任务创建完成后，向多个边缘设备发送资源查询请求；所述资源查询请求用于请求所述边缘设备返回资源信息；每个学习任务用于指示对一个全局模型进行训练；根据所述资源信息和贝叶斯优化算法确定所述多个边缘设备的资源调度策略；所述资源调度策略用于使所述多个边缘设备完成所述至少两个学习任务后，消耗的通信时长和计算时长之和最小；按照所述资源调度策略为所述多个边缘设备分配学习任务，以使每个边缘设备获取所述学习任务对应的全局模型，使用本地数据对所述全局模型进行训练，并将训练后的模型参数上传；每个学习任务对应至少一个边缘设备；对于每个学习任务对应的全局模型，获取所述学习任务对应的各个边缘设备上传的模型参数；基于所述模型参数确定所述全局模型的最终模型参数。2.根据权利要求1所述的方法，其特征在于，所述贝叶斯优化算法包括概率代理模型和采集函数；所述根据所述资源信息和贝叶斯优化算法确定所述多个边缘设备的资源调度策略，包括：初始化随机选择t0个初始调度策略，并根据所述资源信息计算每个初始调度策略的目标函数值，得到已观测数据集所述目标函数值为所述至少两个学习任务训练一轮的时长之和；将所述t0个初始调度策略和每个初始调度策略对应的时长之和输入所述概率代理模型，得到目标函数的后验概率分布，所述后验概率分布用于描述通过所述已观测数据集对先验进行修正后所述目标函数的置信度；在所述置信度大于置信度阈值时，通过最大化所述采集函数查找下一个调度策略；根据所述下一个调度策略评估目标函数值；使用所述下一个调度策略和所述目标函数值更新所述已观测数据集；使用更新后的已观测数据集更新所述概率代理模型，得到更新后的置信度；在所述更新后置信度大于所述置信度阈值时，触发执行所述通过最大化所述采集函数查找下一个调度策略；根据所述下一个调度策略评估目标函数值；使用所述下一个调度策略和所述目标函数值更新所述已观测数据集；使用更新后的已观测数据集更新所述概率代理模型，得到更新后的置信度的步骤；在所述更新后置信度小于或等于置信度阈值时，确定所述更新后置信度对应的调度策略为所述资源调度策略。3.根据权利要求2所述的方法，其特征在于，所述概率代理模型为高斯过程，所述采集函数为基于增益期望EI策略的函数。4.根据权利要求2所述的方法，其特征在于，所述目标函数通过下式表示：
其中，κ＝{1,2,...,K}表示边缘设备的设备集合，J表示所述至少两个学习任务的任务总数，s
j
表示第r轮训练所选择的设备集合，R表示学习任务j的全局模型需要训练的轮数；表示单个边缘设备一轮所需的训练时长为通信时长与计算时长的和，表示学习任务j完成一轮训练所需的时长。5.根据权利要求2所述的方法，其特征在于，所述通过最大化所述采集函数查找下一个调度策略x
t
通过下式表示：x
t
＝argmax
x
u(x|D
1:t
‑1)其中，D
1：t
‑1表示所述已观测数据集；u(*)表示采集函数。6.根据权利要求1至5任一所述的方法，其特征在于，所述在至少两个学习任务创建完成后，向多个边缘设备发送资源查询请求之前，还包括：为每个学习任务创建一个通用模型，得到至少两个学习任务对应的全局模型；或者，为每个学习任务创建一个...

【专利技术属性】
技术研发人员：唐玉维，
申请(专利权)人：苏州联电能源发展有限公司，
类型：发明
国别省市：