一种半异步联邦学习方法及系统技术方案

本发明专利技术涉及人工智能数据挖掘分类以及安全人工智能技术领域，提供了一种半异步联邦学习方法及系统，包括：在某一轮次开始时，选择若干个客户端参与当前轮次的训练，为每个客户端分配学习率，并将当前轮次的服务器模型和时间戳发送给选择的客户端，以使选择的客户端采用本地数据集对服务器模型进行优化，得到客户端模型并返回；周期性地对某一轮次客户端返回的客户端模型进行分组后，依次进行组内聚合和组间聚合，对服务器模型进行更新，得到下一轮次的服务器模型。有效地解决了现有异步联邦学习算法存在的通信瓶颈的问题，并实现了众包工人的隐私保护。的隐私保护。的隐私保护。

【技术实现步骤摘要】
一种半异步联邦学习方法及系统


[0001]本专利技术属于人工智能数据挖掘分类以及安全人工智能
，尤其涉及一种半异步联邦学习方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]众包是一种流行且相对经济的计算范式，旨在利用人的智慧来解决计算机难以处理的问题，例如，实体对齐和文本情感分析。然而，现在大多数的众包平台需要利用工人的隐私信息来进行任务的分配和执行，这可能会导致工人隐私信息的严重泄露，进而阻碍众包项目的实施和普及。由于联邦学习在保护数据隐私安全上的有效性，提出了使用联邦学习技术来实现众包工人的隐私保护，并称之为联邦众包，在联邦众包中，众包工人将收集到的数据保留在本地并使用本地设备进行模型训练，然后众包服务器将训练好的客户端模型进行聚合得到共享的服务器模型，从而实现隐私保护并且保证众包项目高质量完成。
[0004]但是，由于工人所持的设备在计算能力、网络资源以及数据量上的差异性，所以各个工人的设备完成模型训练并上传的时间也大相径庭，并且各个客户端因为所处环境不同导致数据分布具有非独立同分布(Non
‑
i.i.d.)的特性，如何在这种客户端设备和数据方面多异构场景下实现高效、稳定且有效的模型协同训练是当前将联邦学习应用到众包中亟待解决的难点。
[0005]目前，针对客户端设备响应时间差距较大的问题的解决方法有：采用完全异步的通信模式，即客户端完成训练之后就立即对服务器模型进行更新而无需等待其他速度慢的客户端；在训练开始之前，根据响应时间对客户端进行分组，采取组间异步但组内同步的训练模式；设定落后轮次阈值，当速度慢的客户端落后轮次超过阈值后，放弃当前训练进度并直接更新为最新的服务器模型；当上传到服务器的客户端模型达到指定数目之后再对服务器模型进行更新等方法。完全异步的联邦学习方法存在着通信阻塞并且落后的客户端模型会降低模型的收敛速率，而其他半异步的协同模式会导致在非独立同分布数据的情况下出现模型偏置的问题，这将严重限制他们在实际联邦众包场景中的应用。

技术实现思路

[0006]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种半异步联邦学习方法及系统，每隔固定的时间对接收到的客户端模型进行聚合，有效地解决了现有异步联邦学习算法存在的通信瓶颈的问题；并使得众包工人收集到的数据保留在本地，而无需上传到服务器，从而实现众包工人的隐私保护。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]本专利技术的第一个方面提供一种半异步联邦学习方法，其包括：
[0009]在某一轮次开始时，选择若干个客户端参与当前轮次的训练，为每个客户端分配
学习率，并将当前轮次的服务器模型和时间戳发送给选择的客户端，以使选择的客户端采用本地数据集对服务器模型进行优化，得到客户端模型并返回；
[0010]周期性地对某一轮次客户端返回的客户端模型进行分组后，依次进行组内聚合和组间聚合，对服务器模型进行更新，得到下一轮次的服务器模型。
[0011]进一步地，根据每个客户端的平均训练时间，为每个客户端分配学习率。
[0012]进一步地，所述客户端对服务器模型进行优化时，通过添加正则约束项的损失函数以及分配的学习率，使用梯度下降算法进行优化。
[0013]进一步地，将在同一轮次接收到服务器模型的客户端分为一组。
[0014]进一步地，所述组内聚合表示为：
[0015][0016]其中，是第i组中的客户端c返回的客户端模型，为第t轮次第i组的组模型，表示客户端c的本地数据集中的样本数目，表示在第i轮次接收到服务器模型并在第t轮次中将客户端模型返回的客户端集合。
[0017]进一步地，所述组间聚合表示为：
[0018][0019]其中，α是超参数，表示客户端c的本地数据集中的样本数目，表示在第i轮次接收到服务器模型并在第t轮次中将客户端模型返回的客户端集合，为第t轮次中第i组的组模型，θ
t
表示第t轮次的聚合模型。
[0020]进一步地，在某一轮次对服务器模型进行更新时，下一轮次的服务器模型为所述组间聚合后得到的聚合模型与当前轮次的服务器模型的加权和。
[0021]本专利技术的第二个方面提供一种半异步联邦学习系统，其包括：
[0022]客户端选择模块，其被配置为：在某一轮次开始时，选择若干个客户端参与当前轮次的训练，为每个客户端分配学习率，并将当前轮次的服务器模型和时间戳发送给选择的客户端，以使选择的客户端采用本地数据集对服务器模型进行优化，得到客户端模型并返回；
[0023]模型更新模块，其被配置为：周期性地对某一轮次客户端返回的客户端模型进行分组后，依次进行组内聚合和组间聚合，对服务器模型进行更新，得到下一轮次的服务器模型。
[0024]本专利技术的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种半异步联邦学习方法中的步骤。
[0025]本专利技术的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种半异步联邦学习方法中的步骤。
[0026]与现有技术相比，本专利技术的有益效果是：
[0027]本专利技术提供了一种半异步联邦学习方法，其针对工人所持设备的响应时间差距较
大的问题，使用周期性聚合的半异步联邦学习机制，即每隔固定的时间对接收到的客户端模型进行聚合，可以有效地解决现有异步联邦学习算法存在的通信瓶颈的问题。
[0028]本专利技术提供了一种半异步联邦学习方法，其使得众包工人收集到的数据保留在本地，而无需上传到服务器从而实现工人的隐私保护。
[0029]本专利技术提供了一种半异步联邦学习方法，其为解决在异步通信模式下，不同速度的客户端参与模型更新的频率不同导致服务器模型的偏置问题，特别是在客户端数据呈非独立同分布的情况下尤为突出，依据响应时间对客户端模型进行分组，并为速度慢的组别分配较大的聚合权重，从而有效缓解了模型偏置的问题。
[0030]本专利技术提供了一种半异步联邦学习方法，其使服务器根据客户端的训练速度慢的客户端分配较大的学习率，从而进一步缩小不同速度客户端之间模型训练速度的差异，平衡服务器模型的更新过程，加快模型的收敛速率。
附图说明
[0031]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0032]图1是本专利技术实施例一的一种半异步联邦学习方法的整体流程图；
[0033]图2是本专利技术实施例一的一种半异步联邦学习方法的详细流程图。
具体实施方式
[0034]下面结合附图与实施例对本专利技术作进一步说明。
[0035]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种半异步联邦学习方法，其特征在于，包括：在某一轮次开始时，选择若干个客户端参与当前轮次的训练，为每个客户端分配学习率，并将当前轮次的服务器模型和时间戳发送给选择的客户端，以使选择的客户端采用本地数据集对服务器模型进行优化，得到客户端模型并返回；周期性地对某一轮次客户端返回的客户端模型进行分组后，依次进行组内聚合和组间聚合，对服务器模型进行更新，得到下一轮次的服务器模型。2.如权利要求1所述的一种半异步联邦学习方法，其特征在于，根据每个客户端的平均训练时间，为每个客户端分配学习率。3.如权利要求1所述的一种半异步联邦学习方法，其特征在于，所述客户端对服务器模型进行优化时，通过添加正则约束项的损失函数以及分配的学习率，使用梯度下降算法进行优化。4.如权利要求1所述的一种半异步联邦学习方法，其特征在于，将在同一轮次接收到服务器模型的客户端分为一组。5.如权利要求1所述的一种半异步联邦学习方法，其特征在于，所述组内聚合表示为：其中，是第i组中的客户端c返回的客户端模型，为第t轮次第i组的组模型，表示客户端c的本地数据集中的样本数目，表示在第i轮次接收到服务器模型并在第t轮次中将客户端模型返回的客户端集合。6.如权利要求1所述的一种半异步联邦学习方法，其特征在于，所述组间聚合表示为：其中，α是超参数，表示客户端c的本地数据集中的样本数目，表示在第i轮次接...

【专利技术属性】
技术研发人员：余国先，康祥平，王峻，郭伟，崔立真，
申请(专利权)人：山东大学，
类型：发明
国别省市：