一种基于不可知论的公平联邦学习异步训练方法技术

本发明专利技术属于人工智能中的分布式机器学习领域，特别涉及一种基于不可知论的公平联邦学习异步训练方法；包括：构建联邦学习系统，在第t轮次中，随机选择用户组成训练集，中央服务器向训练集下发全局模型参数；用户进行本地训练并向中央服务器上传用户模型参数和测试准确率；当中央服务器采集到所有的用户模型参数和测试准确率，更新全局模型参数并计算全局准确率；当全局准确率大于目标准确率，则向所有用户下发更新后的全局模型参数，完成训练；本发明专利技术利用不可知论来提高联邦学习关于公平优化目标的构建能力，设计训练调整机制以缓解全局优化方向关于部分用户的偏离程度，在面对数据异构的用户群体时，能取得良好的表现公平性和模型公平性。模型公平性。模型公平性。

【技术实现步骤摘要】
一种基于不可知论的公平联邦学习异步训练方法


[0001]本专利技术属于人工智能中的分布式机器学习领域，特别涉及一种基于不可知论的公平联邦学习异步训练方法。

技术介绍

[0002]人工智能的发展，依赖于大规模数据集，特别是真实场景中的数据。模型需要不断地从大量有效样本中学习，最终得到具有推理能力的模型。随着任务复杂度越来越高，模型训练对数据集的要求越来越严苛，需要更多的数据样本。但频繁出现的用户数据泄露事件，使得越来越多的个人和组织，开始重视隐私数据的安全性。中国在2021年陆续颁布了数据安全法和个人信息保护法，加强对隐私数据的安全监管。2016年谷歌公司的研究人员提出了联邦学习的概念，并于2017年给出可行性算法。联邦学习的主要思想是将模型训练环节下放至用户终端，服务器仅收集训练后的用户模型参数，而非用户隐私数据。联邦学习提供了数据不离开本地的全局模型训练方法，有效解决了无法收集用户数据的训练难题。
[0003]联邦学习的公平性是其重要的研究方向之一。当用户数据不服从独立同分布时，全局模型可能并不具备关于用户群体的表现一致性。用户数据质量、数量以及资源之间的差异，直接关系用户对全局模型的影响效果，可能导致全局模型关于用户的效用分布不均。作为训练参与者，用户并不希望全局模型产生效用倾斜，特别是关于特定群体的过度倾斜，效用分布不均的全局模型会损害用户的训练积极性。因此，研究具有公平性的联邦学习，可以保护用户的训练积极性，提高全局模型的有效适用范围。联邦学习按照公平概念可分为贡献公平联邦学习、模型公平联邦学习和表现公平联邦学习。根据处理方式的异同，又可将表现公平联邦学习继续分为训练目标调整、聚合权重调整以及不可知优化三类。更多的公平联邦学习研究，关注模型对于用户群体的表现均衡性，即表现公平联邦学习，因为多数非激励机制相关的研究工作，会设置用户积极训练的条件假设。
[0004]综上所述，关于贡献公平联邦学习的研究很少关注用户的训练积极性，使得联邦学习呈现趋利性。关于模型公平联邦学习的研究需要在每轮训练中增加额外的群体公平计算环节，提高了训练成本。关于表现公平联邦学习的研究中：训练目标调整的计算过程，通常较为复杂，容易引入额外的训练成本；基于聚合权重调整的训练方式，可能损害部分用户的已有利益；不可知优化为公平联邦学习的研究提供了新思路，但现有研究的场景设置较为理想化，实用价值较低。

技术实现思路

[0005]为解决以上现有技术的问题，本专利技术提出了一种基于不可知论的公平联邦学习异步训练方法，包括：
[0006]S1.构建联邦学习系统，其包括一个中央服务器和N个用户，且每个用户均在中央服务器的通信覆盖范围内；系统初始化并设置联邦学习轮次t，令t＝1；
[0007]S2.在第t轮次中，随机选择κ
×
N用户组成训练集C
train
，其中κ表示参与训练的用户
比例，中央服务器向训练集C
train
中的所有用户下发第t
‑
1轮次训练后更新的全局模型参数θ
t
‑1；
[0008]S3.用户c
n
，n＝1,2,
…
,κ
×
N接收全局模型参数θ
t
‑1进行本地训练，并向中央服务器上传用户模型参数θ
n,t
和测试准确率acc
n,t
；
[0009]S4.当中央服务器采集到κ
×
N个用户的用户模型参数和测试准确率，更新全局模型参数并计算全局准确率
[0010]S5.判断全局准确率是否小于目标准确率，若是，则令t＝t+1并返回步骤S2；若不是，则向N个用户下发更新后的全局模型参数θ
t
，完成训练。
[0011]进一步的，步骤S3中用户c
n
接收全局模型参数θ
t
‑1进行本地训练，并向中央服务器上传用户模型参数θ
n,t
和测试准确率acc
n,t
，具体过程为：
[0012]S31.用户c
n
基于全局模型M(θ
t
‑1)计算用户c
n
在第t
‑
1轮次的准确损失值l(D
n
,M(θ
t
‑1))；其中D
n
为用户c
n
的训练数据集；
[0013]S32.根据准确损失值l(D
n
,M(θ
t
‑1))更新α
n
，并采用更新后的α
n
计算用户c
n
在第t轮次的损失估计值
[0014]S33.用户c
n
初始化本地训练的迭代次数epochs，然后并行参数计算进程和本地训练进程；
[0015]S34.判断是否满足epochs>epochs
n,t
，若满足，则用户c
n
向中央服务器发送用户模型参数和测试准确率。
[0016]进一步的，损失估计值的计算公式为：
[0017][0018]λ
t
＝λ0×
(1+ρ)
t
[0019][0020][0021]其中，λ
t
表示损失估计值关于第t
‑
1轮次训练准确损失值l(D
n
,M(θ
t
‑1))的收敛系数，l(D
n
,M(θ
t
‑1))表示用户c
n
第t
‑
1轮次训练的准确损失值，α
n
表示损失估计值的修正系数，Δl(D
n
,M(θ
t
‑1))表示用户c
n
第t
‑
1轮次训练的损失值估计误差，λ0表示收敛系数λ
t
的初始值，ρ表示收敛系数λ
t
的收敛因子，μ
α
表示修正系数α
n
的更新步长，表示用户c
n
第t
‑
1轮次训练的损失值估计误差的梯度。
[0022]进一步的，参数计算进程包括：
[0023]S301.用户c
n
向中央服务器上传准确损失值l(D
n
,M(θ
t
‑1))和损失估计值等待中央服务器返回训练集C
train
所有用户关于当前全局模型M(θ
t
)的损失估计值集合；
[0024]S302.当用户c
n
接收到损失估计值集合后，计算用户c
n
在第t轮次的公平度估计值
基于公平度估计值计算更新用户c
n
在第t轮次的本地迭代轮数因子epochs
n,t
；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于不可知论的公平联邦学习异步训练方法，其特征在于，包括以下步骤：S1.构建联邦学习系统，其包括一个中央服务器和N个用户，且每个用户均在中央服务器的通信覆盖范围内；系统初始化并设置联邦学习轮次t，令t＝1；S2.在第t轮次中，随机选择κ
×
N用户组成训练集C
train
，其中κ表示参与训练的用户比例；中央服务器向训练集C
train
中的所有用户下发第t
‑
1轮次训练后更新的全局模型参数θ
t
‑1；S3.用户c
n
，n＝1,2,
…
,κ
×
N接收全局模型参数θ
t
‑1进行本地训练，并向中央服务器上传用户模型参数θ
n,t
和测试准确率acc
n,t
；S4.当中央服务器采集到κ
×
N个用户的用户模型参数和测试准确率，更新全局模型参数并计算全局准确率S5.判断全局准确率是否小于目标准确率，若是，则令t＝t+1并返回步骤S2；若不是，则向N个用户下发更新后的全局模型参数θ
t
，完成训练。2.根据权利要求1所述的一种基于不可知论的公平联邦学习异步训练方法，其特征在于，步骤S3中用户c
n
接收全局模型参数θ
t
‑1进行本地训练，并向中央服务器上传用户模型参数θ
n,t
和测试准确率acc
n,t
，具体过程为：S31.用户c
n
基于全局模型M(θ
t
‑1)计算用户c
n
在第t
‑
1轮次的准确损失值l(D
n
,M(θ
t
‑1))；其中D
n
为用户c
n
的训练数据集；S32.根据准确损失值l(D
n
,M(θ
t
‑1))更新修正系数α
n
，并采用更新后的α
n
计算用户c
n
在第t轮次的损失估计值S33.用户c
n
初始化本地训练的迭代次数epochs，然后并行参数计算进程和本地训练进程；S34.判断是否满足epochs>epochs
n,t
，若满足，则用户c
n
向中央服务器发送用户模型参数和测试准确率。3.根据权利要求2所述的一种基于不可知论的公平联邦学习异步训练方法，其特征在于，损失估计值的计算公式为：λ
t
＝λ0×
(1+ρ)
tt
其中，λ
t
表示损失估计值关于第t
‑
1轮次训练准确损失值l(D
n
,M(θ
t
‑1))的收敛系数，l(D
n
,M(θ
t
‑1))表示用户c
n
第t
‑
1轮次训练的准确损失值，α
n
表示损失估计值的修正系数，Δl(D
n
,M(θ
t
‑1))表示用户c
n
第t
‑
1轮次训练的损失值估计误差，λ0表示收敛系数λ
t
的初始值，ρ表示收敛系数λ
t
的收敛因子，μ
α
表示修正系数α
n
的更新步长，
表示用户c
n
第t
‑
1轮次训练的损失值估计误差的梯度。4.根据权利要求2所述的一种基于不可知论的公平联邦学习异步训练方法，其特征在于，参数计算进程包括：S301.用户c
n
向中央服务器上传准确损失值l(D
n
,M(θ
t
‑1))和损失估计值等待中央服务器返回训练集C
train
所有用户关于当前全局模型M(θ
t
)的损失估计...

【专利技术属性】
技术研发人员：张海波，李佳琪，任俊平，秦嘉琦，曾镜颖，郑万佳，周经傲，谭海浪，刘泽洋，刘开健，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：