一种安全可靠的分布式学习方法技术

本发明专利技术涉及一种安全可靠的分布式学习方法，属于机器学习领域，具体包括以下步骤：S1：在服务器收到客户端模型后，针对每个客户端的局部迭代轮次精度来分别与局部模型测试精度、临时全局模型以及上一个时期的全局模型进行比较，计算客户端模型的信誉分数，并把信誉分数进行保存；S2：延迟梯度平均更新：客户端不间断的进行本地更新，并通过梯度校正项来补偿梯度老化现象。本发明专利技术可提高全局模型的可靠性和稳健性。稳健性。稳健性。

【技术实现步骤摘要】
一种安全可靠的分布式学习方法


[0001]本专利技术属于机器学习领域，涉及一种安全可靠的分布式学习方法。

技术介绍

[0002]随着人工智能相关技术的广泛应用，驱动人工智能模型的大数据已成为信息时代的重要特征。然而，数据孤岛的存在阻碍了大数据赋能应用。从粗粒度来看，数据被掌握在多个服务提供商手中；从细粒度来看，数据产生于独立个人或物联网设备。为了解决数据孤岛下的数据赋能问题，近年来，多个数据持有方合作训练机器学习模型的方式逐渐流行起来。但是，由多个数据持有方提供数据、基于中心服务器融合多方数据来训练模型的方案存在数据隐私安全的问题。为了应对相关挑战，“数据不动模型动”的联邦学习框架随之兴起，并逐渐成为多方合作训练模型的新范式。在联邦学习中，各参与方每轮次传递模型梯度更新来合作训练联邦模型，各参与方的数据不离开本地，保证了数据隐私安全。
[0003]尽管联邦学习为移动网络带来了巨大的好处，但仍然面临着严峻的挑战。一方面，现有研究大多假设客户端和服务器之间的交互行为是处于稳定状态，当客户端在本地训练处于移动状态时，在本地模型训练前后的这段时间内，移动客户端很大概率会超出服务器的通信连接范围而导致协作训练失败。并且随着网络模型的复杂化和精细化，本地训练的时间会变长，移动客户端和服务器的通信交互成功率会大大降低。另一方面，不可靠的参与客户端可能会有意或无意地做出一些行为，从而误导联邦学习任务的全局模型训练。对于有意的行为，工作者可能会发起中毒攻击，该攻击者发送的恶意参数更新会影响全局模型性能，从而对当前协作学习机制产生不利影响。对于无意行为，可能因为动态的移动网络环境间接导致移动设备的一些无意行为，从而导致协作训练的失败。
[0004]此外，为了确保数据在传输和计算方面的安全性，应当对传输数据实施加密。在原始加密方案中，是对原始数据加密后再进行存储，然而此类加密技术不能在基于云的应用程序上处理数据。因此，非常需要一种允许以加密形式处理数据的方案，如同态加密方案。尽管已经提出并改进了许多现有的同态加密方案，但这些方案都远远不够实用，因为效率仍然是其实施的一大挑战，这限制了移动设备以有效的方式进行计算。因此，这些限制要求提出一种改进的同态加密方案。
[0005]目前，已有一些关于安全可靠的联邦学习的研究工作。KANG J,XIONG Z,NIYATO D在“Reliable federated learning for mobile networks”【in IEEE Wireless Communications,vol.27,no.2,pp.72
‑
80,2020】基于声誉指标设计了一种可靠的工人选择方案，并且用联盟区块链对工人的有效声誉进行管理，从而提高移动网络中联邦学习任务的可靠性。MOUDOUD H,CHERKAOUI S,KHOUKHI L在“Towards a secure and reliable federated learning using blockchain”【in IEEE Global Communications Conference,2021】提出了一个为联邦学习定制的安全可信区块链框架SRB
‑
FL，它使用区块链特性以完全分布式和可信的方式实现协作模型训练，同时还设计了一个基于区块链分片的安全联邦学习来保证数据的可靠性、可伸缩性和可信度，并且利用主观多权重逻辑来提
高联邦学习组件的可靠性。YE H,LIANG L,LI G Y在“Decentralized federated learning with unreliable communications”【in IEEE Journal of Selected Topics in Signal Processing,vol.16,no.3,pp.487
‑
500,2022】提出了一种称为Soft
‑
DSGD的鲁棒分散随机梯度下降方法来解决不可靠性问题，该方法使用部分接收到的消息更新模型参数，并根据通信链路的链路可靠性矩阵优化混合权重。虽然上述方法考虑到了可靠性问题，但是并未考虑到模型训练的稳定性以及梯度数据的隐私保护，从而影响了全局模型的可靠度。
[0006]在移动网络环境中，联邦模型的训练可能由于不稳定因素而造成训练失败，其中不稳定因素主要是指客户端和服务器频繁通信中断，造成中断的因素很多，特别是在客户端的地理位置不断变化的环境下，例如：客户端本地训练时间过长导致脱离了服务器的可通信范围、网络不稳定等因素，同时当客户端用不可靠数据训练模型时会破坏全局模型的性能，因此需要设计一种保障模型正常训练且安全可靠的联邦学习方法。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种安全可靠的分布式学习方法，其中客户端可靠评估同时考虑与每个周期中的局部模型测试精度的比较、与临时全局模型的比较以及与上一个时期的全局模型的比较，通过消除表现不佳的模型或对改进全局模型没有贡献的模型，其次延迟梯度平均严格控制客户端的本地计算和服务器的聚合过程是在时间上按照顺利执行的，以此来获得更高精度的聚合全局模型。并提供一种异步安全聚合方法，通过对传输梯度进行安全加密来保证外界攻击者通过不安全的无线网络窃取数据，设计一种灵活的聚合方式，该聚合方式不会固定服务器的等待时间，从而保证联邦学习的正常训练。
[0008]为达到上述目的，本专利技术提供如下技术方案：
[0009]一种安全可靠的分布式学习方法，具体包括以下步骤：
[0010]S1：在服务器收到客户端模型后，针对每个客户端的局部迭代轮次精度来分别与局部模型测试精度、临时全局模型以及上一个时期的全局模型进行比较，计算客户端模型的信誉分数，并把信誉分数进行保存；
[0011]S2：延迟梯度平均更新：客户端不间断的进行本地更新，并通过梯度校正项来补偿梯度老化现象。
[0012]进一步，所述步骤S1具体包括：
[0013]在具有个客户端的移动环境中，假设i和k分别表示已参与训练的本地客户端的ID和本地训练轮数，local[i]存储客户端i在训练过程中的准确度、训练损失和准确度分数；客户端i在第t轮次第k个本地迭代时期的训练结果保存在local[i][t][k]中；全局模型特征存储在列表global[]中；根据客户在当前时期更新的模型信誉分数，选择参与训练的客户端集合；
[0014]信誉分数通过三部分来计算：
[0015][0016]其中是客户端i在训练轮次t时本地迭代k次的信誉分数；是客户端i在训练轮次t时本地迭代k次的训练模型精度；acc
avg
是当前训练轮次中局部模型测试精度的均值；acc
agg
是服务器进行粗糙局部聚合的结果，即临时局部聚合；acc
last
是前上一轮次
的全局模型测试精度。w1,w2,w3是权衡因子，且w1+w2+w3＝1。
[0017]进一步，步骤S1中，当学习曲线收敛或系统达本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种安全可靠的分布式学习方法，其特征在于：具体包括以下步骤：S1：在服务器收到客户端模型后，针对每个客户端的局部迭代轮次精度来分别与局部模型测试精度、临时全局模型以及上一个时期的全局模型进行比较，计算客户端模型的信誉分数，并把信誉分数进行保存；S2：延迟梯度平均更新：客户端不间断的进行本地更新，并通过梯度校正项来补偿梯度老化现象。2.根据权利要求1所述的安全可靠的分布式学习方法，其特征在于：所述步骤S1具体包括：在具有个客户端的移动环境中，假设i和k分别表示已参与训练的本地客户端的ID和本地训练轮数，local[i]存储客户端i在训练过程中的准确度、训练损失和准确度分数；客户端i在第t轮次第k个本地迭代时期的训练结果保存在local[i][t][k]中；全局模型特征存储在列表global[]中；根据客户在当前时期更新的模型信誉分数，选择参与训练的客户端集合；信誉分数通过三部分来计算：其中是客户端i在训练轮次t时本地迭代k次的信誉分数；是客户端i在训练轮次t时本地迭代k次的训练模型精度；acc
avg
是当前训练轮次中局部模型测试精度的均值；acc
agg
是服务器进行粗糙局部聚合的结果，即临时局部聚合；acc
last
是前上一轮次的全局模型测试精度。w1,w2,w3是权衡因子，且w1+w2+w3＝1。3.根据权利要求2所述的安全可靠的分布式学习方法，其特征在于：步骤S1中，当学习曲线收敛或系统达到预设置的训练轮数时，训练立马停止；每个局部模型的测试精度与三个度量进行比较：(1)与每个周期中的局部模型测试精度的比较：每个周期的训练局部模型用于计算平均测试精度，即某个周期内所有客户端的所有局部模型的平均值，表现比平均值差的模型将不受青睐，而表现优于平均值的模型将受到青睐；(2)与临时全局模型的比较：进一步训练但尚未聚合到全局模型中的局部模型用于生成临时全局模型，临时全局模型的性能应优于每个局部模型；与临时全局模型进行比较，选出对全局模型产生正面影响的客户端；通过使用临时全局模型，评估所有局部模型的可能聚合性能；具有负面声誉的不良模型在聚合到全局模型之前被消除；(3)与上一个时期的全局模型的比较：将每个局部模型的测试精度与前一时期的全局模型的测试精度进行比较，以评估改进；通过与每个度量的比较，如果信誉分数为正，则表明对本地模型的贡献为正。4.根据权利要求3所述的安全可靠的分布式学习方法，其特征在于：步骤S1中，在边缘服务器收到客户端的梯度参数后执行客户端选择，选择完后得到一个列表L，列表中包含需要聚合的客户端ID。每轮计算前都把列表L清空，具体步骤如下：S11：边缘服务器对当前时刻客户端集合中的所有客户端执行信誉分数计算，针对每个客户端执行K次，至此把local[i][t][k]补充完整，包括准确度、训练损失和准确度分数；
S12：边缘服务器计算信誉聚合容忍度ε
·
K，其中ε是容忍因子，0＜ε＜1，n
i
代表客户端i在当前轮次中信誉分数小于0的轮数，当n
i
＞ε
·
K时，认定该客户端信誉差，并对该客户端进行消除处理，即客户端ID不添加至L；当n
i
≤ε
·
K时，认定该客...

【专利技术属性】
技术研发人员：吴大鹏，杨志刚，王明儒，罗曼，王汝言，张普宁，张鸿，张栩华，
申请(专利权)人：中移物联网有限公司，
类型：发明
国别省市：