一种分簇网络架构下的可靠联邦学习方法、系统、设备及终端技术方案

本发明专利技术属于无线通信技术领域，公开了一种分簇网络架构下的可靠联邦学习方法、系统、设备及终端，系统根据分簇规则选出簇头用户，并将网络中所有参与联邦学习任务的用户与其最近的可信簇头进行关联，从而完成分簇过程；簇头用户根据接收的簇内用户的本地模型参数聚合生成簇内模型，并协助簇内用户完成本地信誉表的更新；基站根据接收的簇内模型参数聚合生成全局模型，并协助网络中所有用户完成本地模型参数以及信誉表的更新；重复上述过程，直至联邦学习任务完成或者用户设备能量耗尽。本发明专利技术克服了无线联邦学习在典型的客户

【技术实现步骤摘要】
一种分簇网络架构下的可靠联邦学习方法、系统、设备及终端


[0001]本专利技术属于无线通信
，尤其涉及一种分簇网络架构下的可靠联邦学习方法、系统、设备及终端。

技术介绍

[0002]目前，由于数据孤岛正阻碍着对训练机器学习模型所必需的大数据的使用，且随着终端设备计算能力的增长以及人们对共享私有数据的日益关注，直接在终端设备上执行机器学习(Machine Learning，ML)任务变得比向中心服务器发送原始数据更有吸引力。为此，出现了一种新的机器学习模型，即联邦学习(Federated Learning，FL)，它允许让拥有源数据的组织或个人单独训练一个模型，再通过模型聚合得到一个共享的全局模型。具体地，典型的客户
‑
服务器(Client
‑
Server，C/S)架构的联邦学习系统通过重复以下过程来优化全局模型：i)客户端用它们自己的数据执行本地模型训练，并向服务器发送其训练好的本地模型参数，ii)服务器从客户端收集本地模型，聚合成全局模型并广播给客户端，iii)客户端通过使用新的全局模型进一步训练其本地模型。以这种方式，中心服务器能够从存储在终端设备上的数据训练任务模型，而不会牺牲本地用户的隐私。因此，联邦学习成为未来人工智能领域中最有前途的技术之一。
[0003]尽管联邦学习在边缘数据处理和用户隐私保护方面有着得天独厚的优势，但其在无线网络中应用时(这里称之为“无线联邦学习”)也会遇到很多挑战。一方面，无线网络中资源的有限性和信道的不可靠性很难满足本地模型上传过程中某些需要低延迟和高吞吐量的任务，这也使得无线联邦学习中的掉队和容错问题更加普遍，很容易造成一些更新的偏差。另一方面，由于无线网络体系结构的开放性和复杂性，且中心服务器无法实时把控客户端的本地训练过程，因此无线联邦学习更容易受到网络中某些恶意用户的各种敌对攻击，如数据中毒攻击，后门攻击，重构攻击等。此外，在典型的客户
‑
服务器架构的联邦学习系统中，本地客户端通过直接将模型参数上传至中心服务器的方式进行全局模型聚合。然而，在大型网络中，由于网络资源的有限性，这种集中式框架可能导致较高的通信延迟，从而增加了全局模型的收敛时间。与此同时，在某些特殊的无人值守的环境中，如野外环境监测、战场监视、农业病虫害检测等，无线联邦学习系统的客户端不能轻易更换电池或充电，因此在这些应用场景中，能量消耗也是必须要考虑到的关键问题。
[0004]为了解决现有技术中存在的问题，需要在无线联邦学习系统中引入一种新的网络架构，该网络架构不仅需要考虑到大型无线网络中的用户设备的扩展性，还应考虑无线场景下的客户端不能轻易更换电池或充电的现实问题。与此同时，还需要构建一种用户可靠性的鉴别机制来抵御无线网络中的恶意攻击。
[0005]通过上述分析，现有技术存在的问题及缺陷为：
[0006](1)现有技术构建的无线联邦学习系统主要采用的是典型的客户
‑
服务器架构，在实际应用中无法满足大型无线网络中部署联邦学习系统的需求，且能耗问题和恶意攻击导致的安全问题也成为制约无线联邦学习系统性能的关键因素。
[0007](2)无线网络中资源的有限性和信道的不可靠性很难满足本地模型上传过程中某些需要低延迟和高吞吐量的任务，这也使得无线联邦学习中的掉队和容错问题更加普遍，很容易造成一些更新的偏差。
[0008](3)在大型网络中，由于网络资源的有限性，典型的客户
‑
服务器架构的联邦学习系统框架可能导致较高的通信延迟，从而增加了全局模型的收敛时间，且无线联邦学习更容易受到网络中某些恶意用户的各种敌对攻击。

技术实现思路

[0009]针对现有技术存在的问题，本专利技术提供了一种分簇网络架构下的可靠联邦学习方法、系统、设备及终端，尤其涉及一种分簇网络架构下基于设备能耗和终端信誉的可靠联邦学习方法、系统、介质、设备及终端。
[0010]本专利技术是这样实现的，一种分簇网络架构下的可靠联邦学习方法，所述分簇网络架构下的可靠联邦学习方法包括：
[0011]系统根据分簇规则选出簇头用户，并将网络中所有参与联邦学习任务的用户与其最近的可信簇头进行关联，从而完成分簇过程；簇头用户根据接收的簇内用户的本地模型参数聚合生成簇内模型，并协助簇内用户完成本地信誉表的更新；基站根据接收的簇内模型参数聚合生成全局模型，并协助网络中所有用户完成本地模型参数以及信誉表的更新；重复上述过程，直至联邦学习任务完成或者用户设备能量耗尽。
[0012]进一步，所述分簇网络架构下的可靠联邦学习方法包括以下步骤：
[0013]步骤一，基站发布联邦学习任务，并初始化相关模型和参数；在网络中均匀选择若干个可信设备作为首轮的簇头用户设备，其他设备选择最近的簇头用户进行关联，并通过本地信誉表相互鉴别以完成分簇过程；
[0014]上述步骤是联邦学习系统的初始化过程。
[0015]步骤二，在本地用户设备完成每一轮次的训练后，将本地模型参数上传至其关联的簇头用户，簇头用户设备根据各用户的可信程度将所有接收到的本地模型参数聚合成簇内模型，并负责协助簇内用户完成本地模型参数以及分布式信誉表的更新；
[0016]上述步骤通过簇内模型的聚合，极大减少了网络中的数据传输量，有效降低了用户设备的能耗，延长了整个联邦学习系统的生命周期。
[0017]步骤三，在完成若干轮次簇内模型的聚合更新后，簇头用户将当前的簇内模型参数和部分信誉表上传至基站，基站根据各簇内的数据比重将所有接收到的簇内模型参数聚合成全局模型，并负责协助网络中所有用户完成本地模型参数以及分布式信誉表的更新；
[0018]上述步骤完成了一次无线联邦学习系统的完整训练过程。
[0019]步骤四，在完成若干轮次全局模型的聚合更新后，网络中的所有用户设备根据特定的簇头选择算法选出新的簇头用户并重新进行分簇。
[0020]上述步骤通过周期性的分簇过程，降低了低能量或不可靠用户成为簇头的概率，使网络中各用户设备的能量消耗更加均衡，延长了整个网络的生命周期。
[0021]进一步，所述步骤二和步骤三中的用户信誉更新包括：
[0022]信誉模型基于Beta信誉系统构建，系统中的攻击检测机制将用户行为分为正向行为和负向行为，用户i的信誉用Beta函数表示为：
[0023]R
i
＝Beta(a
i
+1，b
i
+1)；
[0024]其中，a
i
和b
i
分别表示用户i的正向行为和负向行为的评分。分簇网络架构下参与联邦学习任务的所有用户设备均在本地维护一张分布式信誉表；其中，用元组(a
i
，b
i
)表示用户i的信誉。
[0025]定义表征用户i信誉的可信程度的度量
‑‑
信誉值，用R
i
的期望表示如下：
[0026][0027]定义表征用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分簇网络架构下的可靠联邦学习方法，其特征在于，所述分簇网络架构下的可靠联邦学习方法包括：系统根据分簇规则选出簇头用户，并将网络中所有参与联邦学习任务的用户与其最近的可信簇头进行关联，从而完成分簇过程；簇头用户根据接收的簇内用户的本地模型参数聚合生成簇内模型，并协助簇内用户完成本地信誉表的更新；基站根据接收的簇内模型参数聚合生成全局模型，并协助网络中所有用户完成本地模型参数以及信誉表的更新；重复上述过程，直至联邦学习任务完成或者用户设备能量耗尽。2.如权利要求1所述的分簇网络架构下的可靠联邦学习方法，其特征在于，所述分簇网络架构下的可靠联邦学习方法包括以下步骤：步骤一，基站发布联邦学习任务，并初始化相关模型和参数；在网络中均匀选择若干个可信设备作为首轮的簇头用户设备，其他设备选择最近的簇头用户进行关联，并通过本地信誉表相互鉴别以完成分簇过程；步骤二，在本地用户设备完成每一轮次的训练后，将本地模型参数上传至其关联的簇头用户，簇头用户设备根据各用户的可信程度将所有接收到的本地模型参数聚合成簇内模型，并负责协助簇内用户完成本地模型参数以及分布式信誉表的更新；步骤三，在完成若干轮次簇内模型的聚合更新后，簇头用户将当前的簇内模型参数和部分信誉表上传至基站，基站根据各簇内的数据比重将所有接收到的簇内模型参数聚合成全局模型，并负责协助网络中所有用户完成本地模型参数以及分布式信誉表的更新；步骤四，在完成若干轮次全局模型的聚合更新后，网络中的所有用户设备根据特定的簇头选择算法选出新的簇头用户并重新进行分簇。3.如权利要求2所述的分簇网络架构下的可靠联邦学习方法，其特征在于，所述步骤二和步骤三中的用户信誉更新包括：信誉模型基于Beta信誉系统构建，系统中的攻击检测机制将用户行为分为正向行为和负向行为，用户i的信誉用Beta函数表示为：R
i
＝Beta(a
i
+1，b
i
+1)；其中，a
i
和b
i
分别表示用户i的正向行为和负向行为的评分；分簇网络架构下参与联邦学习任务的所有用户设备均在本地维护一张分布式信誉表；其中，用元组(a
i
，b
i
)表示用户i的信誉；定义表征用户i信誉的可信程度的度量
‑‑
信誉值，用R
i
的期望表示如下：定义表征用户k在第t+1轮中对聚合模型影响程度的量称为“贡献”，由系统中的攻击检测机制对用户行为的评分表示；其中，若则认为用户的行为是正向行为，反之则为负向行为；采用信誉新鲜度的概念使用户最近的行为评价在信誉模型中被赋予更大的权重，采用老化权重量化信誉的新鲜度，提出带权重的信誉更新机制：
其中，常数r
*
和s
*
分别表示正向和负向行为的权重，w
a
∈(0，1)和w
b
∈(0，1)分别正向和负向行为的老化权重；u(
·
)∈(
‑
1，1)是贡献的效用函数，用于评估具有不同贡献的用户的信誉更新需求；用修正的双曲正切函数表示如下：其中，κ≥1是信誉更新的尺度常量，决定函数u(
·
)在0附近的变化速率；随着k值的增加，较小的贡献值将导致较大的信誉变化；在簇内模型聚合的过程中，由簇头用户负责验证簇内其他用户的可靠性，并更新簇内的分布式信誉表；在全局模型聚合的过程中，由基站负责验证各簇内模型的可靠性，并对各簇头提交的部分簇内信誉变化信息进行聚合，最终向全网更新相关用户的信誉变化。4.如权利要求2所述的分簇网络架构下的可靠联邦学习方法，其特征在于，所述步骤四中的簇头选择算法包括：在每一轮的簇头用户选择过程中，网络中每个参与联邦...

【专利技术属性】
技术研发人员：孙红光，宋振东，李书琴，张宏鸣，徐超，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：