【技术实现步骤摘要】
本专利技术属于人工智能，尤其涉及一种非独立同分布场景下应对恶意攻击的联邦学习方法及系统。
技术介绍
1、随着近几年数据的爆炸式增长，机器学习得到了很好的发展与应用，如今机器学习已经渗透到各行各业。传统的机器学习需要把用户数据集中收集到一处进行模型训练，但由于越来越多的隐私安全问题的出现，各国和各行业出台了越来越严格的数据隐私保护法规，导致用户数据很难集中到一处，训练数据越来越碎片化，形成了多个“数据孤岛”式的分布式数据库。为了在保护用户隐私的同时尽可能地训练机器学习模型，google于2016年提出了联邦学习(federated learning,fl)。联邦学习是一种特殊的分布式机器学习，其本质是大量客户端在服务器的协调下共同训练全局模型。具体而言，每个客户端设备用自己的本地数据训练本地模型，并将模型参数上传到中心服务器，服务器在接收到本地模型参数后，按照一定的策略将其聚合成全局模型，随后把全局模型下发给每个客户端，客户端用全局模型更新自己的本地模型，开启下一轮的训练。这个过程不断重复，直到全局模型收敛。由于每一轮中客户端上传的是模型参数而不是原始数据，所以可以防止用户隐私泄露，同时也节省了大量通信资源。
2、联邦学习无疑为人工智能开辟了新的研究方向，它提供了一种新的训练方法，在不侵犯用户隐私的情况下构建个性化模型。然而，由于联邦学习是一个较为复杂的开放性系统，系统中存在大量的终端设备，这些设备可以动态地加入或离开，这种特性给恶意攻击者以可乘之机，它们可以操纵本地模型的训练并最终影响全局模型的精度。一些中毒攻击试图
3、现有技术在工业应用中存在以下技术问题及缺陷：
4、1.开放性和复杂性导致易受恶意攻击：联邦学习系统的开放性和动态性使其在收集和聚合用户模型参数的过程中，极易受到恶意攻击。恶意攻击者可以操纵本地模型的训练，注入恶意客户端或篡改数据，甚至制造错误的模型参数，导致全局模型的学习方向偏离原来的目标。这些中毒攻击不仅会阻止模型被正确学习，还会严重影响全局模型的收敛速度和准确度，进而削弱整个系统的可靠性和有效性。
5、2.非独立同分布的数据特性：由于各个客户端的数据之间存在较大的差异，导致数据呈现非独立同分布的特性。非独立同分布的数据使得本地模型在训练过程中容易陷入局部最优点，而这些局部最优点远离全局最优点，影响全局模型的收敛速度和性能。这种数据分布的不一致性不仅降低了全局模型的性能，还增加了训练过程中的不确定性和复杂性。
6、3.恶意攻击检测困难：非独立同分布的数据特性加大了恶意攻击检测的难度。现有的大多数恶意攻击检测算法依赖于用户之间的差异性来识别恶意行为。然而，非独立同分布的数据本身就会导致用户之间的模型更新方向和结果存在差异，使得基于差异性检测恶意用户的算法效果大打折扣。因此，在这种情况下，恶意用户更容易隐藏其攻击行为，给联邦学习系统带来了更大的安全隐患。
7、4.全局模型的准确度和收敛问题：在联邦学习系统中，确保全局模型的准确度和快速收敛是关键。然而，非独立同分布的数据和恶意攻击的存在会严重影响全局模型的收敛速度和最终性能。模型更新方向的不一致性和恶意数据的干扰会导致全局模型的学习过程变得不稳定，降低全局模型的准确度和有效性。这种情况下，现有的联邦学习技术难以有效应对复杂工业应用中的实际需求，亟需改进和优化。
8、综上所述，现有技术在工业应用中面临的主要问题包括：开放性和复杂性导致易受恶意攻击、非独立同分布的数据特性影响模型的收敛和性能、恶意攻击检测困难以及全局模型的准确度和收敛问题。这些问题限制了联邦学习技术在工业领域的广泛应用，亟需有效的解决方案。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种非独立同分布场景下应对恶意攻击的联邦学习方法及系统。
2、本专利技术设计了一个在非独立同分布场景下应对恶意攻击的联邦学习方法，该方法适用于非独立同分布场景，旨在减轻恶意用户带来的负面影响，增强联邦学习系统的鲁棒性。该方法包括：利用根数据集和边际贡献评估各用户模型对全局模型的贡献度；利用用户贡献度的秩和比来衡量用户可信度；利用本轮的贡献度和上一轮计算的可信度计算用户评分，并根据评分选择联邦学习用户模型参与聚合。
3、在一个有n个客户端和一个中心服务器的联邦学习系统中，每个客户端用ci(i＝1，2，...n)来表示，中心服务器用c0来表示。每个客户端拥有自己的本地数据集其中|di|为客户端ci的数据集大小。本专利技术用向量ω∈rd来表示训练的模型参数，用f(ω；b)来表示模型ω在抽样数据集b上的损失，客户端ci的目标函数可表示为中心服务器的任务就是找到一个模型ω*使得所有客户端的加权平均损失最小，即
4、
5、其中αi是客户端模型聚合时的权重。
6、进一步，所述非独立同分布场景下应对恶意攻击的联邦学习方法包括以下步骤：
7、步骤一、针对某一特定的联邦学习任务，收集一个干净的小数据集d0，称为根数据集。以数字图像分类任务为例，所谓干净是指所有图像的分类标签是正确的，这可以通过人工修正标签来实现；
8、步骤二、服务器端c0初始化一个全局模型ω0；
9、步骤三、服务器将全局模型ωt-1(i＝1，2，…t)广播给每个客户端，其中t代表通信轮次。客户端ci(i＝1，2，…n)接收全局模型后，用其初始化自己的本地模型，利用本地数据集训练本地模型，得到更新后的本地模型ωit，并将ωit上传到服务器。其中，模型更新过程就是利用随机梯度下降最小化损失函数的过程，即
10、
11、其中，η是学习率。
12、步骤四、服务器利用d0与各客户端同步训练神经网络模型ω0，作为服务器端模型；
13、步骤五、服务器接收所有用户的模型后，计算每个用户的评分，选择用户与服务器端模型一起参与全局模型的聚合，得到聚合后的全局模型ωt。
14、步骤六、在测试数据集上测试全局模型ωt的准确度；
15、步骤七、重复步本文档来自技高网...
【技术保护点】
1.一种非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，包括以下步骤：
2.如权利要求1所述的非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，该方法中的贡献度模型通过以下方式实现：
3.如权利要求1所述的非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，所述步骤五中的可信度模型通过秩和比(RSR)方法计算，包括以下步骤：
4.如权利要求1所述的非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，所述用户评分计算包括：
5.如权利要求1所述的非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，所述用户选择方法包括：
6.如权利要求1所述的非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，所述聚合算法包括：
7.一种实施权利要求1～6任意一项所述的非独立同分布场景下应对恶意攻击的联邦学习方法的非独立同分布场景下应对恶意攻击的联邦学习系统，其特征在于，所述非独立同分布场景下应对恶意攻击的联邦学习系统包括：
8.如权利要求7所述非独立同分布场景下应对恶意攻击
9.一种在非独立同分布数据场景下应对恶意攻击的联邦学习方法，其特征在于，包括：
10.一种在非独立同分布数据场景下应对恶意攻击的智能交通预测系统，其特征在于，包括：
...【技术特征摘要】
1.一种非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，包括以下步骤：
2.如权利要求1所述的非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，该方法中的贡献度模型通过以下方式实现：
3.如权利要求1所述的非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，所述步骤五中的可信度模型通过秩和比(rsr)方法计算，包括以下步骤：
4.如权利要求1所述的非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，所述用户评分计算包括：
5.如权利要求1所述的非独立同分布场景下应对恶意攻击的联邦学习方法，其特征在于，所述用户选择方法包括：
6.如权利要求1所述的非独立...
【专利技术属性】
技术研发人员：孙红光，王晨，张宏鸣，李书琴，徐超，张二磊，刘敬敏，吕志明，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。