描述了用于在联邦学习中防御模型中毒攻击的方法和计算装置。获取一个或多个更新，其中，每个更新表示全局模型的参数(例如权重)与相应的局部模型的参数(例如权重)之间的相应的差值。随机噪声扰动和归一化应用于每个更新，以获取一个或多个扰动的归一化更新。所述全局模型的所述参数(例如权重)是通过将所述一个或多个扰动的归一化更新的聚合添加到所述全局模型的所述参数(例如权重)来更新的。在一些示例中，之前的全局模型的一个或多个学习参数(例如权重)也使用随机噪声来扰动。参数(例如权重)也使用随机噪声来扰动。参数(例如权重)也使用随机噪声来扰动。
【技术实现步骤摘要】
【国外来华专利技术】用于防御对联邦学习系统的对抗性攻击的方法和装置
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月3日提交的、专利技术名称为“用于防御对联邦学习系统的对抗性攻击的方法和装置(METHODS AND APPARATUSES FOR DEFENSE AGAINST ADVERSARIAL ATTACKS ON FEDERATED LEARNING SYSTEMS)”的美国专利申请序列号16/891,752的优先权，其内容通过引用的方式并入本文中。
[0003]本专利技术涉及用于训练基于机器学习的模型的方法和装置，具体涉及用于执行联邦学习的方法和装置。
技术介绍
[0004]联邦学习(federated learning，FL)是一种机器学习技术，其中，多个边缘计算设备(也称为客户端节点)参与训练集中模型(在中心节点(例如中心服务器)维护)，而不与中心节点共享相应的本地数据集。这种本地数据集本质上通常是私人的(例如，在智能手机上捕获的照片，或由可穿戴传感器采集的健康数据)。FL支持学习集中模型，而不需要客户端节点与中心节点(例如中心服务器)共享其本地数据集，从而有助于保护这种本地数据集的隐私。而是，每个客户端节点使用机器学习算法及其相应的本地数据集来对集中模型执行本地化训练，并将对集中模型的更新发送回中心节点(例如服务器)。中心节点根据从客户端节点接收的更新来更新集中模型。FL在真实世界应用中的成功实际实现将使在个人设备中采集的大量数据能够用于机器学习。实现FL的一种常见方法是对每个客户端节点的参数求平均值，以获得一组聚合参数。
[0005]FL实际实现的一个挑战是，通常很难防御对集中模型的故意对抗性影响。这是因为，根据FL的性质，中心节点(例如中心服务器)没有关于每个客户端节点上的本地数据集的任何信息，也没有办法确定是否有任何本地数据集被故意伪造。为防御分布式优化中的对抗性攻击提出的方案通常不适用于FL的情景。
[0006]提供解决上述挑战中的至少一些并可以帮助提高FL对对抗性攻击的鲁棒性的方法和装置将是有用的。
技术实现思路
[0007]在各种示例中，本专利技术提供了一种可以有助于防御对联邦学习系统的模型中毒攻击的方法。本专利技术描述了可以在联邦学习系统中实现的示例，其中，拜占庭鲁棒算法(例如为分布式优化/学习系统设计的算法)通常不适合。
[0008]在各种示例中，本专利技术描述了用于防御对FL系统的对抗性攻击的方法和装置。更新扰动和归一化独立应用于每个接收到的更新。如本文所公开的，更新扰动和归一化的实现方式通过在更新集中模型(以下称为全局模型)之前扰动(例如，应用噪声掩码)所有更新来减少对抗性更新的负面影响。在一些示例中，权重扰动也应用于先前学习的全局模型，以
有助于减少在多轮训练中不利信息的积累。
[0009]本专利技术描述了联邦学习的情景中的示例，但是，应理解，所公开的示例也可以适用于在任何分布式优化或分布式学习系统的情景中的实现方式，以防御模型中毒攻击。
[0010]在一些示例中，本专利技术描述了一种计算装置，包括存储全局模型的存储器和与存储器通信的处理设备。处理设备用于执行指令以使计算装置获取一个或多个更新，每个更新表示全局模型的参数与在相应的客户端节点中学习的相应的局部模型的参数之间的相应的差值。处理设备还用于执行指令，以使计算装置对每个更新应用随机噪声扰动和归一化，以获取一个或多个扰动的归一化更新。处理设备还用于执行指令，以使计算装置通过将一个或多个扰动的归一化更新的聚合添加到全局模型的参数中来更新全局模型的参数，并将全局模型的更新后的参数存储在存储器中。在上述任何示例中，处理设备可以用于执行指令，以使计算装置通过以下步骤应用随机噪声扰动和归一化：对每个更新进行归一化，以获取一个或多个归一化更新；对每个归一化更新应用相应的掩码矩阵，每个相应的掩码矩阵包括独立于随机噪声分布采样的元素。
[0011]在上述任何示例中，处理设备可以用于执行指令，以使计算装置通过以下步骤应用随机噪声扰动和归一化：对每个更新应用相应的掩码矩阵以获取一个或多个扰动更新，每个相应的掩码矩阵包括独立于随机噪声分布采样的元素；对每个扰动更新进行归一化。
[0012]在上述任何示例中，处理设备可以用于执行指令，以使计算装置：对全局模型的参数应用随机噪声扰动，以获取扰动参数；通过将一个或多个扰动的归一化更新的聚合添加到全局模型的扰动参数中来更新全局模型的参数；
[0013]在上述任何示例中，一个或多个扰动的归一化更新的聚合可是一个或多个扰动的归一化更新的平均值。
[0014]在上述任何示例中，处理设备可以用于执行指令，以进一步使计算装置：选择一个或多个相应的客户端节点，一个或多个更新是从一个或多个相应的客户端节点获取的；其中，所选择的一个或多个相应的客户端节点排除在紧接的上一轮训练中选择的任何客户端节点。
[0015]在上述任何示例中，处理设备可以用于执行指令，以进一步使计算装置通过以下步骤来获取一个或多个更新：从相应的客户端节点接收局部模型的相应的学习参数；计算更新。
[0016]在上述任何示例中，处理设备可以用于执行指令，以进一步使计算装置：将更新后的全局模型发送到相同或不同的相应的客户端节点；重复获取、应用和更新，以进一步更新全局模型的参数；其中，发送和重复进一步重复，直到满足预定义的结束条件。
[0017]在一些示例中，本专利技术描述了一种方法，包括：获取一个或多个更新，每个更新表示存储的全局模型的参数与在相应的客户端节点中学习的相应的局部模型的参数之间的相应的差值；对每个更新应用随机噪声扰动和归一化，以获取一个或多个扰动的归一化更新；通过将一个或多个扰动的归一化更新的聚合添加到全局模型的参数中来更新全局模型；将全局模型的更新后的参数存储在存储器中。
[0018]在一些示例中，该方法可以包括由以上所描述的装置实现的任何步骤。
[0019]在一些示例中，本专利技术描述了其中存储有指令的计算机可读介质。指令在由计算装置的处理设备执行时，使计算装置：获取一个或多个更新，每个更新表示存储的全局模型
B，等等)。在客户端节点102是最终用户设备的情况下，客户端节点102中的本地数据可以是在客户端节点102的用户实际使用过程中采集或生成的数据(例如，捕获的图像/视频、捕获的传感器数据、捕获的跟踪数据等)。在客户端节点102是网络设备的情况下，客户端节点102中的本地数据可以是从与网络设备关联或由网络设备服务的最终用户设备采集的数据。例如，作为BS的客户端节点102可以从多个用户设备采集数据(例如，跟踪数据、网络使用数据、流量数据等)，并且这可以作为BS上的本地数据存储。
[0032]客户端节点102通过网络104与中心节点110(或简单地称为服务器110)通信。网络104可以是任何形式的网络(例如，内联网、互联网、P2P网络、WAN和/或LAN)，并且可以是公共网络。不同的客户端节点102可以使用不同的网络来与中心节点110通信本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算装置，其特征在于，包括：存储器，所述存储器存储全局模型的参数；处理设备，所述处理设备与所述存储器通信，并用于执行指令，以使所述计算装置：获取一个或多个更新，每个更新表示所述全局模型的参数与在相应的客户端节点中学习的相应的局部模型的参数之间的相应的差值；对所述一个或多个更新中的每一个应用随机噪声扰动和归一化，以获取一个或多个扰动的归一化更新；通过将所述一个或多个扰动的归一化更新的聚合添加到所述全局模型的所述参数中来更新所述全局模型的所述参数；将所述全局模型的更新后的参数存储在所述存储器中。2.根据权利要求1所述的计算装置，其特征在于，所述处理设备用于执行指令，以使所述计算装置通过以下步骤应用随机噪声扰动和归一化：对所述一个或多个更新中的每一个进行归一化，以获取一个或多个归一化更新；对所述一个或多个归一化更新中的每一个应用相应的掩码矩阵，每个相应的掩码矩阵包括独立于随机噪声分布采样的元素。3.根据权利要求1或2所述的计算装置，其特征在于，所述处理设备用于执行指令，以使所述计算装置通过以下步骤应用随机噪声扰动和归一化：对所述一个或多个更新中的每一个应用相应的掩码矩阵以获取一个或多个扰动更新，每个相应的掩码矩阵包括独立于随机噪声分布采样的元素；对所述一个或多个扰动更新中的每一个进行归一化。4.根据权利要求1至3中任一项所述的计算装置，其特征在于，所述处理设备用于执行指令，以使所述计算装置：对存储在所述存储器中的所述全局模型的所述参数应用随机噪声扰动，以获取扰动参数；其中，所述全局模型的所述参数是通过将所述一个或多个扰动的归一化更新的所述聚合添加到所述全局模型的所述扰动参数中来更新的。5.根据权利要求1至4中任一项所述的计算装置，其特征在于，所述一个或多个扰动的归一化更新的所述聚合是所述一个或多个扰动的归一化更新的平均值。6.根据权利要求1至5中任一项所述的计算装置，其特征在于，所述处理设备用于执行指令，以进一步使所述计算装置：选择一个或多个相应的客户端节点，所述一个或多个更新是从所述一个或多个相应的客户端节点获取的；其中，所选择的一个或多个相应的客户端节点排除在紧接的上一轮训练中选择的任何客户端节点。7.根据权利要求6所述的计算装置，其特征在于，所述处理设备用于执行指令，以进一步使所述计算装置通过以下步骤获取所述一个或多个更新：从每个相应的客户端节点接收在所述相应的客户端节点中学习的局部模型的参数；计算所述相应的客户端节点的所述更新。8.根据权利要求7所述的计算装置，其特征在于，所述处理设备用于执行指令，以进一
步使所述计算装置：将所述全局模型的所述更新后的参数发送到相同或不同的相应的客户端节点；重复所述获取、所...
【专利技术属性】
技术研发人员：基亚拉什，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。