一种基于机器异构性的联邦学习方法技术

本发明专利技术公开了一种基于机器异构性的联邦学习方法，方法包括：接收服务器统一发送的初始模型、全局梯度和全局模型参数；根据初始模型、全局梯度和全局模型参数，得到预估梯度校准值；其中，预估梯度校准值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差以及各边缘设备因本地更新次数不同而产生的偏差；基于预估梯度校准值，得到目标本地梯度和目标本地模型参数；将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数。本发明专利技术实施例通过对各边缘设备的预估梯度校准技术来实现移除各边缘设备与服务器的偏差，同时补偿本地更新次数不同导致的偏差，从而提高联邦学习的训练效率。

【技术实现步骤摘要】
一种基于机器异构性的联邦学习方法
本专利技术涉及人工智能
，尤其涉及的是一种基于机器异构性的联邦学习方法。
技术介绍
当前针对联邦学习的算法主要基于假设其能够在同样时间内在本地训练一定次数。这个方法在同构环境下能够提高训练的效率以及通讯开销，然而在绝大部分的分布式场景都属于异构环境，因此，这种计算方法并不具备实用性。如果以异步的方式解决这一问题的话，会存在一些数据无法充分利用(例如：如果一个边缘设备过久未与服务器更新的话，服务器中的异步算法可能会舍弃边缘设备提交的信息)。当各边缘设备的本地更新次数是相同的情况下，利用传统的随机梯度下降法SGD进行联邦学习的效果很好，而当各边缘设备本地更新次数不同的情况下，利用传统的随机梯度下降法SGD进行联邦学习，则出现需要优化的目标函数和实际优化的目标函数不一致的情况。因此，现有技术还有待改进和发展。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于机器异构性的联邦学习方法，旨在解决现有技术中联邦学习中的异构网络在进行模型训练时训练效率低的问题。本专利技术解决问题所采用的技术方案如下：第一方面，本专利技术实施例提供一种基于机器异构性的联邦学习方法，其中，所述方法包括：接收服务器统一发送的初始模型、全局梯度和全局模型参数；根据所述初始模型、所述全局梯度和所述全局模型参数，得到预估梯度校准值；其中，所述预估梯度校准值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差以及各边缘设备因本地更新次数不同而产生的偏差；基于所述预估梯度校准值，得到目标本地梯度和目标本地模型参数；将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数。在一种实现方式中，其中，所述接收服务器统一发送的初始模型、全局梯度和全局模型参数之后包括：将所述全局模型参数作为初始本地模型参数。在一种实现方式中，其中，所述根据所述初始模型、所述全局梯度和所述全局模型参数，得到预估梯度校准值包括：基于预设的本地数据和所述初始模型，得到本地梯度；基于所述全局梯度、所述全局模型参数和所述本地梯度，得到预估梯度校准值。在一种实现方式中，其中，所述基于所述全局梯度、所述全局模型参数和所述本地梯度，得到预估梯度校准值包括：基于所述全局梯度和所述本地梯度，得到第一偏差值，其中，所述第一偏差值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差；基于所述全局模型参数和所述初始本地模型参数，得到第二偏差值，其中，所述第二偏差值用于表征各边缘设备因本地更新次数不同而产生的偏差；基于所述第一偏差值和所述第二偏差值，得到预估梯度校准值。在一种实现方式中，其中，所述基于所述第一偏差值和所述第二偏差值，得到预估梯度校准值包括：获取本地更新次数；根据所述本地更新次数和所述第二偏差值，得到中间第二偏差值；将所述第一偏差值加上所述中间第二偏差值，得到预估梯度校准值。在一种实现方式中，其中，所述基于所述预估梯度校准值，得到目标本地梯度和目标本地模型参数包括：获取数据样本；其中，所述数据样本是从边缘设备的样本中获取得到；根据所述数据样本和所述初始本地模型参数，得到损失函数偏导数；根据所述损失函数偏导数，得到目标本地梯度；根据所述损失函数偏导数、所述初始本地模型参数和所述预估梯度校准值，得到目标本地模型参数。在一种实现方式中，其中，所述根据所述数据样本和所述初始本地模型参数，得到损失函数偏导数包括：根据所述数据样本和所述初始本地模型参数，得到损失函数；对所述损失函数进行求偏导，得到损失函数偏导数。在一种实现方式中，其中，所述将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数之后包括：接收服务器统一发送的更新后的全局梯度和全局模型参数，并重复执行根据所述初始模型、所述全局梯度和所述全局模型参数，得到预估梯度校准值的步骤。第二方面，本专利技术实施例还提供一种基于机器异构性的联邦学习装置，其中，所述装置包括：服务器的数据接收单元，用于接收服务器统一发送的初始模型、全局梯度和全局模型参数；预估梯度校准值获取单元，用于根据所述初始模型、所述全局梯度和所述全局模型参数，得到预估梯度校准值；其中，所述预估梯度校准值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差以及各边缘设备因本地更新次数不同而产生的偏差；目标参数获取单元，用于基于所述预估梯度校准值，得到目标本地梯度和目标本地模型参数；目标参数发送单元，用于将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数。第三方面，本专利技术实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的基于机器异构性的联邦学习方法。第四方面，本专利技术实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的基于机器异构性的联邦学习方法。本专利技术的有益效果：本专利技术公开了一种基于机器异构性的联邦学习方法，方法包括：接收服务器统一发送的初始模型、全局梯度和全局模型参数；根据初始模型、全局梯度和全局模型参数，得到预估梯度校准值；其中，预估梯度校准值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差以及各边缘设备因本地更新次数不同而产生的偏差；基于预估梯度校准值，得到目标本地梯度和目标本地模型参数；将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数。本专利技术实施例通过对各边缘设备的预估梯度校准技术来实现移除各边缘设备与服务器的偏差，同时补偿本地更新次数不同导致的偏差，从而使得每次本地更新尽可能接近于全局更新，并且，模型更新的效果不受各边缘设备更新次数的限制。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的基于机器异构性的联邦学习方法流程示意图。图2为本专利技术实施例提供的基于机器异构性的联邦学习的算法效果图。图3为本专利技术实施例提供的基于机器异构性的联邦学习装置的原理框图。图4为本专利技术实施例提供的智能终端的内部结构原理框图。具体实施方式本专利技术公开了基于机器异构性的联邦学习方法、智能终端、存储介质，为使本专利技术的本文档来自技高网...

【技术保护点】
1.一种基于机器异构性的联邦学习方法，其特征在于，所述方法包括：/n接收服务器统一发送的初始模型、全局梯度和全局模型参数；/n根据所述初始模型、所述全局梯度和所述全局模型参数，得到预估梯度校准值；其中，所述预估梯度校准值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差以及各边缘设备因本地更新次数不同而产生的偏差；/n基于所述预估梯度校准值，得到目标本地梯度和目标本地模型参数；/n将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数。/n

【技术特征摘要】
1.一种基于机器异构性的联邦学习方法，其特征在于，所述方法包括：
接收服务器统一发送的初始模型、全局梯度和全局模型参数；
根据所述初始模型、所述全局梯度和所述全局模型参数，得到预估梯度校准值；其中，所述预估梯度校准值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差以及各边缘设备因本地更新次数不同而产生的偏差；
基于所述预估梯度校准值，得到目标本地梯度和目标本地模型参数；
将所述目标本地梯度和所述目标本地模型参数发送至所述服务器，以使所述服务器生成更新后的全局梯度和全局模型参数。


2.根据权利要求1所述的基于机器异构性的联邦学习方法，其特征在于，所述接收服务器统一发送的初始模型、全局梯度和全局模型参数之后包括：
将所述全局模型参数作为初始本地模型参数。


3.根据权利要求2所述的基于机器异构性的联邦学习方法，其特征在于，所述根据所述初始模型、所述全局梯度和所述全局模型参数，得到预估梯度校准值包括：
基于预设的本地数据和所述初始模型，得到本地梯度；
基于所述全局梯度、所述全局模型参数和所述本地梯度，得到预估梯度校准值。


4.根据权利要求3所述的基于机器异构性的联邦学习方法，其特征在于，所述基于所述全局梯度、所述全局模型参数和所述本地梯度，得到预估梯度校准值包括：
基于所述全局梯度和所述本地梯度，得到第一偏差值，其中，所述第一偏差值用于表征各边缘设备的本地梯度与服务器的全局梯度的偏差；
基于所述全局模型参数和所述初始本地模型参数，得到第二偏差值，其中，所述第二偏差值用于表征各边缘设备因本地更新次数不同而产生的偏差；
基于所述第一偏差值和所述第二偏差值，得到预估梯度校准值。


5.根据权利要求4所述的基于机器异构性的联邦学习方法，其特征在于，所述基于所述第一偏差值和所述第二偏差值，得到预估梯度校准值...

【专利技术属性】
技术研发人员：郭嵩，吴非杰，王号召，
申请(专利权)人：香港理工大学深圳研究院，
类型：发明
国别省市：广东;44