本申请实施例提供了一种基于联邦学习的模型训练方法和装置、设备及存储介质，属于人工智能技术领域。该方法应用于模型训练系统，模型训练系统包括多个初始计算设备，多个初始计算设备均存储有初始模型，方法包括：初始计算设备根据预设训练次数对初始模型进行联邦训练，得到初步模型；获取初始计算设备的设备指标数据和模型参数发送次数；根据设备指标数据和模型参数发送次数构建设备关系图；根据设备指标数据、设备关系图确定初始计算设备的邻居设备；获取邻居设备的邻居模型参数；初始计算设备根据邻居模型参数对初步模型进行参数调整，得到目标模型。本申请实施例能够提高终端训练模型的效率。端训练模型的效率。端训练模型的效率。
【技术实现步骤摘要】
基于联邦学习的模型训练方法和装置、设备及存储介质
[0001]本申请涉及人工智能
，尤其涉及一种基于联邦学习的模型训练方法和装置、设备及存储介质。
技术介绍
[0002]联邦学习，是一种分布式机器学习方法，是通过在多个拥有本地数据的终端之间进行分布式模型训练，在不需要交换本地数据的前提下，仅通过交换模型参数或中间结果的方式，实现“数据不动模型动”的模型训练。
[0003]相关技术中基于联邦学习的模型训练方法是在多个终端和服务器中进行，各个终端分别将模型参数发送给服务器，服务器将多个模型参数进行聚合并下发给各个终端。由于每个终端均需向服务器发送模型参数，使得服务器容易出现负载过高的情况，从而对终端训练模型的效率造成影响。因此，如何提高终端训练模型的效率成了亟待解决的技术问题。
技术实现思路
[0004]本申请实施例的主要目的在于提出一种基于联邦学习的模型训练方法和装置、设备及存储介质，旨在提高终端训练模型的效率。
[0005]为实现上述目的，本申请实施例的第一方面提出了一种基于联邦学习的模型训练方法，所述方法应用于模型训练系统，所述模型训练系统包括多个初始计算设备，多个所述初始计算设备均存储有初始模型，所述方法包括：
[0006]所述初始计算设备根据预设训练次数对所述初始模型进行联邦训练，得到初步模型；
[0007]获取所述初始计算设备的设备指标数据和模型参数发送次数；
[0008]根据所述设备指标数据和模型参数发送次数构建设备关系图；
[0009]根据所述设备指标数据、设备关系图确定所述初始计算设备的邻居设备；
[0010]获取所述邻居设备的邻居模型参数；
[0011]所述初始计算设备根据所述邻居模型参数对所述初步模型进行参数调整，得到目标模型。
[0012]在一些实施例，所述初始计算设备还存储有本地训练数据；
[0013]所述初始计算设备根据所述邻居模型参数对所述初步模型进行参数调整，得到目标模型，包括：
[0014]所述初始计算设备确定所述邻居模型参数的权值；
[0015]所述初始计算设备根据所述权值对所述邻居模型参数进行权重计算，得到初始模型参数；
[0016]所述初始计算设备根据所述本地训练数据对所述初步模型进行模型训练，得到第一本地模型参数；
[0017]所述初始计算设备根据所述初始模型参数、所述第一本地模型参数对所述初步模型进行参数调整，得到所述目标模型。
[0018]在一些实施例，所述根据所述设备指标数据和模型参数发送次数构建设备关系图，包括：
[0019]获取模型指标数据；
[0020]根据所述设备指标数据和所述模型指标数据计算得到所述初始计算设备的初始性能负载比；
[0021]获取所有所述初始计算设备的模型参数发送总次数，根据所述模型参数发送总次数和所述模型参数发送次数计算得到初始模型参数发送比；
[0022]根据所述初始性能负载比和所述初始模型参数发送比构建所述设备关系图；其中，将所述初始性能负载比作为所述设备关系图的第一坐标值，将所述初始模型参数发送比作为所述设备关系图的第二坐标值。
[0023]在一些实施例，所述根据所述设备指标数据和所述模型指标数据计算得到所述初始计算设备的初始性能负载比，包括：
[0024]对所述设备指标数据进行均值计算，得到指标平均数据；
[0025]根据所述设备指标数据和所述指标平均数据进行归一化处理，得到指标归一化数据；
[0026]根据所述指标归一化数据和所述模型指标数据计算得到所述初始性能负载比。
[0027]在一些实施例，所述根据所述设备指标数据、设备关系图确定所述初始计算设备的邻居设备，包括：
[0028]根据所述第一坐标值和所述第二坐标值确定邻居半径；
[0029]根据所述设备指标数据计算得到所述初始性能负载比的变化值；
[0030]若所述变化值小于预设性能阈值，根据所述邻居半径和所述设备关系图确定所述邻居设备。
[0031]在一些实施例，所述根据所述设备指标数据、设备关系图确定所述初始计算设备的邻居设备，还包括：
[0032]若所述变化值大于或等于所述预设性能阈值，根据所述邻居半径和所述设备关系图确定第一设备，根据所述邻居半径、所述第一设备、所述设备关系图确定第二设备；
[0033]所述初始计算设备获取所述第一设备的第一数据报文，并且所述初始计算设备根据所述第一设备获取所述第二设备的第二数据报文；其中，所述第一数据报文包括所述第一设备的第一性能负载比和第一参数发送次数，所述第二数据报文包括所述第二设备的第二性能负载比和第二参数发送次数；
[0034]根据所有第一数据报文、所述第二数据报文、所述邻居半径确定所述邻居设备。
[0035]在一些实施例，所述初始计算设备还存储有本地训练数据；
[0036]所述初始计算设备根据预设训练次数对所述初始模型进行联邦训练，得到初步模型，包括：
[0037]所述初始计算设备根据所述本地训练数据对所述初始模型进行训练，得到样本模型和第二本地模型参数；
[0038]所述初始计算设备将所述第二本地模型参数发送给预设的协调计算设备，以使所
述协调计算设备对多个所述第二本地模型参数进行聚合处理，得到聚合模型参数；
[0039]所述初始计算设备根据预设训练次数、聚合模型参数、所述本地训练数据对所述样本模型进行训练，得到所述初步模型。
[0040]为实现上述目的，本申请实施例的第二方面提出了一种基于联邦学习的模型训练装置，所述装置应用于模型训练系统，所述模型训练系统包括多个初始计算设备，多个所述初始计算设备均存储有初始模型，所述装置包括：
[0041]模型训练模块，用于根据预设训练次数对所述初始模型进行联邦训练，得到初步模型；
[0042]第一数据获取模块，用于获取所述初始计算设备的设备指标数据和模型参数发送次数；
[0043]关系图构建模块，用于根据所述设备指标数据和模型参数发送次数构建设备关系图；
[0044]邻居设备确定模块，用于根据所述设备指标数据、设备关系图确定所述初始计算设备的邻居设备；
[0045]第二数据获取模块，获取所述邻居设备的邻居模型参数；
[0046]所述模型训练模块，还用于备根据所述邻居模型参数对所述初步模型进行参数调整，得到目标模型。
[0047]为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
[0048]为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
[0049]本申请提出的基于联邦学习的模型训练方法和装置本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于联邦学习的模型训练方法，其特征在于，所述方法应用于模型训练系统，所述模型训练系统包括多个初始计算设备，多个所述初始计算设备均存储有初始模型，所述方法包括：所述初始计算设备根据预设训练次数对所述初始模型进行联邦训练，得到初步模型；获取所述初始计算设备的设备指标数据和模型参数发送次数；根据所述设备指标数据和模型参数发送次数构建设备关系图；根据所述设备指标数据、设备关系图确定所述初始计算设备的邻居设备；获取所述邻居设备的邻居模型参数；所述初始计算设备根据所述邻居模型参数对所述初步模型进行参数调整，得到目标模型。2.根据权利要求1所述的方法，其特征在于，所述初始计算设备还存储有本地训练数据；所述初始计算设备根据所述邻居模型参数对所述初步模型进行参数调整，得到目标模型，包括：所述初始计算设备确定所述邻居模型参数的权值；所述初始计算设备根据所述权值对所述邻居模型参数进行权重计算，得到初始模型参数；所述初始计算设备根据所述本地训练数据对所述初步模型进行模型训练，得到第一本地模型参数；所述初始计算设备根据所述初始模型参数、所述第一本地模型参数对所述初步模型进行参数调整，得到所述目标模型。3.根据权利要求1所述的方法，其特征在于，所述根据所述设备指标数据和模型参数发送次数构建设备关系图，包括：获取模型指标数据；根据所述设备指标数据和所述模型指标数据计算得到所述初始计算设备的初始性能负载比；获取所有所述初始计算设备的模型参数发送总次数，根据所述模型参数发送总次数和所述模型参数发送次数计算得到初始模型参数发送比；根据所述初始性能负载比和所述初始模型参数发送比构建所述设备关系图；其中，将所述初始性能负载比作为所述设备关系图的第一坐标值，将所述初始模型参数发送比作为所述设备关系图的第二坐标值。4.根据权利要求3所述的方法，其特征在于，所述根据所述设备指标数据和所述模型指标数据计算得到所述初始计算设备的初始性能负载比，包括：对所述设备指标数据进行均值计算，得到指标平均数据；根据所述设备指标数据和所述指标平均数据进行归一化处理，得到指标归一化数据；根据所述指标归一化数据和所述模型指标数据计算得到所述初始性能负载比。5.根据权利要求3所述的方法，其特征在于，所述根据所述设备指标数据、设备关系图确定所述初始计算设备的邻居设备，包括：根据所述第一坐标值和所述第二坐标值确定邻居半径；
根据所述设备指标数据计算得到所述初始性能负载比的变化值；若所述变化值小于预设性能阈...
【专利技术属性】
技术研发人员：王伟，张黔，陈焕坤，曾志贤，
申请(专利权)人：华润数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。