基于联邦学习的隐私数据通信方法、系统和计算机设备技术方案

本发明专利技术涉及基于联邦学习的隐私数据通信方法、系统和计算机设备。该方法包括获取客户端的本地隐私数据和本地隐私数据对应的标签数据，将本地隐私数据输入至训练好的数据重构模型中，得到本地隐私数据的重构数据；将本地隐私数据的重构数据和对应的标签数据发送至服务端，供服务端利用重构数据进行联邦学习模型的训练，以得到联邦学习模型的更新模型参数；接收所述服务端发送的所述更新模型参数，利用所述更新模型参数和所述本地隐私数据更新所述客户端的本地任务模型。本发明专利技术解决了在客户端和服务端之间进行数据通信的过程中，如何提高更新模型参数与某个本地任务模型匹配度，进而提高客户端上本地任务模型执行任务的准确率的问题。准确率的问题。准确率的问题。

【技术实现步骤摘要】
基于联邦学习的隐私数据通信方法、系统和计算机设备


[0001]本专利技术适用于通信
，尤其涉及一种基于联邦学习的隐私数据通信方法、系统和计算机设备。

技术介绍

[0002]现有技术中，基于联邦学习的隐私数据通信系统通常包括一个服务端和多个客户端，各个客户端根据自身的本地隐私数据对本地任务模型进行训练，通过通信的方式将训练好的模型参数发送给服务端，由服务端进行模型参数整合，即根据收集的模型参数进行联邦学习模型的训练，得到泛化能力更强的更新模型参数，再分发给各个客户端，由各个客户端中的本地任务模型配置接收到的更新模型参数，然后利用更新的本地任务模型进行相应任务，从而无需获取到客户端本地数据，保障了本地数据的隐私性，又让更新模型参数学习到的各个客户端本地数据的知识。
[0003]但是，现有将模型参数进行客户端和服务端通信，由服务端进行模型参数整合的方式，会存在更新模型参数与某个本地任务模型匹配度较低，导致客户端上本地任务模型执行任务的准确率较低。因此，在客户端和服务端之间进行数据通信的过程中，如何提高更新模型参数与某个本地任务模型匹配度，进而提高客户端上本地任务模型执行任务的准确率，成为目前亟待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种基于联邦学习的隐私数据通信方法、系统和计算机设备，以解决在客户端和服务端之间进行数据通信的过程中，如何提高更新模型参数与某个本地任务模型匹配度，进而提高客户端上本地任务模型执行任务的准确率的问题。
[0005]第一方面，提供一种基于联邦学习的隐私数据通信方法，所述隐私数据通信方法包括：
[0006]获取客户端的本地隐私数据和所述本地隐私数据对应的标签数据，将所述本地隐私数据输入至训练好的数据重构模型中，得到所述本地隐私数据的重构数据；
[0007]将所述本地隐私数据的重构数据和所述对应的标签数据发送至服务端，供服务端利用所述重构数据进行联邦学习模型的训练，以得到联邦学习模型的更新模型参数；
[0008]接收所述服务端发送的所述更新模型参数，利用所述更新模型参数和所述本地隐私数据更新所述客户端的本地任务模型。
[0009]可选的是，利用所述更新模型参数和所述本地隐私数据更新所述客户端的本地任务模型包括：
[0010]将所述更新模型参数配置于所述本地任务模型中，得到第一次参数更新的本地任务模型；
[0011]向第一次参数更新的本地任务模型中输入所述本地隐私数据，得到执行本地任务
的输出结果及其输出概率，所述输出结果及其输出概率包括：分类任务结果，以及属于该分类任务结果的预测概率；
[0012]根据所述输出结果及其输出概率再次更新所述本地任务模型，确定最优的更新模型参数，进行所述本地任务模型的第二次参数更新。
[0013]可选的是，根据所述输出结果及其输出概率再次更新所述本地任务模型，确定最优的更新模型参数包括：
[0014]将同一个批次内的N个本地隐私数据分别输入至第一次参数更新的本地任务模型中，N≥2，得到N组输出结果及其输出概率；
[0015]计算所述同一个批次内所有输出概率的预测均值，确定所述预测均值与预设参考值之间的预测概率偏差值；
[0016]预设所述预测概率偏差值与所述本地任务模型的损失之间的负相关关系，确定所述本地任务模型的损失，当所述损失满足预设损失范围时，输出所述最优的更新模型参数。
[0017]可选的是，确定所述最优的更新模型参数之后，还包括：
[0018]计算各个所述本地隐私数据对于更新模型参数的影响因子；
[0019]根据所述影响因子计算为各个所述本地隐私数据分配的子损失权值；
[0020]根据各个所述本地隐私数据输入所述本地任务模型后产生的子损失以及各个所述子损失权值，计算所述本地任务模型在训练过程中的综合损失函数，用以再次训练所述本地任务模型，从而对所述最优的更新模型参数进行再次更新，进行所述本地任务模型的第三次参数更新。
[0021]可选的是，计算各个所述本地隐私数据对于更新模型参数的影响因子包括：
[0022]将各个所述本地隐私数据分别输入第二次参数更新前的本地任务模型和第二次参数更新后的本地任务模型；
[0023]当所述第二次参数更新前的本地任务模型和第二次参数更新后的本地任务模型的输出结果一致时，将所述第二次参数更新前的本地任务模型和第二次参数更新后的本地任务模型的输出概率作差，根据所述作差得到的差值确定各个各个所述本地隐私数据的参数影响程度值；
[0024]筛选出与各个本地隐私数据对应的最小所述差值，根据最小所述差值确定参数影响基准值；
[0025]求取各个所述本地隐私数据的参数影响程度值与所述参数影响基准值的比值，得到各个所述本地隐私数据对于更新模型参数的影响因子。
[0026]第二方面，提供一种基于联邦学习的隐私数据通信系统，所述隐私数据通信系统包括：
[0027]至少两个客户端，各个客户端用于获取客户端的本地隐私数据和所述本地隐私数据对应的标签数据，将所述本地隐私数据输入至训练好的数据重构模型中，得到所述本地隐私数据的重构数据；将所述本地隐私数据的重构数据和所述对应的标签数据进行外发；
[0028]服务端，用于接收各个客户端发送的所述本地隐私数据的重构数据和所述对应的标签数据，利用所述重构数据进行联邦学习模型的训练，以得到联邦学习模型的更新模型参数；
[0029]所述各个客户端用于接收所述服务端发送的所述更新模型参数，利用所述更新模
型参数和所述本地隐私数据更新所述客户端的本地任务模型。
[0030]第三方面，本专利技术实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的隐私数据通信方法。
[0031]本专利技术与现有技术相比存在的有益效果是：
[0032]本专利技术在客户端和服务端之间进行数据通信的过程中，通过在客户端预先对本地隐私数据进行数据重构，得到与本地隐私数据具有相同特征表示但数据区别较大的重构数据，并将该重构数据以通信的方式发送给服务端，由服务端利用接收到各个客户端发来的重构数据进行联邦学习模型的训练，从而得到与各个客户端的本地任务模型匹配度较高的更新模型参数，加大了各个客户端的本地隐私数据的保护力度的同时，还能提高各个客户端上本地任务模型执行任务的准确率。
附图说明
[0033]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本专利技术实施例一提供的一种基于联邦学习的隐私数据通信方法的一应用环境示意图；
[0035]图2是本专利技术实施例一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于联邦学习的隐私数据通信方法，其特征在于，所述隐私数据通信方法包括：获取客户端的本地隐私数据和所述本地隐私数据对应的标签数据，将所述本地隐私数据输入至训练好的数据重构模型中，得到所述本地隐私数据的重构数据；将所述本地隐私数据的重构数据和所述对应的标签数据发送至服务端，供服务端利用所述重构数据进行联邦学习模型的训练，以得到联邦学习模型的更新模型参数；接收所述服务端发送的所述更新模型参数，利用所述更新模型参数和所述本地隐私数据更新所述客户端的本地任务模型。2.根据权利要求1所述的隐私数据通信方法，其特征在于，所述数据重构模型包括重构编码器和重构解码器，所述重构编码器用于提取所述本地隐私数据的特征，所述重构解码器用于进行所述本地隐私数据的特征重构，得到重构特征；所述数据重构模型的训练过程中，采用n个历史本地隐私数据作为训练数据集，n>2，训练方式采用自监督训练方式，损失函数包括用于增加历史本地隐私数据及历史重构数据之间差异的第一重构损失，以及用于约束本地特征和所述数据重构模型输出的重构特征之间相似度的第二重构损失，所述本地特征为将所述历史本地隐私数据输入配置于客户端中的本地任务模型或配置于服务端中联邦学习模型的特征提取模型后，所述本地任务模型或所述特征提取模型输出的特征，所述本地任务模型进行的任务为分类任务、预测任务或识别任务。3.根据权利要求2所述的隐私数据通信方法，其特征在于，确定第一重构损失的步骤包括：将各个所述历史本地隐私数据输入至所述数据重构模型中，得到历史重构数据；计算所述历史重构数据与对应的历史本地隐私数据之间的欧式距离，求取所述欧式距离的倒数，以得到所述第一重构损失。4.根据权利要求2所述的隐私数据通信方法，其特征在于，确定所述第二重构损失的步骤包括：获取联邦学习模型的特征提取模型，将所述历史本地隐私数据和历史重构数据分别输入至所述特征提取模型中，得到历史本地隐私数据特征和历史重构数据特征；计算所述历史本地隐私数据特征和历史重构数据特征之间的欧式距离，以得到所述第二重构损失。5.根据权利要求1所述的隐私数据通信方法，其特征在于，所述服务端利用所述重构数据进行联邦学习模型的训练过程中，为接收到的各个重构数据分配训练权重，根据各个所述重构数据及其训练权重确定所述联邦学习模型的训练过程中的损失函数，当所述损失函数达到预设条件，得到联邦学习模型的更新模型参数。6.根据权利要求5所述的隐私数据通信方法，其特征在于，所述为接收到的各个...

【专利技术属性】
技术研发人员：王俊仃，万莉，吴文静，冯利，杨瑞丽，陈艳华，赵涛，
申请(专利权)人：商丘工学院，
类型：发明
国别省市：