一种增强型横向联邦学习方法和装置制造方法及图纸

本申请公开了一种增强型横向联邦学习方法，包括：应用程序向用户申请用于访问非必要用户数据的联邦学习数据访问权限；在联邦学习数据访问权限下，非必要用户数据与应用程序隔离，应用程序调用统一的联邦学习服务(UnifiedFED)，UnifiedFED获取非必要用户数据，并从应用程序接收必要用户数据，将所述非必要用户数据和必要用户数据提供给模型进行横向联邦学习训练。本申请还公开了一种对应的增强型横向联邦学习装置。应用本申请公开的技术方案，能够实现严格分离应用程序和用户数据。据。据。

【技术实现步骤摘要】
一种增强型横向联邦学习方法和装置


[0001]本申请涉及隐私保护
，特别涉及一种增强型横向联邦学习方法和装置。

技术介绍

[0002]随着互联网的发展，手机、IOT等终端设备的普及，人们享受现代生活便利的同时，用户数据被各种应用程序采集，隐私泄露日益严重。大数据时代，很多应用程序依赖大量的各种各样的用户数据，训练自己的AI模型，优化自己的服务。这些用户数据，有些是应用程序提供服务所必要的，而有些则是不必要的。那些对应用程序必要的用户数据，有些时候因为涉及到用户隐私，也可以在本地处理而无需上传到云端服务器。
[0003]为了遏制和解决隐私泄露问题，政府制定了更加严格的隐私保护法规(如GPDR)；人们也在研究新的方法，以实现既可以利用用户数据训练和使用AI模型，又可以保护用户隐私，联邦学习(Federated Learning)就是在这种背景下诞生的。
[0004]2016年，谷歌研究院为了解决面向个体用户的键盘输入法优化问题而第一次提出了联邦学习的概念。联邦学习技术的要点包括：
[0005]1、全球模型；
[0006]2、将用户数据安全地保存在本地。
[0007]例如：用户键盘输入的内容无需上传服务器，在本地通过分布式服务即可完成模型的训练和预测。自谷歌提出联邦学习的概念以来，这一
迅速发展，Google推出了Tensorflow Federated Framework。腾讯微众银行开源了FATE联邦学习系统。2019年，苹果iOS 13在QuickType Keyboard、Siri个性化自动语音识别等功能都使用了联邦学习技术。2020年，IEEE批准了第一个联邦学习的国际标准IEEE 3652.1
‑
2020。
[0008]联邦学习又名联合学习、联盟学习。联邦学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习各方不直接交换数据，可以在很大程度上保护用户隐私。
[0009]联邦学习可以分为：横向联邦学习、纵向联邦学习和联邦迁移学习。图1为联邦学习技术的分类示意图，下面参见图1对上述三种联邦学习技术分别予以说明。
[0010]一、横向联邦学习
[0011]1)学习过程
[0012]a.参与方各自从服务器A下载最新模型；
[0013]b.每个参与方利用本地数据训练模型，将梯度加密后上传给服务器A，服务器A聚合用户的梯度，更新模型参数；
[0014]c.服务器A返回更新后的模型给各参与方；
[0015]d.各参与方分别更新各自模型。
[0016]2)预测过程
[0017]每台机器下都是相同且完整的模型，在预测时每台机器可以独立预测。
[0018]二、纵向联邦学习
[0019]图2为纵向联邦学习的原理示意图，下面结合图2进行说明。
[0020]1)学习过程
[0021]a.加密样本对齐；该操作在系统级进行，因此在企业感知层面(例如：如图所示企业A和企业B)不会暴露非交叉用户；
[0022]b.由第三方(如图所示协作者C)向A和B分发公钥，用来加密需要传输的数据；
[0023]c.A和B分别计算与自己相关的特征中间结果，并加密交互，用来求得各自的梯度和损失；
[0024]d.A和B分别计算各自加密后的梯度，并添加掩码分别发送给协作者C，同时，A和B计算加密后的损失发送给C；
[0025]e.C解密梯度和损失后回传给A和B，A、B去除掩码并更新模型预测过程。
[0026]2)预测过程
[0027]由于各参与方只能得到与自己相关的模型参数，预测时需要双方协作完成。
[0028]本申请的专利技术人通过分析现有技术，发现现有技术存在以下问题：
[0029]1.目前手机/IOT等设备端的联邦学习，并没有实现应用程序和数据的彻底分离，具体体现在：
[0030]1)应用程序通过申请对应的数据权限，依然可以访问用户数据。
[0031]2)应用程序依靠自我约束以及受限于隐私法规，不上传用户隐私数据而在本地处理。
[0032]3)应用程序如何使用数据并不透明。用户知道应用程序拥有数据，但是不知道应用程序是如何使用数据的，这客观上阻碍了应用程序获取某些用户信息的权限。比如，某电商应用程序申请读取用户通讯录，就很可能被用户拒绝。
[0033]2.大数据和AI算法流行的时代，应用程序对用户数据的渴求是无限的，但隐私法规和用户接受程度，又不允许应用程序无限制地获取不必要的数据，两者在客观上存在矛盾。因而，需要寻找解决方案，以使得应用程序能够在不获取用户数据的情况下也能得到好的AI模型。
[0034]3.联邦学习任务计算量大，消耗大量CPU和GPU资源，也非常耗电。另外，考虑未来可能有多个联邦学习任务(task)在设备端同时运行，设备端需要一个统一的系统级的服务，来优化和管理所有的任务。

技术实现思路

[0035]本申请提供了一种增强型横向联邦学习方法和装置，以实现严格分离应用程序和用户数据。
[0036]本申请公开了一种增强型横向联邦学习方法，包括：
[0037]应用程序向用户申请用于访问非必要用户数据的联邦学习数据访问权限；
[0038]在联邦学习数据访问权限下，非必要用户数据与应用程序隔离，应用程序调用统一的联邦学习服务(UnifiedFED)，所述UnifiedFED获取非必要用户数据，并从应用程序接收必要用户数据，将所述非必要用户数据和必要用户数据提供给模型进行横向联邦学习训练；其中，所述UnifiedFED是一个可信的服务，用于进行横向联邦学习。
[0039]较佳的，在应用程序调用UnifiedFED时，UnifiedFED对应用程序进行权限管理，所
述权限管理具体包括：
[0040]查看应用程序的数据访问权限；
[0041]判断应用程序是否拥有联邦学习数据访问权限，如果有，则结束权限管理过程，继续执行所述UnifiedFED获取非必要用户数据；否则，向用户申请联邦学习数据访问权限；
[0042]如果用户选择仅本次允许，则结束权限管理过程，继续执行所述UnifiedFED获取非必要用户数据；
[0043]如果用户选择总是允许，则授予应用程序联邦学习数据访问权限，并在权限管理中增加相应的记录，继续执行所述UnifiedFED获取非必要用户数据；
[0044]如果用户选择不允许，则拒绝授权。
[0045]较佳的，在所述UnifiedFED获取非必要用户数据时，还包括获取应用程序自有数据和模型，并按照用户设置和应用程序调用UnifiedFED时传递的参数对所获取的数据进行预处理。
[0046]较佳的，在UnifiedFED将数据提供给模型进行横向联邦学习训练之前，还包括：UnifiedFED对训练任务进行调度，所述调度具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强型横向联邦学习方法，其特征在于，包括：应用程序向用户申请用于访问非必要用户数据的联邦学习数据访问权限；在联邦学习数据访问权限下，非必要用户数据与应用程序隔离，应用程序调用统一的联邦学习服务(UnifiedFED)，所述UnifiedFED获取非必要用户数据，并从应用程序接收必要用户数据，将所述非必要用户数据和必要用户数据提供给模型进行横向联邦学习训练；其中，所述UnifiedFED是一个可信的服务，用于进行横向联邦学习。2.根据权利要求1所述的方法，其特征在于：在应用程序调用UnifiedFED时，UnifiedFED对应用程序进行权限管理，所述权限管理具体包括：查看应用程序的数据访问权限；判断应用程序是否拥有联邦学习数据访问权限，如果有，则结束权限管理过程，继续执行所述UnifiedFED获取非必要用户数据；否则，向用户申请联邦学习数据访问权限；如果用户选择仅本次允许，则结束权限管理过程，继续执行所述UnifiedFED获取非必要用户数据；如果用户选择总是允许，则授予应用程序联邦学习数据访问权限，并在权限管理中增加相应的记录，继续执行所述UnifiedFED获取非必要用户数据；如果用户选择不允许，则拒绝授权。3.根据权利要求2所述的方法，其特征在于：在所述UnifiedFED获取非必要用户数据时，还包括获取应用程序自有数据和模型，并按照用户设置和应用程序调用UnifiedFED时传递的参数对所获取的数据进行预处理。4.根据权利要求3所述的方法，其特征在于，在UnifiedFED将数据提供给模型进行横向联邦学习训练之前，还包括：UnifiedFED对训练任务进行调度，所述调度具体包括：UnifiedFED判断是立即执行训练任务还是异步执行训练任务；如果是立即执行训练任务，则在当前设备状态满足条件时，通知应用程序可以进行模型训练，应用程序通知云服务器本设备可以进行模型训练，并在本设备被云服务器选中时下载模型，或者提前下载模型；在当前设备状态不满足条件时，通知应用程序请求被拒绝，应用程序通知云服务器选择其他设备进行模型训练；如果是异步执行训练任务，则周期性检查当前设备状态，并在当前设备状态满足条件时，通知应用程序可以进行模型训练，应用程序通知云服务器本设备可以进行模型训练，并在本设备被云服务器选中时下载模型，或者提前下载模型。5.根据权利要求4所述的方法，其特征在于，所述UnifiedFED根据以下因素的至少一种判断当前设备状态是否满足条件：任务类型、模型的大小、需要训练的参数数量、设备CPU/GPU/电池/网络使用的状况、需要训练的数据量、用户设置；其中，任务类型包括：预测任务和训练任务，预测任务的优先级高于训练任务；模型的大小、需要训练的参数数量、需要训练的数据量用于估算训练所需的时间。6.一种增强型横向联邦学习装置，其特征在于，该...

【专利技术属性】
技术研发人员：王成军，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：