基于联邦学习和ALQ压缩的分布式机器学习方法及系统技术方案

本发明专利技术涉及一种基于联邦学习和ALQ压缩的分布式机器学习方法及系统，所述系统包括一个服务器端和多个客户端，服务器端的功能包括初始化全局机器学习模型、分发模型至客户端、收集客户端的模型并计算新的全局模型；客户端的功能包括接收全局模型、用本地数据对模型进行训练以及上传训练好的本地模型，服务器端和客户端之间的通信数据通过ALQ压缩算法进行压缩。与现有技术相比，本发明专利技术具有保证数据隐私安全性、适用于对通信量和扩展性有严格要求的空间信息网络等优点。空间信息网络等优点。空间信息网络等优点。

【技术实现步骤摘要】
基于联邦学习和ALQ压缩的分布式机器学习方法及系统


[0001]本专利技术涉及计算机系统方向的分布式系统领域和计算科学方向的机器学习领域，尤其是涉及一种基于联邦学习和ALQ压缩的分布式机器学习方法及系统。

技术介绍

[0002]过去十年空间信息网络得到了飞速的发展，例如部署小型卫星和无人机供公众使用，包括互联网服务、地理摄影、导航、天气预报和交通数据分析。到目前为止，SpaceX已经部署了1000多颗StarLink卫星提供宽带互联网连接。此外，配备传感器和摄像头的小型卫星和无人机具有一直收集大量高分辨率图像和视频数据的能力，使诸如谷歌地图等应用程序能够提供实时街景和交通监控。
[0003]随着空间信息网络设备收集的有价值的数据数量不断增加，人们对智能、高效的数据分析的广泛兴趣被不断激发。利用数据在卫星和无人机上启用机器智能有两个显著的效益：一是提高数据分析效率，进一步提升公共服务质量，如天气预报、交通导航。二、协助航天器管理并自主优化空间通信和航天器的可靠性，进一步降低地面部分和执行任务的负担和成本。
[0004]工业和学术界已尝试在SIN设备上启用机器学习。KP Labs开发了Leopard，一种集成的具有强大FPGA芯片的机载计算机，可加速执行卫星上的深度学习算法。英特尔发布了Movidius Myriad VPU，一种能够在低功耗环境中加速机器视觉任务的微处理器。此外，欧洲航天局提出了Mexar2，利用机器学习技术来优化空间通信。美国宇航局设计了太空通信和导航(SCaN)测试平台以利用机器学习探索认知无线电和未被用作通信部分的电磁频谱。
[0005]然而，现有的研究仅尝试在单个空间信息网络设备上执行机器学习任务，即使机器并行可以大大加速计算。例如，Manning等人将机器学习框架TensorFlow Lite部署到现代小型卫星计算机上并使用卷积神经网络执行图像分类任务。然而，尽管如此，在单个空间信息网络设备上得到准确、通用的模型是近乎不可能的，因为单个设备往往算力和存储空间都十分有限并且现有的深度学习算法通常需要数百万个数据样本和数千个并行计算线程(即GPU流处理器)来训练适合工业环境的模型。因此，在小型卫星和无人机上启用分布式机器学习是势在必行的。
[0006]目前阻碍机器学习在空间信息网络设备上部署的主要问题是这些设备本身有限的资源以及和地面控制台之间不稳定、低带宽的通信。这使得机器学习对流量的巨大需求与空间信息网络较差的通信质量之间存在极大的矛盾。并且，不稳定的通信也会进一步增加协调各个设备的难度。

技术实现思路

[0007]本专利技术提供一种基于联邦学习和ALQ压缩的分布式机器学习方法及系统，可应用于对通信量和扩展性有严格要求的空间信息网络中。
[0008]本专利技术需要解决的技术问题是如何将分布式机器学习更加高效的部署到空间信
息网络的设备上，及如何优化通信使得分布式机器学习能够更好地适应空间信息网络较低的通信质量，克服以下3个技术难点：
[0009](1)如何让分布式机器学习更好地适应通信质量差、对可扩展性要求高的空间信息网络，在不影响最终模型训练效果的前提下尽可能地降低通信量。
[0010](2)如何减少掉线设备或者通信延时较高、带宽较低的设备对整体训练的影响。
[0011](3)如何对各个空间网络设备上的数据隐私进行保护。
[0012]本专利技术的上述目的可以通过以下技术方案来实现：
[0013]第一方面，本专利技术提供一种基于联邦学习和ALQ压缩的分布式机器学习方法，应用于客户端，包括以下步骤：
[0014]获取服务器端发送的经压缩的全局模型参数，该全局模型参数通过ALQ压缩算法压缩获得；
[0015]还原所述经压缩的全局模型参数，在所述全局模型参数的基础上利用本地数据进行训练，获得本地模型参数；
[0016]通过ALQ压缩算法对所述本地模型参数进行压缩，形成本地模型更新参数，将压缩后的本地模型更新参数上传至服务器端。
[0017]进一步地，所述ALQ压缩算法的步骤包括：
[0018]1)对全精度坐标集合α进行剪枝；
[0019]2)对全精度坐标集合对应的二进制基B进行优化；
[0020]3)重复步骤1)和2)，获得最优的全精度坐标集合和二进制基。
[0021]进一步地，所述还原具体为：多个对应的二进制基与坐标相乘并求和。
[0022]进一步地，所述客户端为空间信息网络设备。
[0023]进一步地，所述再次压缩采用straight
‑
through estimators算法执行。
[0024]第二方面，本专利技术提供一种基于联邦学习和ALQ压缩的分布式机器学习方法，应用于服务器端，包括以下步骤：
[0025]初始化模型参数和结构，通过ALQ压缩算法压缩获得经压缩的全局模型参数；
[0026]在接收到所有客户端反馈的本地模型更新参数后，所述本地模型更新参数通过ALQ压缩算法压缩获得，对各本地模型更新参数进行还原并融合，获得全局模型更新参数；
[0027]再次通过ALQ压缩算法对全局模型更新参数进行压缩并发送至客户端，直至训练结束。
[0028]进一步地，所述ALQ压缩算法的步骤包括：
[0029]1)对全精度坐标集合α进行剪枝；
[0030]2)对全精度坐标集合对应的二进制基B进行优化；
[0031]3)重复步骤1)和2)，获得最优的全精度坐标集合和二进制基。
[0032]进一步地，所述还原具体为：多个对应的二进制基与坐标相乘并求和。
[0033]进一步地，所述融合具体为：对所有还原得到的模型参数进行加权求和。
[0034]第三方面，本专利技术提供一种基于联邦学习和ALQ压缩的分布式机器学习系统，包括一个服务器端和多个客户端，其中，
[0035]所述客户端用于获取服务器端发送的经压缩的全局模型参数，该全局模型参数通过ALQ压缩算法压缩获得；还原所述经压缩的全局模型参数，在所述全局模型参数的基础上
利用本地数据进行训练，获得本地模型参数；通过ALQ压缩算法对所述本地模型参数进行压缩，形成本地模型更新参数，将压缩后的本地模型更新参数上传至服务器端；
[0036]所述服务器端用于初始化模型参数和结构，通过ALQ压缩算法压缩获得经压缩的全局模型参数；在接收到所有客户端反馈的本地模型更新参数后，所述本地模型更新参数通过ALQ压缩算法压缩获得，对各本地模型更新参数进行还原并融合，获得全局模型更新参数；再次通过ALQ压缩算法对全局模型更新参数进行压缩并发送至客户端，直至训练结束。
[0037]与现有技术相比，本专利技术具有以下有益效果：
[0038]1、本专利技术引入了联邦学习的思想实现隐私保护，根据联邦学习的结构对分布式机器学习任务进行部署，保证了每个空间信息网络设备上数据隐私的安全性
[0039]2、本专利技术引入了隐私保护，使得隶属于不同组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，应用于客户端，包括以下步骤：获取服务器端发送的经压缩的全局模型参数，该全局模型参数通过ALQ压缩算法压缩获得；还原所述经压缩的全局模型参数，在所述全局模型参数的基础上利用本地数据进行训练，获得本地模型参数；通过ALQ压缩算法对所述本地模型参数进行压缩，形成本地模型更新参数，将压缩后的本地模型更新参数上传至服务器端。2.根据权利要求1所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述ALQ压缩算法的步骤包括：1)对全精度坐标集合α进行剪枝；2)对全精度坐标集合对应的二进制基B进行优化；3)重复步骤1)和2)，获得最优的全精度坐标集合和二进制基。3.根据权利要求2所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述还原具体为：多个对应的二进制基与坐标相乘并求和。4.根据权利要求1所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述客户端为空间信息网络设备。5.根据权利要求1所述的基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，所述再次压缩采用straight
‑
through estimators算法执行。6.一种基于联邦学习和ALQ压缩的分布式机器学习方法，其特征在于，应用于服务器端，包括以下步骤：初始化模型参数和结构，通过ALQ压缩算法压缩获得经压缩的全局模型参数；在接收到所有客户端反馈的本地模型更新参数后，所述本地模型更新参数通过ALQ压缩算法压缩获得，对各本地模型更新参数进行还原并融合，获...

【专利技术属性】
技术研发人员：马汝辉，郭含熙，杨晴，王灏，华扬，宋涛，管海兵，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：