【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种基于结构化稀疏的联邦学习方法、系统、设备及介质。
技术介绍
1、在联邦学习框架中，由于联邦学习系统内的训练数据在下游客户端之间，并且客户端的计算资源往往差异很大，存在显著不平衡和非独立同分布的问题，会严重影响模型的收敛以及最终的模型精度。相关技术中，采用具有动态稀疏训练的联邦学习在一定程度上解决了联邦学习的系统异构性的问题。然而，大多数的稀疏训练方法通常产生非结构化的稀疏模式，这种非结构化的稀疏性可能会影响模型推理的速度，不能保证稀疏模型的准确性。综上，相关技术中存在的技术问题有待得到改善。
技术实现思路
1、本申请实施例的主要目的在于提出一种基于结构化稀疏的联邦学习方法、系统、设备及介质，能够提高模型的推理速度，提高联邦学习效率。
2、为实现上述目的，本申请实施例的一方面提出了一种基于结构化稀疏的联邦学习方法，所述方法包括：
3、通过服务器向本地设备发送全局模型；
4、通过所述本地设备对所述全局模型进行密度约束计算处理，得到约束密度；
5、根据所述约束密度对所述全局模型进行结构化稀疏训练处理，得到本地模型；
6、将所述本地模型上传至所述服务器进行聚合处理，更新所述全局模型；
7、返回至所述通过服务器向本地设备发送全局模型这一步骤，直至所述全局模型满足训练轮次。
8、在一些实施例中，所述通过所述本地设备对所述全局模型进行密度约束计算处理，得到约束密度，包括：
<...【技术保护点】
1.一种基于结构化稀疏的联邦学习方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述本地设备对所述全局模型进行密度约束计算处理，得到约束密度，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述全局模型进行算力约束计算处理，得到计算资源，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述约束密度对所述全局模型进行结构化稀疏训练处理，得到本地模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述损失梯度对所述全局模型进行梯度平均权重计算处理，得到特征重要度，包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述特征重要度对所述全局模型进行剪枝和生长处理，得到本地模型，包括：
7.根据权利要求1至6任一项所述的方法，其特征在于，所述将所述本地模型上传至所述服务器进行聚合处理，更新所述全局模型，包括：
8.一种基于结构化稀疏的联邦学习系统，其特征在于，所述系统包括：
9.一种电子设备，其特征在于，所述电子设备包括存
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种基于结构化稀疏的联邦学习方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述本地设备对所述全局模型进行密度约束计算处理，得到约束密度，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述全局模型进行算力约束计算处理，得到计算资源，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述约束密度对所述全局模型进行结构化稀疏训练处理，得到本地模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述损失梯度对所述全局模型进行梯度平均权重计算处理，得到特征重要度，包括：
6.根据权利要求4所述的方法，其特...
【专利技术属性】
技术研发人员：黄志青，余俊，陈天戈，
申请(专利权)人：广州恒沙云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。