联合学习平台中的Fl-engine系统技术方案

本发明专利技术公开了联合学习平台中的F l

【技术实现步骤摘要】
联合学习平台中的Fl
‑
engine系统


[0001]本专利技术涉及联合学习
，特别涉及联合学习平台中的Fl
‑
engine系统。

技术介绍

[0002]机器学习算法在数据分析、数据挖掘等方面的应用已经十分广泛，并取得了很好的效果。同时，机器学习算法也是一种针对特定的应用或特定数据的特异性很强的算法，即一旦利用给定的训练数据完成训练并唯一确定，模型将很难具有针对不同数据或不同应用的泛化能力。因此，为使得模型具有针对不同数据或应用的自适应能力，例如通过调节模型中某些可控参数来自动调节其模型结构，是一种十分有效的扩展模型泛化能力的解决方法。
[0003]通过机器的联合学习，可以为我们提供多种数据训练，第一类是，可以做数据集的增强训练，这种场景主要针对的是联合参与的每一方都拥有一定数量的样本，联合起来训练对各自来说，相当于是数据集的增强，这一类其实就相当于横向联合。第二类可以做特征聚合的，其实就相当于是纵向联合。第三类场景，是可以做一些数据标注，参与方中一方拥有特征而另一方拥有标注数据，二者可以在不泄漏隐私的情况下学习到他们之间的联系，从而达到标注的效果。最后一种是属于最极致的一种情况，模型和数据的独立性。也就是一方只有模型，一方只有数据，通过联合，可以用一方的模型去消费另一方的数据，在保护数据模型隐私的前提下，达到价值共享。
[0004]联合学习平台中引擎模块至关重要，引擎作为中心节点，会部署在云端，负责统一编排各个联合训练任务和Agent，起到中心协调的作用。<br/>
技术实现思路

[0005]本专利技术的目的在于提供联合学习平台中的Fl
‑
engine系统，联合学习引擎模块基于一个联合学习框架，纳入联合机器学习算法、联合深度学习算法、横向联合算法和纵向联合算法，通过自适应机制从聚合策略模块中选用与之匹配的k
‑
means聚类策略、层次聚类策略、SOM聚类策略或者FCM聚类策略，实现聚合计算，并设置有分布式异常处理模块采用分布式处理，提高工作效率，并兼顾各种异常处理，另外隐私安装协议为用户隐私加密，安全性能高，能够保证联合训练的完整性，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：联合学习平台中的Fl
‑
engine系统，包括联合学习平台、本地服务器和物联接入端，所述联合学习平台内设置有智能生态圈模块、联合学习计划模块、联合学习引擎模块、和平台支撑模块，联合学习计划模块和联合学习引擎模块电性连接，联合学习引擎模块和平台支撑模块电性连接，所述本地服务器内设置有物联网系统、本地训练配置模块、本地训练代理模块和本地资源管理协同模块，物联网系统分别与本地训练配置模块、本地训练代理模块电性连接，本地训练配置模块与联合学习计划模块电性连接，本地训练代理模块与联合学习引擎模块电性连接，本地资源管理协同模块与平台支撑模块电性连接，所述物联接入端包括机器设备、边缘盒子和摄像头，机器
设备、边缘盒子和摄像头分别与物联网系统连接。
[0007]优选的，所述联合学习引擎模块内设置有ML/DL算法模块、聚合策略模块、分布式异常处理模块、隐私安装协议和自适应机制，联合学习引擎模块内还设置有本地模型接收节点，本地模型接收节点与分布式异常处理模块、隐私安装协议和自适应机制通信连接，自适应机制与ML/DL算法模块和内聚合策略模块对应连接。
[0008]优选的，所述ML/DL算法模块内设置有联合机器学习算法、联合深度学习算法、横向联合算法和纵向联合算法，联合机器学习算法、联合深度学习算法、横向联合算法和纵向联合算法之间平行设置，且均与自适应机制通信连接。
[0009]优选的，所述聚合策略模块包括k
‑
means聚类策略、层次聚类策略、SOM聚类策略和FCM聚类策略，k
‑
means聚类策略、层次聚类策略、SOM聚类策略和FCM聚类策略平行设置，且均与自适应机制通信连接。
[0010]优选的，所述分布式异常处理模块处理异常包括以下步骤：
[0011]S13301：分布式异常处理模块采用分布式结构，在本地模型接收节点内各流水级设置一个异常检测逻辑，检测当前时钟周期内地本地模型接收节点内该流水级产生的异常类型，并向集中式异常仲裁逻辑传递检测到的该周期该级产生的优先级最高异常的相关信息；
[0012]S13302：对本地模型接收节点的流水级体系机构寄存器增加一个镜像寄存器；
[0013]S13303：处理响应异常时，将体系结构寄存器保存到与其对应的镜像寄存器中，加载异常向量，执行异常服务子程序；
[0014]S13304：当异常返回时，将镜像寄存器的值恢复到与其对应的体系结构寄存器中，处理器完成一次异常响应，切换至正常的程序流程。
[0015]优选的，所述本地模型接收节点包括取指级、译码级、执行级、访存级和写回级，取指级、译码级、执行级、访存级和写回级依次连接，取指级、译码级、执行级、访存级和写回级内均设置有分布式异常处理模块的一个异常检测逻辑。
[0016]优选的，所述隐私安装协议包括获取模块、确定模块和替换模块，获取模块、确定模块和替换模块依次连接，获取模块和替换模块均与本地模型接收节点连接。
[0017]优选的，所述隐私安装协议进行隐私加密的方法包括以下步骤：
[0018]S13401：在获取模块内设置预训练模型，并根据任务设计损失函数，损失函数采用交叉熵和crf相结合；
[0019]S13402：获取模块进行模型训练，获得训练好的模型；
[0020]S13403：使用训练好的模型对文本进行隐私数据识别，确定模块确定用于的隐私数据；
[0021]S13404：替换模块采用设定符号将用户的隐私数据进行替换。
[0022]优选的，所述自适应机制包括模型识别模块、关键信息提取模块、智能匹配模块和反馈模块，模型识别模块、关键信息提取模块、智能匹配模块和反馈模块依次连接，智能匹配模块与ML/DL算法模块和聚合策略模块连接。
[0023]优选的，所述自适应机制的工作过程包括以下步骤：
[0024]S13501：模型识别模块识别本地模型接收节点接收的模型类别和数量；
[0025]S13502：关键信息提取模块从模型类别和数量中提取关信息，并将该关键信息输
送给智能匹配模块；
[0026]S13503：智能匹配模块根据该关键信息从ML/DL算法模块中选用合适的算法，再根据已选的算法确定聚合策略模块中相应的聚合策略。
[0027]与现有技术相比，本专利技术的有益效果是：
[0028]1、本专利技术提出的联合学习平台中的Fl
‑
engine系统，联合学习引擎模块基于一个联合学习框架，设置有联合学习引擎模块，并在联合学习引擎模块内纳入联合机器学习算法、联合深度学习算法、横向联合算法和纵向联合算法，通过自适应机制从聚合策本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.联合学习平台中的Fl
‑
engine系统，包括联合学习平台(1)、本地服务器(2)和物联接入端(3)，其特征在于：所述联合学习平台(1)内设置有智能生态圈模块(11)、联合学习计划模块(12)、联合学习引擎模块(13)、和平台支撑模块(14)，联合学习计划模块(12)和联合学习引擎模块(13)电性连接，联合学习引擎模块(13)和平台支撑模块(14)电性连接，所述本地服务器(2)内设置有物联网系统(21)、本地训练配置模块(22)、本地训练代理模块(23)和本地资源管理协同模块(24)，物联网系统(21)分别与本地训练配置模块(22)、本地训练代理模块(23)电性连接，本地训练配置模块(22)与联合学习计划模块(12)电性连接，本地训练代理模块(23)与联合学习引擎模块(13)电性连接，本地资源管理协同模块(24)与平台支撑模块(14)电性连接，所述物联接入端(3)包括机器设备(31)、边缘盒子(32)和摄像头(33)，机器设备(31)、边缘盒子(32)和摄像头(33)分别与物联网系统(21)连接。2.如权利要求1所述的一种联合学习平台中的Fl
‑
engine系统，其特征在于：所述联合学习引擎模块(13)内设置有ML/DL算法模块(131)、聚合策略模块(132)、分布式异常处理模块(133)、隐私安装协议(134)和自适应机制(135)，联合学习引擎模块(13)内还设置有本地模型接收节点(136)，本地模型接收节点(136)与分布式异常处理模块(133)、隐私安装协议(134)和自适应机制(135)通信连接，自适应机制(135)与ML/DL算法模块(131)和内聚合策略模块(132)对应连接。3.如权利要求2所述的一种联合学习平台中的Fl
‑
engine系统，其特征在于：所述ML/DL算法模块(131)内设置有联合机器学习算法(1311)、联合深度学习算法(1312)、横向联合算法(1313)和纵向联合算法(1314)，联合机器学习算法(1311)、联合深度学习算法(1312)、横向联合算法(1313)和纵向联合算法(1314)之间平行设置，且均与自适应机制(135)通信连接。4.如权利要求2所述的一种联合学习平台中的Fl
‑
engine系统，其特征在于：所述聚合策略模块(132)包括k
‑
means聚类策略(1321)、层次聚类策略(1322)、SOM聚类策略(1323)和FCM聚类策略(1324)，k
‑
means聚类策略(1321)、层次聚类策略(1322)、SOM聚类策略(1323)和FCM聚类策略(1324)平行设置，且均与自适应机制(135)通信连接。5.如权利要求2所述的一种联合学习平台中的Fl
‑
engine系统，其特征在于：所述分布式异常处理模块(133)处理异常包括以下步骤：S13301：分布式异常处理模块(133)采用分布式结构，在本地模型接收节点(136)内各流水级设置一个异常检测逻辑，检测当前时钟周期内地本地模型接收节点(136)内该流水级产生的异常类型，并向集中式异常仲...

【专利技术属性】
技术研发人员：张敏，高庆，
申请(专利权)人：新智数字科技有限公司，
类型：发明
国别省市：