面向众包的微服务化联邦学习方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了面向众包的微服务化联邦学习方法、系统、装置及介质，方法包括：获取第一客户机的第一任务定制请求，根据第一任务定制请求在中心服务器的容器镜像库进行匹配查询；当匹配到相应的第一容器镜像，将第一容器镜像下发至第一客户机，反之，则根据任务定制请求进行容器设计得到第一容器镜像，将第一容器镜像加入容器镜像库并下发至第一客户机；根据第一任务定制请求确定多个具有相同建模任务的第二客户机，通过中心服务器向第一客户机和各第二客户机发送联邦建模任务；通过第一客户机、各第二客户机和中心服务器执行联邦建模任务。本发明专利技术可提供定制化的联邦学习服务，提高了联邦学习的训练效率和训练效果，可广泛应用于联邦学习技术领域。于联邦学习技术领域。于联邦学习技术领域。

【技术实现步骤摘要】
面向众包的微服务化联邦学习方法、系统、装置及介质


[0001]本专利技术涉及联邦学习
，尤其是一种面向众包的微服务化联邦学习方法、系统、装置及介质。

技术介绍

[0002]随着大数据时代的到来，计算机算力与网络通行带宽得到了巨幅的提升，以机器学习为基础的人工智能在医疗保健、食品农业、智能交通等生活方面出现了大量的有关应用。然而，机器学习也面临着新的困难和挑战。传统的机器学习方法需要大量的高质量数据来保证模型的准确性，因此需要较大的模型训练成本，而边缘设备往往在计算算力、网络带宽等方面资源受限，这对传统机器学习方法于边缘设备的部署与应用提出了严苛的条件；数据隐私和信息安全的保护正逐渐成为世界性趋势，传统深度学习框架中直接收集、利用他人数据的行为已不被允许，加大了相关研究的难度；大数据时代下，“数据即资产”的概念越来越被企业们所接受，企业越来越注重企业内部的本地数据、越来越少与其他企业产生数据交流，“数据壁垒”、“数据孤岛”现象愈发严重，传统机器学习方法所需的数据质量愈发难于保证，传统机器学习方法受到了极大限制。
[0003]为解决这些问题，联邦学习(Federated Learning，FL)应运而生。联邦学习能够使不同数据源(设备端)在不共享数据的情况下，进行机器学习模型的联合训练，已成为人工智能领域的一个热门研究方向。但是，传统联邦学习方法面临着设备、数据、模型上的异构性挑战，无法应对不同客户端的个性化特点与需求，影响了联邦学习的训练效率和训练效果。

技术实现思路

[0004]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0005]为此，本专利技术实施例的一个目的在于提供一种面向众包的微服务化联邦学习方法，该方法可以提供定制化的联邦学习服务，提高了联邦学习的训练效率和训练效果。
[0006]本专利技术实施例的另一个目的在于提供一种面向众包的微服务化联邦学习系统。
[0007]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0008]一方面，本专利技术实施例提供了一种面向众包的微服务化联邦学习方法，包括以下步骤：
[0009]获取第一客户机的第一任务定制请求，根据所述第一任务定制请求在中心服务器的容器镜像库进行匹配查询；
[0010]当匹配到相应的第一容器镜像，将所述第一容器镜像下发至所述第一客户机，反之，则根据所述任务定制请求进行容器设计得到所述第一容器镜像，将所述第一容器镜像加入所述容器镜像库并下发至所述第一客户机；
[0011]根据所述第一任务定制请求确定多个具有相同建模任务的第二客户机，并通过所述中心服务器向所述第一客户机和各所述第二客户机发送联邦建模任务；
[0012]通过所述第一客户机和各所述第二客户机分别进行本地局部计算得到本地模型，并将各所述本地模型上传至所述中心服务器；
[0013]通过所述中心服务器对各所述本地模型进行参数聚合，并对全局模型进行更新，进而将更新后的所述全局模型下发至所述第一客户机和各所述第二客户机。
[0014]进一步地，在本专利技术的一个实施例中，所述获取第一客户机的第一任务定制请求这一步骤，其具体包括：
[0015]通过所述第一客户机将所述第一任务定制请求封装为第一yaml配置文件；
[0016]将所述第一yaml配置文件发送至Restful风格的API接口，并通过所述API接口将所述第一yaml配置文件转发至所述中心服务器；
[0017]其中，所述第一任务定制请求包括所述第一客户机请求的第一容器镜像配置和第一建模任务信息。
[0018]进一步地，在本专利技术的一个实施例中，所述根据所述第一任务定制请求在中心服务器的容器镜像库进行匹配查询这一步骤，其具体包括：
[0019]根据所述第一yaml配置文件确定所述第一容器镜像配置；
[0020]获取所述容器镜像库中各第二容器镜像对应的第二容器镜像配置；
[0021]将所述第一容器镜像配置与各所述第二容器镜像配置进行比对；
[0022]当存在至少一个所述第二容器镜像配置与所述第一容器镜像配置相同，获取对应的所述第二容器镜像作为匹配得到的所述第一容器镜像。
[0023]进一步地，在本专利技术的一个实施例中，所述微服务化联邦学习方法还包括以下步骤：
[0024]根据所述第一任务定制请求在所述中心服务器的模型数据库中进行匹配查询；
[0025]当匹配到相应的第一预训练模型，将所述第一预训练模型下发至所述第一客户机，反之，则根据所述任务定制请求进行模型设计得到所述第一预训练模型，将所述第一预训练模型加入所述模型数据库并下发至所述第一客户机。
[0026]进一步地，在本专利技术的一个实施例中，所述根据所述第一任务定制请求在所述中心服务器的模型数据库中进行匹配查询这一步骤，其具体包括：
[0027]根据所述第一yaml配置文件确定所述第一建模任务信息；
[0028]获取所述模型数据库中各第二预训练模型对应的第二建模任务信息；
[0029]将所述第一建模任务信息与各所述第二建模任务信息进行比对；
[0030]当存在至少一个所述第二建模任务信息与所述第一建模任务信息相同，获取对应的所述第二预训练模型作为匹配得到的所述第一预训练模型。
[0031]进一步地，在本专利技术的一个实施例中，所述根据所述第一任务定制请求确定多个具有相同建模任务的第二客户机，并通过所述中心服务器向所述第一客户机和各所述第二客户机发送联邦建模任务这一步骤，其具体包括：
[0032]根据所述第一yaml配置文件确定所述第一建模任务信息；
[0033]根据所述第一建模任务信息确定多个具有相同建模任务的所述第二客户机；
[0034]获取各所述第二客户机的第二容器镜像配置，根据所述第一建模任务信息、所述第一容器镜像配置以及各所述第二容器镜像配置确定联邦建模任务；
[0035]将所述联邦建模任务下发至所述第一客户机和各所述第二客户机。
[0036]进一步地，在本专利技术的一个实施例中，所述微服务化联邦学习方法还包括以下步骤：
[0037]通过所述第一客户机和各所述第二客户机接收所述联邦建模任务，并返回确认信息至所述中心服务器。
[0038]另一方面，本专利技术实施例提供了一种面向众包的微服务化联邦学习系统，包括：
[0039]匹配查询模块，用于获取第一客户机的第一任务定制请求，根据所述第一任务定制请求在中心服务器的容器镜像库进行匹配查询；
[0040]第一容器镜像下发模块，用于当匹配到相应的第一容器镜像，将所述第一容器镜像下发至所述第一客户机，反之，则根据所述任务定制请求进行容器设计得到所述第一容器镜像，将所述第一容器镜像加入所述容器镜像库并下发至所述第一客户机；
[0041]联邦建模请求模块，用于根据所述第一任务定制请求确定多个具有相同建模任务的第二客户机，并通过所述中心服务器向所述第一客户机和各所述第二客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向众包的微服务化联邦学习方法，其特征在于，包括以下步骤：获取第一客户机的第一任务定制请求，根据所述第一任务定制请求在中心服务器的容器镜像库进行匹配查询；当匹配到相应的第一容器镜像，将所述第一容器镜像下发至所述第一客户机，反之，则根据所述任务定制请求进行容器设计得到所述第一容器镜像，将所述第一容器镜像加入所述容器镜像库并下发至所述第一客户机；根据所述第一任务定制请求确定多个具有相同建模任务的第二客户机，并通过所述中心服务器向所述第一客户机和各所述第二客户机发送联邦建模任务；通过所述第一客户机和各所述第二客户机分别进行本地局部计算得到本地模型，并将各所述本地模型上传至所述中心服务器；通过所述中心服务器对各所述本地模型进行参数聚合，并对全局模型进行更新，进而将更新后的所述全局模型下发至所述第一客户机和各所述第二客户机。2.根据权利要求1所述的一种面向众包的微服务化联邦学习方法，其特征在于，所述获取第一客户机的第一任务定制请求这一步骤，其具体包括：通过所述第一客户机将所述第一任务定制请求封装为第一yaml配置文件；将所述第一yaml配置文件发送至Restful风格的API接口，并通过所述API接口将所述第一yaml配置文件转发至所述中心服务器；其中，所述第一任务定制请求包括所述第一客户机请求的第一容器镜像配置和第一建模任务信息。3.根据权利要求2所述的一种面向众包的微服务化联邦学习方法，其特征在于，所述根据所述第一任务定制请求在中心服务器的容器镜像库进行匹配查询这一步骤，其具体包括：根据所述第一yaml配置文件确定所述第一容器镜像配置；获取所述容器镜像库中各第二容器镜像对应的第二容器镜像配置；将所述第一容器镜像配置与各所述第二容器镜像配置进行比对；当存在至少一个所述第二容器镜像配置与所述第一容器镜像配置相同，获取对应的所述第二容器镜像作为匹配得到的所述第一容器镜像。4.根据权利要求2所述的一种面向众包的微服务化联邦学习方法，其特征在于，所述微服务化联邦学习方法还包括以下步骤：根据所述第一任务定制请求在所述中心服务器的模型数据库中进行匹配查询；当匹配到相应的第一预训练模型，将所述第一预训练模型下发至所述第一客户机，反之，则根据所述任务定制请求进行模型设计得到所述第一预训练模型，将所述第一预训练模型加入所述模型数据库并下发至所述第一客户机。5.根据权利要求4所述的一种面向众包的微服务化联邦学习方法，其特征在于，所述根据所述第一任务定制请求在所述中心服务器的模型数据库中进行匹配查询这一步骤，其具体包括：根据所述第一yaml配置文件确定所述第一建模任务信息；获取所述模型数据库中各第二预训练模型对应的第...

【专利技术属性】
技术研发人员：林俊龙，由林麟，吴承瀚，郭子晗，李浩源，侯英威，
申请(专利权)人：中山大学，
类型：发明
国别省市：