【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、本公开的各方面涉及机器学习。
2、联邦学习通常是指允许训练要跨多个客户端设备分布的机器学习模型的各种技术，这有益地允许使用各种各样的数据来训练机器学习模型。例如，使用联邦学习来训练机器学习模型以用于面部识别可允许这些机器学习模型从广泛范围的数据集进行训练，该数据集包括不同的面部特征集合、感兴趣的前景数据(例如，人的面部)与背景数据之间的不同量的对比度等。
3、在一些示例中，联邦学习可用于学习跨多个客户端设备的嵌入。然而，共享模型的嵌入可能不是适当的，因为模型的嵌入可包含客户端特定信息。例如，嵌入可以暴露数据，根据该数据可以重建在训练过程中使用的敏感数据。因此，对于针对安全敏感应用或隐私敏感应用(诸如生物识别认证或医疗应用)训练的机器学习模型，共享模型的嵌入可以暴露可用于破坏生物识别认证应用或导致其他敏感数据的隐私损失的数据。
4、因此，需要用于使用联邦学习技术来训练机器学习模型的改进的技术。
技术实现思路
1、某些方面提供了一种用于训练机器学习模型的方法。该方法总体上包括在设备处接收优化参数、机器学习模型的参数和要基于本地数据集更新的优化状态值。基于该本地数据集来更新该机器学习模型的参数和该优化参数的该优化状态值。基于图形数据对象来选择对等设备以细化该机器学习模型，该图形数据对象包括该设备与包括该对等设备的多个对等设备之间的连接。向所选择的对等设备传送更新的参数和更新的优化状态值以供所选择的对等设备进行细化。
2、其他
3、以下描述和相关附图详细阐述了一个或多个方面的某些例示性特征。
本文档来自技高网...【技术保护点】
1.一种计算机实现的方法，所述方法包括：
2.根据权利要求1所述的方法，其中所述优化状态值包括一个或多个状态变量，所述一个或多个状态变量控制所选择的对等设备调整所述机器学习模型的所更新的参数的量。
3.根据权利要求2所述的方法，其中所述一个或多个状态变量包括与所述机器学习模型中的每个参数相关联的梯度的指数移动平均值和与所述机器学习模型中的每个参数相关联的所述梯度的平方的指数移动平均值。
4.根据权利要求2所述的方法，其中所述一个或多个状态变量包括所述状态变量中的至少一个状态变量的量化值。
5.根据权利要求1所述的方法，其中选择所述对等设备包括：基于对所述图形数据对象中与所述设备具有连接的设备的随机选择，从所述多个对等设备中选择设备。
6.根据权利要求1所述的方法，所述方法还包括：由所述设备基于验证数据集来验证使用所更新的参数的所述机器学习模型的性能，其中选择所述对等设备基于验证使用所更新的参数的所述机器学习模型的所述性能满足阈值性能度量。
7.根据权利要求1所述的方法，所述方法还包括：
8.根据权
9.根据权利要求8所述的方法，其中所述第二参数包括用于训练所述机器学习模型的一个或多个超参数。
10.根据权利要求1所述的方法，所述方法还包括：
11.根据权利要求1所述的方法，其中包括所述设备与所述多个对等设备之间的连接的所述图形数据对象包括所述设备与所述多个对等设备之间的网络连接。
12.根据权利要求1所述的方法，其中包括所述设备与所述多个对等设备之间的连接的所述图形数据对象包括所述设备的用户与关联于所述多个对等设备的用户之间的社交连接。
13.一种系统，所述系统包括：
14.根据权利要求13所述的系统，其中所述优化状态值包括一个或多个状态变量，所述一个或多个状态变量控制所选择的对等设备调整所述机器学习模型的所更新的参数的量。
15.根据权利要求14所述的系统，其中所述一个或多个状态变量包括与所述机器学习模型中的每个参数相关联的梯度的指数移动平均值和与所述机器学习模型中的每个参数相关联的所述梯度的平方的指数移动平均值。
16.根据权利要求14所述的系统，其中所述一个或多个状态变量包括所述状态变量中的至少一个状态变量的量化值。
17.根据权利要求13所述的系统，其中为了选择所述对等设备，所述处理器被配置为使所述系统基于对所述图形数据对象中与所述系统具有连接的设备的随机选择，从所述多个对等设备中选择对等设备。
18.根据权利要求13所述的系统，其中所述处理器被进一步配置为使所述系统基于验证数据集来验证使用所更新的参数的所述机器学习模型的性能，其中选择所述对等设备基于验证使用所更新的参数的所述机器学习模型的所述性能满足阈值性能度量。
19.根据权利要求13所述的系统，其中所述处理器被进一步配置为使所述系统：
20.根据权利要求19所述的系统，其中所述处理器被进一步配置为使所述系统：
21.根据权利要求20所述的系统，其中所述第二参数包括用于训练所述机器学习模型的一个或多个超参数。
22.根据权利要求13所述的系统，其中所述处理器被进一步配置为使所述系统：
23.根据权利要求13所述的系统，其中包括所述系统与所述多个对等设备之间的连接的所述图形数据对象包括所述系统与所述多个对等设备之间的网络连接。
24.根据权利要求13所述的系统，其中包括所述系统与所述多个对等设备之间的连接的所述图形数据对象包括所述系统的用户与关联于所述多个对等设备的用户之间的社交连接。
25.一种系统，所述系统包括：
26.一种其上存储有可执行指令的计算机可读介质，所述可执行指令在由处理器执行时执行包括以下各项的操作：
...【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法，所述方法包括：
2.根据权利要求1所述的方法，其中所述优化状态值包括一个或多个状态变量，所述一个或多个状态变量控制所选择的对等设备调整所述机器学习模型的所更新的参数的量。
3.根据权利要求2所述的方法，其中所述一个或多个状态变量包括与所述机器学习模型中的每个参数相关联的梯度的指数移动平均值和与所述机器学习模型中的每个参数相关联的所述梯度的平方的指数移动平均值。
4.根据权利要求2所述的方法，其中所述一个或多个状态变量包括所述状态变量中的至少一个状态变量的量化值。
5.根据权利要求1所述的方法，其中选择所述对等设备包括：基于对所述图形数据对象中与所述设备具有连接的设备的随机选择，从所述多个对等设备中选择设备。
6.根据权利要求1所述的方法，所述方法还包括：由所述设备基于验证数据集来验证使用所更新的参数的所述机器学习模型的性能，其中选择所述对等设备基于验证使用所更新的参数的所述机器学习模型的所述性能满足阈值性能度量。
7.根据权利要求1所述的方法，所述方法还包括：
8.根据权利要求7所述的方法，所述方法还包括：
9.根据权利要求8所述的方法，其中所述第二参数包括用于训练所述机器学习模型的一个或多个超参数。
10.根据权利要求1所述的方法，所述方法还包括：
11.根据权利要求1所述的方法，其中包括所述设备与所述多个对等设备之间的连接的所述图形数据对象包括所述设备与所述多个对等设备之间的网络连接。
12.根据权利要求1所述的方法，其中包括所述设备与所述多个对等设备之间的连接的所述图形数据对象包括所述设备的用户与关联于所述多个对等设备的用户之间的社交连接。
13.一种系统，所述系统包括：
14.根据权利要求13所述的系统，其中所述优化状态值包括一个或多个状态变量，所述一个或多个状态变量控制...
【专利技术属性】
技术研发人员：C·路易索斯，A·特莱斯辛，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。