一种协作学习过程中的节点贡献度衡量方法技术

本发明专利技术公开了一种协作学习过程中的节点贡献度衡量方法，本发明专利技术方法通过对比模型的相似度，筛选出具有高质量而且独特性的原始数据的节点，并采用核密度估计的方法来计算奖励，从而鼓励高质量节点主动参与训练过程，最终快速计算得到高精度的全局模型

【技术实现步骤摘要】
一种协作学习过程中的节点贡献度衡量方法


[0001]本专利技术涉及协作学习的
，具体涉及一种协作学习过程中的节点贡献度衡量方法
。

技术介绍

[0002]协作学习是一种允许多个参与方
(
例如设备或组织
)
共同训练模型，同时保留各自的数据隐私的分布式学习方法
。
由于其在数据隐私保护
、
资源利用优化以及数据安全等方面的优势，被广泛应用于医疗健康
、
金融服务
、
智能设备和物联网
、
零售和电子商务等各个领域
。
[0003]在以联邦学习为代表的协作学习过程中，参与计算的节点的激励问题是一个无法忽视的问题
。
鉴于模型训练过程会不可避免的消耗节点的资源，节点在没有足够激励的情况下不愿意主动参与训练
。
激励机制旨在激励节点，特别是那些拥有充足计算资源和高质量数据的节点主动参与训练过程，为最终的全局模型做出贡献，从而计算出准确的全局模型，并减少通信开销和收敛时间
。
[0004]高效的激励机制，可以充分利用节点的高质量数据信息，快速和准确的学习到全局模型，以用于后续的实际端应用场景
。
以智慧交通为例，实时的高精度交通信息，可以用于规划车流量分流，减少城市拥塞，从而提升市民出行便利性
。
有鉴于此，一些经典的激励机制，包括夏普利值
、
斯塔克尔伯格博弈
、
声誉理论和拍卖机制，被应用于增加节点主动参与的积极性
。
[0005]然而，大部分激励机制都没有充分解决网络高时延和节点贡献度的正确衡量问题
。
而且，这些方法通常在计算上很复杂，从而不可避免地导致延迟高的问题
。
针对协作学习过程中节点的激励问题，本专利技术设计了一种能有效衡量节点贡献度的轻量级方法，通过对节点的本地模型进行对比，同时考虑了节点本地数据的质量和独特性，有效地衡量了节点的贡献度，增加了节点主动参与全局模型计算的训练过程，保证了最终计算得到的全局模型的时效性和准确性
。

技术实现思路

[0006]针对声誉机制的缺点，本专利技术从以下方面来进行改进：
[0007]本地模型优化
。
每个参与训练过程的节点，按照其本地数据的特点，独立地计算出能有效描述其数据特征的聚类模型
。
[0008]模型相似度计算
。
直接对聚类模型进行对比，计算其相似度，可以减少计算消耗，加快节点收敛时间
。
[0009]节点贡献度计算
。
根据模型之间的相似度，采用核函数估计算法，考虑模型的准确度和独特性，计算节点的贡献度
。
[0010]本专利技术方法通过以下的技术方案实现：
[0011]一种协作学习过程中的节点贡献度衡量方法，包括：
[0012]S1
：优化本地模型；
[0013]S2
：计算不同模型之间的相似度；
[0014]S3
：计算节点的贡献度
。
[0015]优选的，所述
S1
中，参与训练的节点根据其本地数据的特点，采用聚类算法，计算出能描述其特征的聚类模型
。
[0016]优选的，所述计算步骤如下：
[0017]1)
参与训练的节点将原始数据集降维成对聚类算法输入友好的低维矩阵；
[0018]2)
将降维后的低维矩阵进行聚类处理；
[0019]3)
通过信息共享和更新，优化本地模型
。
[0020]优选的，所述
S2
中，通过
Earth Mover
’
s Distnace
来计算不同模型之间的相似度
。
[0021]更优的，所述计算不同模型之间的相似度具体包括以下步骤：
[0022]1)
节点将各代表特征点以及其对应的成员数量，拟合成一个直方图；
[0023]2)
同样地将接收到的其他节点的本地模型也拟合成一个直方图；
[0024]3)
优化对应的地面距离
,
并计算节点与该邻居节点的
Earth Mover
’
s Distnace。
[0025]优选的，所述
S3
中，通过核密度估计来计算节点的贡献度
。
[0026]更优的，带宽的选择对所述计算节点的贡献度有重要影响，通过一种基于交叉验证的带宽评估方法寻找出最优的带宽，具体包括在给定的搜索空间里面，以特定的步长搜索，并比较找到的簇之间的均方差，均方差最小的簇划分对应的带宽大小就是最优的带宽
。
[0027]更优的，所述计算节点的贡献度具体包括以下步骤：
[0028]1)
优化带宽，并根据密度曲线的最低点将各个节点的模型相似度划分成不同的簇；
[0029]2)
根据簇的数目，计算簇的贡献度；
[0030]3)
进一步根据簇内节点模型的数量，计算节点的贡献度
。
[0031]以联邦学习为代表的协作学习在数据隐私保护
、
资源利用优化以及数据安全等方面的优势，是以节点愿意参与训练过程为前提的
。
在以联邦学习为代表的协作学习过程中，参与计算的节点的激励问题是一个无法忽视的问题
。
鉴于模型训练过程会不可避免的消耗节点的资源，节点在没有足够激励的情况下不愿意主动参与训练
。
而当前大部分激励机制存在计算复杂度高
、
贡献度计算度不准确等问题，阻碍了分布式学习的进一步发展
。
[0032]本专利技术给出了一种能够有效衡量节点贡献度的计算方法，其原理是通过对比模型的相似度，筛选出具有高质量而且独特性的原始数据的节点，并采用核密度估计的方法来计算奖励，从而鼓励高质量节点主动参与训练过程，最终快速计算得到高精度的全局模型
。
此外，该方法计算复杂度低，可以快速的计算出参与计算的节点的贡献度，提高了该专利技术的实用性，具有广阔的应用前景和经济价值
。
附图说明
[0033]利用附图对本专利技术作进一步说明，但附图中的实施例不构成对本专利技术的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图
。
[0034]图1是本专利技术一种协作学习过程中的节点贡献度衡量方法的实现流程图；
[0035]图2是本专利技术聚类模型的计算过程图；
[0036]图3是本专利技术基于
EMD
的相似度计算流程图
。
具体实施方式
[0037]以下结合具体实施例对一种协作学习过程中的节点贡献度衡量方法作进一步的详细描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种协作学习过程中的节点贡献度衡量方法，其特征在于，包括：
S1
：优化本地模型；
S2
：计算不同模型之间的相似度；
S3
：计算节点的贡献度
。2.
根据权利要求1所述的一种协作学习过程中的节点贡献度衡量方法，其特征在于，所述
S1
中，参与训练的节点根据其本地数据的特点，采用聚类算法，计算出能描述其特征的聚类模型
。3.
根据权利要求2所述的一种协作学习过程中的节点贡献度衡量方法，其特征在于，所述计算步骤如下：
1)
参与训练的节点将原始数据集降维成对聚类算法输入友好的低维矩阵；
2)
将降维后的低维矩阵进行聚类处理；
3)
通过信息共享和更新，优化本地模型
。4.
根据权利要求1所述的一种协作学习过程中的节点贡献度衡量方法，其特征在于，所述
S2
中，通过
Earth Mover
’
s Distnace
来计算不同模型之间的相似度
。5.
根据权利要求4所述的一种协作学习过程中的节点贡献度衡量方法，其特征在于，所述计算不同模型之间的相似度具体包括以下步骤：
1)...

【专利技术属性】
技术研发人员：乔成，田志宏，刘园，陈鹏，李冕杰，
申请(专利权)人：广州大学，
类型：发明
国别省市：