【技术实现步骤摘要】
本专利技术涉及联邦宽度学习领域，具体地，涉及一种针对数据异构性的联邦宽度学习优化方法。
技术介绍
1、传统的机器学习算法需要用户将源数据上传到高算力的云服务器上集中训练，这种方式导致了数据流向的不可控和敏感数据泄露问题。由此，谷歌公司在2016年提出联邦学习技术来应对这种隐私问题。联邦学习的一般目的是以保护隐私的方式实现去中心化机器学习。具体来说，传统的联邦是一种具有中央服务器的架构，它协调多个客户端以使用其本地数据训练共享模型并实现全局学习目标。在训练过程中，数据在本地保存在客户端，只共享模型参数。目前联邦学习技术已经应用于医疗保健、金融、智能手机等领域，为个人隐私提供了更好的保护。
2、宽度学习系统作为一种新型的神经网络，从刚开始被提出就引起了人们的关注。它在图像处理、人脸识别等方面表现出了良好的性能。宽度学习相较于深度学习有几个显著的优势。首先，它避免了复杂的网络结构和大量的超参数调整，从而大大减少了训练时间。其次，宽度学习方法更易于实现和部署，同时支持增量学习，使得在面对新数据时可以更灵活地进行模型更新。训练广泛的学习模型需要全面的数据，但是训练模型的数据通常由不同的公司持有，这些公司不愿意共享数据。为了解决这个问题，联邦宽度学习应运而生。与现有的宽度学习系统相比，它可以整合多方数据以获得综合信息，并在孤立数据孤岛的情况下实现宽度学习系统的训练。然而，联邦宽度学习仍然存在数据异构问题。
3、为了解决数据异构问题，我们考虑将具有相似数据分布的客户端聚在一起，将一个non-iid(非独立同分布)问题转
4、具体地，我们使用主成分分析法(pca)对客户端的参数更新矩阵进行降维处理，将所有客户端的参数矩阵转换到相同的维度。在完成降维处理后，计算各客户端的参数矩阵之间的余弦相似度，以评估它们之间的相似性。然后，采用ap(affinity propagation)算法完成对客户端的聚类，从而将一个non-iid问题转化为多个近似iid问题。
5、乐俊青等人在2021年提出了一种基于宽度学习的联邦持续学习框架(fcl-bl)，他们提出了一种加权处理策略来解决灾难性遗忘问题，因此fcl-bl框架可以处理持续学习。此外他们还引入了一种批量异步方法和宽度学习(bl)技术来保证fcl-bl的高效率，具体来说他们提出的异步方法减少了客户端和服务器之间的交互轮数，宽度学习技术支持增量学习，而无需在学习时生成新数据重新训练。
6、而申请号为202211270637.3的中国专利技术申请公开了《一种安全的纵向联邦宽度学习方法》，其技术方案将矩阵加密技术引入纵向联邦宽度学习系统，提出一种安全的纵向联邦宽度学习方法，旨在保护数据隐私的条件下协同计算存储能力有限特征数据持有者构建性能更佳的宽度学习系统。然而该技术方案并没有解决联邦宽度学习存在的数据异构问题。
技术实现思路
1、为解决现有技术联邦宽度学习存在因客户端之间的参数更新矩阵维度不一致和数据异构性，影响模型的全局性能和训练效率的技术问题，本专利技术提供了一种针对数据异构性的联邦宽度学习优化方法，本专利技术采用的技术方案是：
2、本专利技术第一方面提供了一种针对数据异构性的联邦宽度学习优化方法，所述方法包括：
3、获取每个客户端的参数更新矩阵；
4、对每个客户端的参数更新矩阵进行降维处理；
5、在完成降维处理后，计算各客户端的参数矩阵之间的余弦相似度；
6、根据各客户端的参数矩阵之间的余弦相似度确定聚类的簇数量，并对客户端进行聚类，得到若干组客户端集合；
7、为每组客户端集合训练对应的组内本地宽度模型，得到对应的组内本地宽度模型参数矩阵；
8、通过各组对应的组内本地宽度模型参数矩阵实现对全局宽度模型参数的更新。
9、作为一种优选方案，获取每个客户端的参数更新矩阵的方法包括：
10、每个客户端接收到初始化的全局宽度模型后，通过本地训练对模型进行更新，得到本地模型，并定义得到客户端ci(i∈l)的参数更新矩阵oi：
11、
12、其中，矩阵oi∈ys*f,矩阵oi每一行表示一个参数向量，每一列代表一个参数。
13、作为一种优选方案，对每个客户端的参数更新矩阵进行降维处理的方法包括：
14、通过主成分分析对每个客户端的参数更新矩阵进行降维处理。
15、作为一种优选方案，通过主成分分析对每个客户端的参数更新矩阵进行降维处理的方法包括：
16、对矩阵ol(l＝0,1,2,...,l,o0＝ξ)中的每个参数,即每一列进行标准化处理，使其均值为0，方差为1：
17、
18、其中,μq和σq分别为ol第q列的均值和标准差，ql是标准化后的参数更新矩阵,为该矩阵的第q列；
19、计算ql的协方差矩阵，并根据该协方差矩阵所对应的特征值数量确定要保留的主成分数量k，ql的协方差矩阵为：
20、
21、对协方差矩阵进行特征值分解便可以得到特征值和对应的特征向量；
22、以具有最少主成分数量kmin的矩阵为基准，所有矩阵将对应的特征值按从大到小的顺序排序，选择前kmin个特征值对应的特征向量构造投影矩阵p＝[v1,v2,...,vkmin]，将ql投影到低维空间以实现降维：
23、q′l＝qlp。
24、作为一种优选方案，在完成降维处理后，计算各客户端的参数矩阵之间的余弦相似度的方法包括：
25、当所有矩阵处于同一维度后，计算每个参数更新矩阵ql(l＝1,2,...,l)与全局宽度模型的参数矩阵q0的余弦相似度sl：
26、
27、作为一种优选方案，根据各客户端的参数矩阵之间的余弦相似度确定聚类的簇数量，并对客户端进行聚类，得到若干组客户端集合的方法包括：
28、通过预设的聚类算法根据各客户端的参数矩阵之间的余弦相似度确定聚类的簇数量，将具有相似数据分布的客户端聚在同一个集合中，从而得到若干组客户端集合。
29、作为一种优选方案，所述预设的聚类算法的步骤包括：
30、a1：根据余弦相似度值构建相似度矩阵其中s(a,b)表示sa和sb(a∈n,b∈n)之间的欧式距离；
31、a2：将预设的责任矩阵和预设的可用性矩阵分别初始化为零矩阵；在所述责任矩阵中，r(a,b)代表从sa到sb的信息，表示sb作为sa的聚类中心的合适程度；在所述可用性矩阵中，v(a,b)代表从sb到sa的信息,表示sb作为sa的聚类中心后，sb的合适程度；
32、a3：每个预设的数据对象根据接收到的消息更新其可用性矩阵和责任矩阵，并将其可用性矩阵和责任矩阵发送给其他数据对象；
33、a4：重复步骤a3直到可用性矩阵和责任矩阵的值不再发生变化，即实现收敛；
34、a5：当实现收本文档来自技高网...
【技术保护点】
1.一种针对数据异构性的联邦宽度学习优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，获取每个客户端的参数更新矩阵的方法包括：
3.根据权利要求2所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，对每个客户端的参数更新矩阵进行降维处理的方法包括：
4.根据权利要求3所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，通过主成分分析对每个客户端的参数更新矩阵进行降维处理的方法包括：
5.根据权利要求4所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，在完成降维处理后，计算各客户端的参数矩阵之间的余弦相似度的方法包括：
6.根据权利要求5所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，根据各客户端的参数矩阵之间的余弦相似度确定聚类的簇数量，并对客户端进行聚类，得到若干组客户端集合的方法包括：
7.根据权利要求6所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，所述预设的聚类算法的步骤包括：
<...【技术特征摘要】
1.一种针对数据异构性的联邦宽度学习优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，获取每个客户端的参数更新矩阵的方法包括：
3.根据权利要求2所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，对每个客户端的参数更新矩阵进行降维处理的方法包括：
4.根据权利要求3所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，通过主成分分析对每个客户端的参数更新矩阵进行降维处理的方法包括：
5.根据权利要求4所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，在完成降维处理后，计算各客户端的参数矩阵之间的余弦相似度的方法包括：
6.根据权利要求5所述的一种针对数据异构性的联邦宽度学习优化方法，其特征在于，根据各客户端的参数矩阵之间的余弦相似度...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。