【技术实现步骤摘要】
本专利技术属于大数据，涉及一种基于合作博弈论和集成蒸馏的联邦推荐方法、设备及存储介质。
技术介绍
1、推荐系统是一种信息过滤工具，旨在根据用户的兴趣、偏好和行为，为用户推荐个性化的内容或产品。它广泛应用于电子商务、社交媒体、视频和音乐平台等领域。推荐系统通过分析用户的历史行为、偏好和其他相关数据，预测用户可能感兴趣的项目，从而提升用户体验和平台收益。然而，传统推荐系统存在诸多问题，包括数据孤岛效应导致的推荐效果受限、数据隐私和安全问题带来的法律风险、冷启动和数据稀疏性问题导致的推荐准确性不足，这些问题共同影响了推荐系统的性能和用户体验。
2、联邦学习允许多个用户协作训练共享的全局模型，无需将本地客户端数据上传至中央服务器，而只需上传本地模型更新的参数。中央服务器协调多轮联邦学习过程，最终得到全局模型的更新。联邦学习减少了传统集中式机器学习方法带来的一些系统性隐私风险和成本，是解决上述问题的有效途径。
3、尽管联邦学习框架为多个参与节点协作训练共享的全局模型提供了一种有效途径，然而，参与客户端之间的数据往往呈非独立同分布，具有高度异构的本地数据集和计算资源。当客户端的本地数据分布是异构时，这种方法可能是次优的，数据的异构性可能会导致模型训练时出现偏差，最终导致模型训练需要更多轮次才能达到预期的收敛效果，甚至可能导致模型性能下降。在实际应用中，各电商平台的数据独立存在，互不共享，并且每个平台只能利用自己有限的数据进行推荐，难以捕捉用户跨平台的行为和偏好。这种数据孤岛效应限制了推荐系统获取更全面的用户行为数据，
技术实现思路
1、针对当前的推荐系统面对数据孤岛效应导致的推荐效果受限、数据隐私和安全问题带来的法律风险等问题，本专利技术提供了一种基于合作博弈论和集成蒸馏的联邦推荐方法、设备及存储介质，本专利技术能够有偏见的选择客户端参与训练，在此基础上采用集成蒸馏策略，实现推荐模型的性能提升，从而更好地实现推荐行为。
2、本专利技术的第一方面，提供了一种基于合作博弈论和集成蒸馏的联邦推荐方法，包括以下步骤：
3、步骤一：选择若干个客户端放入一个子集中得到参与客户端子集；
4、步骤二：服务器端给参与客户端子集里的所有客户端发送当前的全局模型；参与客户端收到全局模型后，将它作为本地模型并在本地数据集上进行更新并将更新结果上传给服务器；
5、步骤三：服务器展开合作博弈的游戏；将每个参与客户端上传的更新作为该游戏中的玩家；在验证集上，计算每个客户端的边际贡献；
6、步骤四：根据边际贡献值更新重要性向量，同时计算重要性得分；
7、步骤五：所有被选择的参与客户端的模型作为教师模型，全局模型作为学生模型；
8、步骤六：服务器将客户端教师模型集合集成蒸馏到一个服务端学生模型。
9、本专利技术的第二方面，提供了一种存储介质，所述存储介质存储指令及数据用于实现所述的基于合作博弈论和集成蒸馏的联邦推荐方法。
10、本专利技术的第三方面，提供了一种基于合作博弈论和集成蒸馏的联邦推荐设备，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现所述的基于合作博弈论和集成蒸馏的联邦推荐方法。
11、本专利技术的有益效果：
12、本专利技术基于合作博弈论中的shapley value概念，提出了一种将客户端的更新作为博弈论中的玩家，根据每个玩家的边际贡献来选出在当前轮次能对全局模型影响较好的客户端集合，进而有偏见的选择参与客户端的机制。
13、同时，在选择优质的客户端后，通过加权集成这些优质客户端，蒸馏到全局模型上，从而加快了模型的收敛速度并且降低了由于各客户端的训练数据的非独立同分布对模型训练的影响。
14、最后本专利技术检测并纠正损坏的客户端数据样本，从而使恢复的客户端也有机会做出贡献。
15、本专利技术还充分考虑参与客户端的数据异构性和选择公平性，能够有效应对数据异构性带来的模型性能下降的问题，同时实现更快收敛、更低开销的联邦学习。
本文档来自技高网...【技术保护点】
1.一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，步骤1中选择的过程为：从包含所有客户端的集合中采用循环采样方式进行选择，确保每个客户端能至少参与一轮训练。
3.根据权利要求2所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，还包括贪心地选择边际贡献靠前的客户端。
4.根据权利要求1或3所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，所述的边际贡献计算如下：
5.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，在步骤6中教师模型在服务器上的小批量未标记数据上进行评估，并且它们的logits输出用于训练学生模型。
6.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，还包括步骤七：对于一些在多轮未被选中的客户端，这些客户端主动发出信号给服务器端，请求服务器帮助客户端纠正存在数据标签错误的情况。
7.根据权利要求6所述的一种基于合
8.根据权利要求7所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，假设共有q个标签，客户端的数据集按照标签分为q个分区，L为一个分区中大多数数据点预测的标签，nL为本地模型预测为标签L的数量，则计算nL占该分区数据点总数的百分比；如果该值大于性能字典Pdict中该类的精度，则将该分区数据标签都换成L。
9.一种存储介质，其特征在于：所述存储介质存储指令及数据用于实现权利要求1～8任一项所述的基于合作博弈论和集成蒸馏的联邦推荐方法。
10.一种基于合作博弈论和集成蒸馏的联邦推荐设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～8任一项所述的基于合作博弈论和集成蒸馏的联邦推荐方法。
...【技术特征摘要】
1.一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，步骤1中选择的过程为：从包含所有客户端的集合中采用循环采样方式进行选择，确保每个客户端能至少参与一轮训练。
3.根据权利要求2所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，还包括贪心地选择边际贡献靠前的客户端。
4.根据权利要求1或3所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，所述的边际贡献计算如下：
5.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，在步骤6中教师模型在服务器上的小批量未标记数据上进行评估，并且它们的logits输出用于训练学生模型。
6.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，还包括步骤七：对于一些在多轮未被选中的客户端，这些客户...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。