一种安全且高效的联邦学习内容缓存方法技术

本发明专利技术提供一种安全且高效的联邦学习内容缓存方法，首先，每个用户从边缘服务器下载鉴别器共享模型和生成器共享模型，在本地训练WGAN鉴别器本地模型和WGAN生成器本地模型；另外，用户在本地进行梯度裁剪与模型修正，实现梯度级隐私保护并降低通信成本；其次，每个用户将修正后的模型更新发送至边缘服务器，由边缘服务器聚合生成新的共享模型并发送给每个用户，以供下次训练；再次，重复前两个内容中的训练方法直到模型训练完毕；最后，每个用户把本地生成器生成的伪数据发送到边缘服务器，由服务器预测内容的流行趋势，做出缓存决策。本发明专利技术能够有效保护用户的隐私，防止用户私有数据泄露；能准确预测内容的流行趋势，实现高缓存命中率、高效通信。

【技术实现步骤摘要】
一种安全且高效的联邦学习内容缓存方法
本专利技术属于无线通信
，涉及一种安全且高效的联邦学习内容缓存方法。
技术介绍
当前，随着互联网和移动技术的高速发展，移动数据流量急剧增长，这给本已拥挤的移动网络带来了巨大的压力。一方面，巨大的数据流量导致回程流量负载高、延迟长，而另一方面，用户希望快速高效地获取高质量的内容。因此，在移动网络边缘部署缓存设备十分必要。缓存设备避免了重复的数据传输，使数据更加接近用户侧，从而可以减少用户与因特网之间的回程流量负载、减轻骨干网络的负载、减少移动用户的服务延迟，是一种很有前途的方法。然而，缓存设备的缓存能力是有限的，如何高效的利用设备的缓存能力成为了当前研究的热门领域，即设计高效的缓存决策方案。从总体上看，缓存方案分为两种，一是反应式缓存，二是主动缓存。反应式缓存基于用户过去的访问请求决定缓存什么内容，例如先进先出(FirstInputFirstOutput,FIFO)，最近最少使用(LeastRecentlyUsed,LRU)，最不常用(LeastFrequentlyUsed,LFU)。由于它们只是针对历史的访问请求做出反应，所以具有滞后性。虽然能很快地对流行内容的变化做出反应，但是没有考虑内容的流行趋势，导致缓存命中率较低。与此相反，主动缓存首先利用历史请求和上下文信息来预测内容的流行趋势，然后主动挑选将来可能流行的内容并缓存下来，这对缓存命中率的提高十分有帮助。目前，机器学习算法被广泛的应用于预测内容的流行趋势，融入到主动内容缓存之中。在一般的机器学习算法中，数据运算是在中央处理器中完成的。换句话说，用户数据是高度受控的，即需要将全部数据收集到中央处理器统一训练。例如，使用强化学习的方法(参见文献：N.Zhang,K.ZhengandM.Tao,"UsingGroupedLinearPredictionandAcceleratedReinforcementLearningforOnlineContentCaching,"in2018IEEEInternationalConferenceonCommunicationsWorkshops(ICCWorkshops),pp.1-6,2018)，协同过滤的方法(参见文献：E.Bastug,M.Bennis,andM.Debbah,“Livingontheedge:Theroleofproactivecachingin5Gwirelessnetworks,”IEEECommunicationsMagazine,vol.52,no.8,pp.82–89,2014.)，线性回归的方法(参见文献：K.N.Doan,T.VanNguyen,T.Q.S.QuekandH.Shin,"Content-AwareProactiveCachingforBackhaulOffloadinginCellularNetwork,"inIEEETransactionsonWirelessCommunications,vol.17,no.5,pp.3128-3140,May2018.)等来预测内容的流行趋势。然而，上述集中式机器学习方法需要收集用户的信息和行为数据来训练模型，而事实上用户并不愿意提供这些数据，因为它们通常会涉及用户的隐私和敏感信息。由此可见，这种需要上传数据的集中式机器学习方法因涉及隐私和安全问题而在实际中难以推行，因此需要探索既能够有效保护用户隐私又能够对内容的流行趋势进行有效预测的机器学习训练方法。联邦学习是一种分布式框架，可以有效地保护参与者(即用户)私有数据的安全性。在联邦学习的训练过程中，边缘服务器负责维护共享的全局模型，每个参与者根据共享模型进行本地训练、生成本地模型。边缘服务器与参与者之间不进行私有数据的交换，而是交换共享全局模型与本地模型参数的更新。具体地，边缘服务器接收每一个参与者本地模型的更新，聚合为新的共享模型以供下次训练。参与者接收新的共享模型，利用本地数据进行模型训练，从而生成新的本地模型并把更新发送至边缘服务器。以此循环往复，完成训练过程。然而，现存的基于联邦学习的主动内容缓存方法，虽然保证了参与者私有数据的安全性，但仍然会泄露参与者的部分隐私。例如，将联邦学习应用在雾无线接入网中(参见文献：Y.Wu,Y.Jiang,M.Bennis,F.Zheng,X.GaoandX.You,"ContentPopularityPredictioninFogRadioAccessNetworks:AFederatedLearningBasedApproach,"ICC2020-2020IEEEInternationalConferenceonCommunications(ICC),2020,pp.1-6.)，该方法虽然结合了联邦学习的思想，但是需要用户将个人对内容的偏好发送到雾接入点中，这暴露了用户的隐私；将自动编码器和混合过滤结合在联邦学习中(参见文献：Z.Yu,J.Hu,G.Min,H.Lu,Z.Zhao,H.Wang,andN.Georgalas,“Federatedlearningbasedproactivecontentcachinginedgecomputing,”in2018IEEEGlobalCommunicationsConference(GLOBECOM),2018,pp.1–6.)，该方法虽然保证了用户的私有数据在本地训练，但仍需每个用户上传一个内容推荐列表，这暴露了单个用户对内容的偏好；使用神经网络来预测加权流行度(参见文献：K.QiandC.Yang,"PopularityPredictionwithFederatedLearningforProactiveCachingatWirelessEdge,"in2020IEEEWirelessCommunicationsandNetworkingConference(WCNC),2020,pp.1-6.)，该方法虽然不会暴露单个用户对内容的偏好，但仍暴露了用户对内容的访问请求总数，即活跃度水平。上述方法均在不同程度上导致了用户的隐私泄露，从而阻碍了基于联邦学习的主动内容缓存的进一步发展。另外，上述方法均基于联邦学习假设模型梯度可以安全共享(边缘服务器与参与者之间交换模型参数的更新，本质是共享本地模型梯度)，不会暴露参与者的私有训练数据，这在理想情况下是可行的。然而，在现实中模型梯度共享的安全性并不能完全保证，因为参与者的模型梯度仍然可以揭示私有训练数据的某些属性，例如属性分类器，甚至完全暴露参与者的私有训练数据，例如梯度的深度泄露(参见文献：L.Zhu,Z.LiuandS.Han,“DeepLeakagefromGradients,”in2019ConferenceandWorkshoponNeuralInformationProcessingSystems(NeurIPS),2019.)。综上所述，从参与者的本地模型和梯度中获取私有的训练数据是完全有可能的，因此，有必要重新思考联邦学习中模型梯度的安全性，探索梯度级安全的联邦学习方法，寻找在高效预测内容流行本文档来自技高网...

【技术保护点】
1.一种安全且高效的联邦学习内容缓存方法，其特征在于，首先，每个用户从边缘服务器下载鉴别器共享模型和生成器共享模型，基于共享模型利用私有数据在本地训练WGAN鉴别器本地模型和WGAN生成器本地模型；另外，用户在本地进行梯度裁剪与模型修正，以实现梯度级隐私保护并降低通信成本；其次，每个用户将修正后的模型更新发送至边缘服务器，由边缘服务器聚合生成新的共享模型并发送给每个用户，以供下次训练；再次，重复前两个内容中的训练方法，直到模型训练完毕；最后，每个用户把本地生成器生成的伪数据发送到边缘服务器，由边缘服务器预测内容的流行趋势并对内容的流行程度评分，最后做出缓存决策；具体内容如下：/n步骤一：信息收集与模型建立/n步骤1.1边缘服务器基站进行信息收集；/n步骤1.2建立模型/n在边缘服务器基站中建立两个共享的全局模型：鉴别器共享模型和生成器共享模型；对于鉴别器共享模型，首先根据内容库的相关信息确定它的输入层，对其结构进行设计，最后建立输出层完成回归任务，拟合Wasserstein距离；对于生成器共享模型，根据输入噪声的维度确定它的输入层，对其结构进行设计，最后根据内容库的信息确定它的输出层，以生成伪数据；共享模型建立以后，均匀初始化所有的模型参数，得到两个共享的全局模型；/n步骤二：本地模型的训练过程/n步骤2.1下载共享模型/n参与训练的用户首先在边缘服务器基站下载鉴别器共享模型和生成器共享模型，创建本地鉴别器模型和本地生成器模型，本地模型的结构与共享模型的结构相同；/n步骤2.2训练本地鉴别器/n生成对抗网络中鉴别器的目标是把生成器生成的伪数据与真实的数据分辨出来；使用WGAN中的鉴别器来拟合Wasserstein距离，达到分辨真伪数据的目标，即最小化：/n...

【技术特征摘要】
1.一种安全且高效的联邦学习内容缓存方法，其特征在于，首先，每个用户从边缘服务器下载鉴别器共享模型和生成器共享模型，基于共享模型利用私有数据在本地训练WGAN鉴别器本地模型和WGAN生成器本地模型；另外，用户在本地进行梯度裁剪与模型修正，以实现梯度级隐私保护并降低通信成本；其次，每个用户将修正后的模型更新发送至边缘服务器，由边缘服务器聚合生成新的共享模型并发送给每个用户，以供下次训练；再次，重复前两个内容中的训练方法，直到模型训练完毕；最后，每个用户把本地生成器生成的伪数据发送到边缘服务器，由边缘服务器预测内容的流行趋势并对内容的流行程度评分，最后做出缓存决策；具体内容如下：
步骤一：信息收集与模型建立
步骤1.1边缘服务器基站进行信息收集；
步骤1.2建立模型
在边缘服务器基站中建立两个共享的全局模型：鉴别器共享模型和生成器共享模型；对于鉴别器共享模型，首先根据内容库的相关信息确定它的输入层，对其结构进行设计，最后建立输出层完成回归任务，拟合Wasserstein距离；对于生成器共享模型，根据输入噪声的维度确定它的输入层，对其结构进行设计，最后根据内容库的信息确定它的输出层，以生成伪数据；共享模型建立以后，均匀初始化所有的模型参数，得到两个共享的全局模型；
步骤二：本地模型的训练过程
步骤2.1下载共享模型
参与训练的用户首先在边缘服务器基站下载鉴别器共享模型和生成器共享模型，创建本地鉴别器模型和本地生成器模型，本地模型的结构与共享模型的结构相同；
步骤2.2训练本地鉴别器
生成对抗网络中鉴别器的目标是把生成器生成的伪数据与真实的数据分辨出来；使用WGAN中的鉴别器来拟合Wasserstein距离，达到分辨真伪数据的目标，即最小化：



其中，fw为用户的本地鉴别器，Pr是真实的数据分布，Pg是本地生成器生成的伪数据分布；
采用有效的梯度更新方法均方根传递最小化LD；在第t轮的训练过程中，积累的梯度动量mwt、mbt为：
mwt＝β·mw(t-1)+(1-β)·dw2
mbt＝β·mb(t-1)+(1-β)·db2
其中，β表示梯度积累指数，dw2和db2表示模型参数w和b微分的平方；根据积累的梯度动量更新模型参数；
在更新模型参数之前，对梯度进行裁剪：选择贡献大的梯度进行更新，即梯度值的大小在当前层全部梯度的前a％才会被更新；对于没有参与更新的小梯度，对其进行保存，并在下次训练时加回对应的梯度中；
采用裁剪后的梯度来更新模型参数w，b，第t轮的更新过程为：






其中，η为学习率，ε为常数；
最后，为了满足Wasserstein距离的Lipschitz连续性条件，需要保证||fw||L≤K，其中K为常数；将模型参数的范围修正到[-c,c]，对于小于此范围的值直接取-c，对于大于此范围的值直接取c，以满足Lipschitz连续性条件，即模型修正；
梯度裁剪与模型修正能够有效地保护用户私有数据，同时降低用户与边缘服务器之间的通信成本；至此完成本地鉴别器的一轮训练；
步骤2.3训练本地生成器
生成对抗网络中生成器的目标是尽量生成真实的数据来欺骗鉴别器；考虑到生成器的输入与真实的数据分布无关，因此，若想生成真假难辨的数据，只需最小化：



其中，fw为用户的本地鉴别器，Pg是本地生成器生成的伪数据分布；
同样采用RMSProp的梯度更新方法最小化LG；在第t轮的训练过程中，积累的梯度动量mwt、mbt为：
mwt＝β·mw(t-1)+(1-β)·dw2
mbt＝β·mb(t-1)+(1-β)·db2
其中，β表示梯度积累指数，dw2和db2表示模型参数w和b微分的平方；由此可以得到积累的梯度动量，然后根据它来更新模型参数；
在更新模型参数之前，需要对梯度进行裁剪；选择贡献大的梯度进行更新，即梯度值的大小在当前层全部梯度的前a％才会被更新；对于没有参与更新的小梯度，将其保存，并在下次训练时加回对应的梯度中；
采用裁剪后的梯度来更新模型参数w，b，第t轮的更新...

【专利技术属性】
技术研发人员：邓娜，王凯伦，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21