【技术实现步骤摘要】
本申请涉及无线通信，尤其涉及一种主动缓存方法、装置、设备及存储介质。
技术介绍
1、随着移动通信技术的发展，用户的业务需求已经转向以多媒体文件为主的面向内容的无线通信，因此给网络带来了更大的数据量需求与速率要求。网络中热点内容往往会被用户重复请求，因此造成了网络资源的浪费，加重网络拥塞，而未来网络中回程资源的限制与小区间干扰也成了提升网络性能的阻碍。为解决上述问题，基站缓存技术应运而生，将用户请求的热点内容提前缓存至网络边缘接入点(access point，ap)，当用户请求文件时可通过接入基站直接交付，从而降低网络的负担。目前的缓存策略大多需要有内容流行度的较强数学模型假设，而且需要由一个全局中心控制器进行全局优化，这并不能满足实际场景下的缓存需求。
2、因此，专利技术人提供了一种主动缓存方法、装置、设备及存储介质。
技术实现思路
1、(1)要解决的技术问题
2、本申请实施例提供了一种主动缓存方法、装置、设备及存储介质，要解决的技术问题是：目前的缓存策略大多需要有内容流行度的较强数学模型假设，而且需要由一个全局中心控制器进行全局优化，不能满足实际场景下的缓存需求。
3、(2)技术方案
4、第一方面，本申请实施例提供了一种主动缓存方法，包括：
5、将无线通信系统中的每个ap作为智能体，建立基于无线通信的多智能体强化学习模型；
6、基于多智能体强化学习，由每个智能体自主决策找到最优缓存策略，以最大化系统性能。p>
7、在其中一个实施例中，所述智能体的行为空间为缓存文件的缓存组合方式，奖励为系统对于当前智能体缓存决策的性能评价值。
8、在其中一个实施例中，所述性能评价值包括缓存命中率、文件成功交付用户数。
9、在其中一个实施例中，每个ap分别与上层转发ap进行通信，不同ap之间不进行通信。
10、在其中一个实施例中，每个智能体采用多臂赌博机算法探索所述行为空间，从而找到最优缓存策略。
11、在其中一个实施例中，每个智能体采用贪心策略求解所述多臂赌博机算法。
12、在其中一个实施例中，所述奖励包括每个智能体的局部奖励以及多智能体协作的全局奖励。
13、第二方面，本申请实施例提供了一种主动缓存装置，包括：
14、模型建立模块，用于将无线通信系统中的每个ap作为智能体，建立基于无线通信的多智能体强化学习模型；
15、自主缓存模块，用于基于多智能体强化学习，由每个智能体自主决策找到最优缓存策略，以最大化系统性能。
16、第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上所述的主动缓存方法。
17、第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上所述的主动缓存方法。
18、(3)有益效果
19、本申请的上述技术方案具有如下优点：
20、本申请实施例第一方面提供的主动缓存方法，通过基于多智能体强化学习的缓存策略将ap作为智能体进行缓存决策，使用多智能体强化学习的方式优化系统性能。在缓存支持的无线网络中，结合多智能体强化学习技术，在边缘ap主动缓存热点文件，显著提升系统性能。通过该方法，系统不需要有较强的数学模型假设，也不需要由中心控制器进行全局优化，而通过主动试错学习以学得最优缓存策略。
21、可以理解的是，上述第二方面、第三方面和第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本文档来自技高网...【技术保护点】
1.一种主动缓存方法，其特征在于，包括：
2.如权利要求1所述的主动缓存方法，其特征在于，所述智能体的行为空间为缓存文件的缓存组合方式，奖励为系统对于当前智能体缓存决策的性能评价值。
3.如权利要求2所述的主动缓存方法，其特征在于，所述性能评价值包括缓存命中率、文件成功交付用户数。
4.如权利要求1所述的主动缓存方法，其特征在于，每个AP分别与上层转发AP进行通信，不同AP之间不进行通信。
5.如权利要求2所述的主动缓存方法，其特征在于，每个智能体采用多臂赌博机算法探索所述行为空间，从而找到最优缓存策略。
6.如权利要求5所述的主动缓存方法，其特征在于，每个智能体采用贪心策略求解所述多臂赌博机算法。
7.如权利要求2所述的主动缓存方法，其特征在于，所述奖励包括每个智能体的局部奖励以及多智能体协作的全局奖励。
8.一种主动缓存装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的主动缓存方法。
...【技术特征摘要】
1.一种主动缓存方法，其特征在于，包括：
2.如权利要求1所述的主动缓存方法，其特征在于，所述智能体的行为空间为缓存文件的缓存组合方式，奖励为系统对于当前智能体缓存决策的性能评价值。
3.如权利要求2所述的主动缓存方法，其特征在于，所述性能评价值包括缓存命中率、文件成功交付用户数。
4.如权利要求1所述的主动缓存方法，其特征在于，每个ap分别与上层转发ap进行通信，不同ap之间不进行通信。
5.如权利要求2所述的主动缓存方法，其特征在于，每个智能体采用多臂赌博机算法探索所述行为空间，从而找到最优缓存策略。
6.如权利要求5所述的主动缓存方...
【专利技术属性】
技术研发人员：骆训浩，李昊，王元斌，张剑，刘俊涛，罗荣，
申请(专利权)人：中船智海创新研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。