【技术实现步骤摘要】
本申请涉及低轨道卫星网络的，特别涉及一种低轨卫星星座边缘协同缓存方法。
技术介绍
1、现有工程技术中，卫星节点缓存方法沿用地面网络中的缓存方法，面对服务区域内用户对于不同内容的请求频次不同，学习文件的流行度分布从而将热门文件的副本有选择地缓存在边缘节点中，从而缩短用户请求文件的平均延迟。当前主要从以下两个方面来解决低轨道卫星星座中内容缓存问题：
2、1)通过感知用户实时发送的内容请求，采用被动式的缓存替换决策方式来对卫星边缘节点中保存的内容进行替换，这种方法在卫星高速运动的场景下容易产生大量的内容切换开销，耗费有限的通信资源。
3、2)通过为每个卫星边缘节点训练独立的缓存决策模型来实现缓存替换过程，主要是基于深度学习，强化学习等方法。然而现有工作以单颗卫星覆盖区域内的流行度分布作为边缘缓存参考基准，而没有考虑临近节点间的协作缓存方案，因此会导致相邻卫星缓存大量重复的热门文件，造成星上存储资源的浪费。
4、3)《cn115587266a一种空天地一体化互联网智能边缘缓存方法》其提出的方法首先将节点按照一定的聚类规则将节点划分为多个聚类并标定簇首节点，每个簇内节点定期将缓存策略神经网络参数汇报给簇首节点，通过参数聚合后下发新的策略参数给各节点。该方法通过低通信量联邦学习的机制快速学习各区域内的文件流行度，但是忽略了节点间合作的可能性，会导致热门文件冗余缓存在多个同簇节点内。
5、但当前低轨道卫星星座中缓存方案仍然存在感知速度慢，内容冗余严重的问题。
6、以上
技术介绍
内容的公
技术实现思路
1、本专利技术的目的在于解决上有技术问题，因此提出一种低轨卫星星座边缘协同缓存方法，以通过星间协作来有效降低系统内缓存文件冗余并优化用户体验。
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种低轨卫星星座边缘协同缓存方法，包括以下步骤：s1、根据低轨卫星轨道运行信息，计算划分出具有稳定拓扑关系的时隙，构建低轨卫星系统边缘缓存场景的时隙拓扑图；s2、建立低轨卫星节点具有缓存能力的天基网络场景下的边缘缓存模型，并将每个卫星节点的缓存决策建模为部分可见马尔可夫过程pomdp，以便通过强化学习算法进行训练和优化；s3、利用mappo多智能体强化学习方法训练各个节点的独立模型，以实现边缘协同缓存策略的学习；s4、按预定方式更新缓存状态和链路状态；s5、重复执行步骤s3和步骤s4，直至缓存策略收敛，以实现优化的低轨卫星系统边缘协同缓存策略。
4、在本专利技术的一些实施例中，步骤s1中，以低轨卫星节点以及地面基站节点为点集，卫星与卫星之间的链路和卫星与地面基站间的链路为边集，构建所述低轨卫星系统边缘缓存场景的时隙拓扑图。
5、在本专利技术的一些实施例中，通过切分完整时隙来保证时隙内节点拓扑稳定性，同时将链路剩余可用时间信息嵌入到系统状态中；定义整个系统的运行周期为完整时隙，将完整时隙均等地分为多个子时隙，在任意一个子时隙内，拓扑图的链路集不发生改变，即不存在星间的链路切换；对于已建立的卫星星间链路，推算出链路剩余可用时间，将文件内容优先缓存到链路剩余可用时间更多的相邻节点上，以实现协同缓存。
6、在本专利技术的一些实施例中，当遇到非完整子时隙时，采用舍入的方式进行处理，将非完整的子时隙舍入为最接近的整数时隙。
7、在本专利技术的一些实施例中，步骤s2中，所述将低轨卫星系统边缘缓存场景建模为部分可见马尔可夫过程pomdp，每颗卫星仅能感知到对应服务区域内产生的内容请求信息，对于区域内用户产生的内容请求，节点自行决策是否缓存。
8、在本专利技术的一些实施例中，奖励函数包括用户平均请求延迟的度量和内容冗余程度的度量，优化目标为最小化用户平均请求延迟和最大化内容冗余程度，通过最大化二者的加权奖励，强化学习智能体能够自行学习到缓存决策的依据。
9、在本专利技术的一些实施例中，所述内容冗余程度的度量包括在奖励函数的设置中采用jaccard相似度来衡量当前节点与相邻节点直接的内容冗余的程度，即，使用交集与并集之间的比来定量衡量冗余程度
10、
11、js为jaccard相似度，vp和vq为任意一对相邻卫星，cp和cq分别为两个相邻卫星在当前时刻缓存的内容集合；
12、以链路剩余时间长的相邻节点之间的内容冗余的程度更低为目标，即：
13、
14、为归一化后的链路剩余可用时间，va为当前的中心卫星，vi为当前卫星的相邻卫星；
15、所述用户平均请求延迟的度量dt包括以下情况：
16、当前请求的内容在节点中存在；
17、当前请求的内容在节点中不存在，但是在相邻的卫星节点中存在；
18、当前请求的内容在当前节点和相邻节点中都不存在，只能从中心服务器请求；
19、最终的优化目标为：
20、α是衡量当前更倾向于优化用户请求延迟还是优化内容冗余程度的参数。
21、在本专利技术的一些实施例中，步骤s3中，在训练过程中，各智能体共享一个中心批评网络来评估每个智能体的动作，所述中心批评网络接收全局状态和所有智能体在当前时刻的动作作为输入；使用lclip函数来计算参数θ，该参数表示神经网络参数在训练过程中应该如何调整；且以智能体获得的奖励作为输入来调网络参数；每个智能体仅基于可观测状态采取动作，该动作隐含考虑了其他智能体的动作。
22、在本专利技术的一些实施例中，步骤s3中采用中心化训练和分布式执行方法，其中，每个智能体维护本地策略函数和价值函数；每个智能体独立采样获得轨迹，并根据轨迹更新自己的策略和价值函数；使用ppo算法的clip surrogate objective方法限制策略的更新步长，增强稳定性；通过中心化训练的评论员评估不同智能体联合行动的价值，指导训练。
23、本专利技术还提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现如上所述的低轨卫星星座边缘协同缓存方法。
24、本专利技术具有如下有益效果：
25、本专利技术提出的低轨卫星星座边缘协同缓存方法，通过建卫星与卫星间，卫星与地面基站间的时隙拓扑图，通过切分完整时隙来保证时隙内节点拓扑稳定性，同时将链路剩余可用时间信息嵌入到系统状态中，本专利技术还建模了低轨卫星星座时变的链路拓扑关系，所提出的方案更符合真实的使用场景，本专利技术实施例将系统建模为部分可见马尔可夫过程pomdp，卫星间存在合作关系，通过多智能体强化学习的方法联合考虑每个卫星的缓存决策，克服了当前星上缓存方案感知速度慢，内容冗余严重的问题，通过星间协作，有效降低系统内缓存文件冗余，并且缩短了用户请求文件的平均延迟，优化了用户体验，同时提高了星上本文档来自技高网...
【技术保护点】
1.一种低轨卫星星座边缘协同缓存方法，其特征在于，包括以下步骤：
2.如权利要求1所述的低轨卫星星座边缘协同缓存方法，其特征在于，步骤S1中，以低轨卫星节点以及地面基站节点为点集，卫星与卫星之间的链路和卫星与地面基站间的链路为边集，构建所述低轨卫星系统边缘缓存场景的时隙拓扑图。
3.如权利要求2所述的低轨卫星星座边缘协同缓存方法，其特征在于，通过切分完整时隙来保证时隙内节点拓扑稳定性，同时将链路剩余可用时间信息嵌入到系统状态中；定义整个系统的运行周期为完整时隙，将完整时隙均等地分为多个子时隙，在任意一个子时隙内，拓扑图的链路集不发生改变，即不存在星间的链路切换；对于已建立的卫星星间链路，推算出链路剩余可用时间，将文件内容优先缓存到链路剩余可用时间更多的相邻节点上，以实现协同缓存。
4.如权利要求3所述的低轨卫星星座边缘协同缓存方法，其特征在于，当遇到非完整子时隙时，采用舍入的方式进行处理，将非完整的子时隙舍入为最接近的整数时隙。
5.如权利要求1-4任一项所述的低轨卫星星座边缘协同缓存方法，其特征在于，步骤S2中，所述将低轨卫星系统
6.如权利要求5所述的低轨卫星星座边缘协同缓存方法，其特征在于，奖励函数包括用户平均请求延迟的度量和内容冗余程度的度量，优化目标为最小化用户平均请求延迟和最大化内容冗余程度，通过最大化二者的加权奖励，强化学习智能体能够自行学习到缓存决策的依据。
7.如权利要求6所述的低轨卫星星座边缘协同缓存方法，其特征在于，所述内容冗余程度的度量包括在奖励函数的设置中采用Jaccard相似度来衡量当前节点与相邻节点直接的内容冗余的程度，即，使用交集与并集之间的比来定量衡量冗余程度
8.如权利要求1-7任一项所述的低轨卫星星座边缘协同缓存方法，其特征在于，步骤S3中，在训练过程中，各智能体共享一个中心批评网络来评估每个智能体的动作，所述中心批评网络接收全局状态和所有智能体在当前时刻的动作作为输入；使用LClip函数来计算参数Θ，该参数表示神经网络参数在训练过程中应该如何调整；且以智能体获得的奖励作为输入来调网络参数；每个智能体仅基于可观测状态采取动作，该动作隐含考虑了其他智能体的动作。
9.如权利要求1-8任一项所述的低轨卫星星座边缘协同缓存方法，其特征在于，步骤S3中采用中心化训练和分布式执行方法，其中，每个智能体维护本地策略函数和价值函数；每个智能体独立采样获得轨迹，并根据轨迹更新自己的策略和价值函数；使用PPO算法的ClipSurrogate Objective方法限制策略的更新步长，增强稳定性；通过中心化训练的评论员评估不同智能体联合行动的价值，指导训练。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序由处理器执行时，实现如权利要求1至9任一项所述的低轨卫星星座边缘协同缓存方法。
...【技术特征摘要】
1.一种低轨卫星星座边缘协同缓存方法，其特征在于，包括以下步骤：
2.如权利要求1所述的低轨卫星星座边缘协同缓存方法，其特征在于，步骤s1中，以低轨卫星节点以及地面基站节点为点集，卫星与卫星之间的链路和卫星与地面基站间的链路为边集，构建所述低轨卫星系统边缘缓存场景的时隙拓扑图。
3.如权利要求2所述的低轨卫星星座边缘协同缓存方法，其特征在于，通过切分完整时隙来保证时隙内节点拓扑稳定性，同时将链路剩余可用时间信息嵌入到系统状态中；定义整个系统的运行周期为完整时隙，将完整时隙均等地分为多个子时隙，在任意一个子时隙内，拓扑图的链路集不发生改变，即不存在星间的链路切换；对于已建立的卫星星间链路，推算出链路剩余可用时间，将文件内容优先缓存到链路剩余可用时间更多的相邻节点上，以实现协同缓存。
4.如权利要求3所述的低轨卫星星座边缘协同缓存方法，其特征在于，当遇到非完整子时隙时，采用舍入的方式进行处理，将非完整的子时隙舍入为最接近的整数时隙。
5.如权利要求1-4任一项所述的低轨卫星星座边缘协同缓存方法，其特征在于，步骤s2中，所述将低轨卫星系统边缘缓存场景建模为部分可见马尔可夫过程pomdp，每颗卫星仅能感知到对应服务区域内产生的内容请求信息，对于区域内用户产生的内容请求，节点自行决策是否缓存。
6.如权利要求5所述的低轨卫星星座边缘协同缓存方法，其特征在于，奖励函数包括用户平均请求延迟的度量和内容冗余程度的度量，优化目标为最小化用户平均请求延迟和...
【专利技术属性】
技术研发人员：吴鸣洲，王智，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。