【技术实现步骤摘要】
本专利技术涉及无人机辅助通信，具体为一种基于深度q网络的无人机辅助缓存策略方法。
技术介绍
1、物联网(iot)的推出和即将到来的6g技术预测，与过去十年相比，未来几年的数据将迅速上升。由于无线网络通信资源有限，大规模的数据流量会使得移动通信网络面临时延增加、通信拥塞甚至通信中断的困境。传统的基础设施很难满足用户对高速率、低延迟的通信需求，尤其是在高密度人口区域或特殊应用场景下。而流量的增加主要原因是一些流行文件的重复下载。边缘缓存被认为是缓解流量负载的关键技术之一。流行文件可以放置在移动用户附近，如基站(bs)、用户终端(ut)和无人机(uav)，以减少文件获取延迟，减轻回程流量负载。
2、用户终端可以将自身已有文件通过设备到设备(d2d)通信在用户终端之间共享文件。将ut缓存与d2d通信相结合，可以有效减少重复文件传输，提高ut的体验质量(qoe)，减少热点区域的bs业务负载。uav由于高度的机动性和可部署性，近年来在边缘缓存领域受到了高度的关注。无人机辅助通信已应用于超广覆盖、中继和信息传播/数据收集。在热点地区，支持缓存的无人机可以作为飞行bss来存储一些流行的文件，并提供下行数据卸载。由于无人机有很高的可能性与地面通信节点建立视线(los)连接，与地面bss相比，城市或山区的严重阴影带来的问题可以得到缓解。通过启用缓存，可以将文件直接从本地缓存传输到用户终端，从而节省文件传输时延。此外，无人机辅助缓存网络的敏捷性和可控性可以实现更大的无线覆盖，使其成为支持特殊事件可靠传输的理想选择，如大型特别活动或体育赛事
3、在文件缓存过程中，缓存的文件一般包含两种类型：静态文件和动态文件。静态文件不随时间的改变而改变(如电影、图片、音乐等)；而动态文件会随时间的改变发生变化，一般用来表征设备所处环境的实时状态(如道路通行状态、停车场空位情况、车辆位置等)，该类文件通常对于时延非常敏感且具有动态特性。对于无人机辅助的文件缓存，大多数之前的工作都只考虑静态文件缓存或只考虑了动态缓存，没有联合考虑静态文件与动态文件的缓存。
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、因此，本专利技术解决的技术问题是：现有的缓存策略方法存在无线网络资源有限，单无人机缓存系统效率较低，缺乏有效缓存策略，以及如何改进无人机辅助缓存系统在动态和静态文件缓存方面不足的优化问题。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种基于深度q网络的无人机辅助缓存策略方法，包括构建基于设备到设备的文件共享及无人机辅助缓存的文件下发系统模型，并引入基于信息年龄的文件版本更新过程；分析m/m/1排队论理论，建立优化模型；通过深度q网络确定无人机端文件缓存策略。
4、作为本专利技术所述的基于深度q网络的无人机辅助缓存策略方法的一种优选方案，其中：所述文件下发系统模型包括一架悬停无人机m、一个基站b、一个原始内容服务器和u个在无人机覆盖半径为r范围里的地面用户设备，每个设备具备存储能力，将获得的文件在本地进行缓存，并为临近用户分享提供自身拥有的文件，无人机m的位置表示为(xm,ym,zm)，基站b的位置表示为(xb,yb,zb)，用户u的位置表示为(xu,yu,0)，无人机与基站具备缓存能力，原始内容服务器通过光纤与基站相连，为无人机与基站生成提供文件，无人机通过基站从原始内容服务器获取文件，设文件大小为s比特，无人机的缓存容量上限为sm比特，每个用户设备在时隙t请求文件，请求优先通过d2d间的文件共享进行满足，当d2d文件共享无法提供用户请求的文件时，用户的请求被上传到无人机，由无人机提供服务，当无人机也无法为用户的请求提供服务时，用户的请求将由无人机转发到基站，由基站为用户提供服务。
5、作为本专利技术所述的基于深度q网络的无人机辅助缓存策略方法的一种优选方案，其中：所述引入基于信息年龄的文件版本更新过程包括结合静态文件与动态文件的综合缓存，在原始内容服务器为无人机与基站提供的文件中，包含静态文件与动态文件，静态文件不随时间的改变而改变，动态文件随时间的改变发生变化，表示设备所处环境的实时状态，动态文件对于时延敏感且具有动态特性，动态文件具有时效性，衡量动态文件的时效性，引入信息年龄表征动态文件新鲜度，无人机与基站在将所缓存的动态文件传递给用户终端前，检查缓存的动态文件aoi是否超过阈值若动态文件的版本是新鲜的，无人机与基站将直接传递缓存的版本，若动态文件的版本不新鲜，无人机与基站将获取动态文件最新版本进行刷新，然后传递给用户终端。
6、作为本专利技术所述的基于深度q网络的无人机辅助缓存策略方法的一种优选方案，其中：所述分析m/m/1排队论理论包括用户请求文件，当用户u请求的静态文件f为临近用户u'本地拥有，用户u从临近用户u'处获得静态文件f，用户u和u'间的信道增益定义为huu'，包括路径损耗和瑞利衰落，当用户u和u'之间的信道增益达到预设的d2d通信阈值δ，huu'＞δ时，建立d2d通信链路，将满足d2d通信条件的临近用户集合表示为：
7、
8、其中，为临近用户u'是否拥有静态文件f，取信道增益最大的一个临近用户u'进行d2d通信，即当用户u和用户u'建立静态文件f的d2d通信链路时，表示为当没有建立d2d通信链路时表示为用户u和用户u'间的传输速率表示为：
9、
10、其中，buu'＝b0/nuu'为均匀分配给用户u和用户u'的带宽，b0为d2d通信的带宽，nuu'为同时传输的d2d通信对的数目，pu'为用户u'的发射功率，n0为加性高斯白噪声的功率谱密度，用户u获得静态文件f的时延表示为：
11、
12、其中，s为文件大小，ruu'为用户u与u'之间的传输速率，在d2d通信链路中，用户获得静态文件的平均服务时延表示为：
13、
14、其中，为用户u在时隙t是否请求文件f，为用户u在时隙t请求了文件f，kf∈{0,1}为文件f所属类型，kf＝1为文件f是动态文件，kf＝0为文件f是静态文件，当集群内的用户u请求的静态文件无法通过d2d链路提供或者请求文件为动态文件时，用户u首先从无人机处获取请求的文件，当用户对文件f的请求到达无人机端时，判断无人机是否缓存文件，若没有缓存文件则将该文件请求转发到基站端，若缓存文件f且通道没有被占用，则请求立刻被服务，否则请求将在队列中等待，服务过程分为，若请求的文件类型为静态文件，无人机将静态文件传输给用户，若请求的文件类型为动态文件，则判断无人机m端动态文件f的新鲜度是否超过阈值若文件新鲜度没有超过阈值则无人机直接将动态文件f下发给用户u，若文件新鲜度超过设定的阈值则无人机通过基站从原始文件服务器刷新获取动态文件f的最新版本后下发给用户u，通过m/m/1排队模型对无人机的服务用户过程进行近似性分析，设无人机端所有文件的总请求速率服从参数为λ1的泊松过程，用户u在时隙t从无人机m端获取文件f的指示表示为：
15、
【技术保护点】
1.一种基于深度Q网络的无人机辅助缓存策略方法，其特征在于，包括：
2.如权利要求1所述的基于深度Q网络的无人机辅助缓存策略方法，其特征在于：所述文件下发系统模型包括一架悬停无人机m、一个基站b、一个原始内容服务器和U个在无人机覆盖半径为R范围里的地面用户设备，每个设备具备存储能力，将获得的文件在本地进行缓存，并为临近用户分享提供自身拥有的文件，无人机m的位置表示为(xm,ym,zm)，基站b的位置表示为(xb,yb,zb)，用户u的位置表示为(xu,yu,0)，无人机与基站具备缓存能力，原始内容服务器通过光纤与基站相连，为无人机与基站生成提供文件，无人机通过基站从原始内容服务器获取文件，设文件大小为s比特，无人机的缓存容量上限为Sm比特，每个用户设备在时隙t请求文件，请求优先通过D2D间的文件共享进行满足，当D2D文件共享无法提供用户请求的文件时，用户的请求被上传到无人机，由无人机提供服务，当无人机也无法为用户的请求提供服务时，用户的请求将由无人机转发到基站，由基站为用户提供服务。
3.如权利要求2所述的基于深度Q网络的无人机辅助缓存策略方法，其特征在于
4.如权利要求3所述的基于深度Q网络的无人机辅助缓存策略方法，其特征在于：所述分析M/M/1排队论理论包括用户请求文件，当用户u请求的静态文件f为临近用户u'本地拥有，用户u从临近用户u'处获得静态文件f，用户u和u'间的信道增益定义为huu'，包括路径损耗和瑞利衰落，当用户u和u'之间的信道增益达到预设的D2D通信阈值δ，huu'＞δ时，建立D2D通信链路，将满足D2D通信条件的临近用户集合表示为：
5.如权利要求4所述的基于深度Q网络的无人机辅助缓存策略方法，其特征在于：所述建立优化模型包括以最小化平均服务时延为目标函数，优化模型表示为：
6.如权利要求5所述的基于深度Q网络的无人机辅助缓存策略方法，其特征在于：所述通过深度Q网络确定无人机端文件缓存策略包括系统状态和动作，在时隙t，代理通过观察状态st∈S，代理采取行动at∈A并与环境交互，获得奖励rt，并获得下一个状态st+1，a和s分别是动作集和状态集，将Q学习与DNN结合，解决无限状态空间，系统的状态为一组描述系统的参数，任意时隙t的系统状态定义为行为，表示为：
7.如权利要求6所述的基于深度Q网络的无人机辅助缓存策略方法，其特征在于：所述通过深度Q网络确定无人机端文件缓存策略还包括奖励函数，设时隙t处状态st和动作at，定义奖励函数将状态-动作对映射到标量奖励rt，将约束通过惩罚函数形式引入到目标函数中，最终奖励表示为：
8.一种采用如权利要求1～7任一所述的基于深度Q网络的无人机辅助缓存策略方法的系统，其特征在于：包括构建模型模块、分析建立模块、缓存策略模块；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于深度Q网络的无人机辅助缓存策略方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于深度Q网络的无人机辅助缓存策略方法的步骤。
...【技术特征摘要】
1.一种基于深度q网络的无人机辅助缓存策略方法，其特征在于，包括：
2.如权利要求1所述的基于深度q网络的无人机辅助缓存策略方法，其特征在于：所述文件下发系统模型包括一架悬停无人机m、一个基站b、一个原始内容服务器和u个在无人机覆盖半径为r范围里的地面用户设备，每个设备具备存储能力，将获得的文件在本地进行缓存，并为临近用户分享提供自身拥有的文件，无人机m的位置表示为(xm,ym,zm)，基站b的位置表示为(xb,yb,zb)，用户u的位置表示为(xu,yu,0)，无人机与基站具备缓存能力，原始内容服务器通过光纤与基站相连，为无人机与基站生成提供文件，无人机通过基站从原始内容服务器获取文件，设文件大小为s比特，无人机的缓存容量上限为sm比特，每个用户设备在时隙t请求文件，请求优先通过d2d间的文件共享进行满足，当d2d文件共享无法提供用户请求的文件时，用户的请求被上传到无人机，由无人机提供服务，当无人机也无法为用户的请求提供服务时，用户的请求将由无人机转发到基站，由基站为用户提供服务。
3.如权利要求2所述的基于深度q网络的无人机辅助缓存策略方法，其特征在于：所述引入基于信息年龄的文件版本更新过程包括结合静态文件与动态文件的综合缓存，在原始内容服务器为无人机与基站提供的文件中，包含静态文件与动态文件，静态文件不随时间的改变而改变，动态文件随时间的改变发生变化，表示设备所处环境的实时状态，动态文件对于时延敏感且具有动态特性，动态文件具有时效性，衡量动态文件的时效性，引入信息年龄表征动态文件新鲜度，无人机与基站在将所缓存的动态文件传递给用户终端前，检查缓存的动态文件aoi是否超过阈值若动态文件的版本是新鲜的，无人机与基站将直接传递缓存的版本，若动态文件的版本不新鲜，无人机与基站将获取动态文件最新版本进行刷新，然后传递给用户终端。
4.如权利要求3所述的基于深度q网络的无人机辅助缓存策略方法，其特征在于：所述分析m/m/1排队论...
【专利技术属性】
技术研发人员：朱桂龙，赵海涛，焦东来，刘淼，朱春，杨洁，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。