一种MEC计算卸载、资源分配及缓存联合优化方法技术

本发明专利技术公开了一种MEC计算卸载、资源分配及缓存联合优化方法，包括：根据用户实际请求计算资源任务，构建MEC计算卸载、资源分配及缓存模型；以最小化系统长期平均开销为目标，对MEC计算卸载、资源分配及缓存模型进行模型转换，并通过深度强化学习结合保序量化法获取卸载决策；基于卸载决策获取本地计算资源及边缘计算资源分配策略，通过任务请求概率分布制定缓存决策，动态更新MEC服务器缓存空间；根据MEC计算卸载、资源分配及缓存模型转换后的系统状态、动作及奖励训练深度强化学习网络，循环迭代优化卸载决策。本发明专利技术方法能够降低系统长期平均开销，提高用户请求任务的缓存命中率。率。率。

【技术实现步骤摘要】
一种MEC计算卸载、资源分配及缓存联合优化方法


[0001]本专利技术涉及通信技术的
，尤其涉及一种MEC计算卸载、资源分配及缓存联合优化方法。

技术介绍

[0002]随着移动设备的普及和应用的快速发展，越来越多的应用需要进行计算和存储。传统的云计算模式存在着计算延迟高、网络带宽瓶颈、能耗大的问题。为了解决这些问题，移动边缘计算（Mobile Edge Computing，MEC）应运而生。移动边缘计算能够将计算资源和存储资源放置在距离用户更近的边缘网络中，更快地响应用户的请求，降低网络带宽压力，同时还可以减少能源消耗。但是，移动边缘计算也存在着资源有限、任务多样化、用户数量庞大的问题。
[0003]目前针对此类问题主要以最小化能耗或最小化延迟或最小化两者的加权和为目标，以用户终端的能量、计算资源、边缘服务器的计算资源、任务最大允许时延为约束条件建立优化问题并求解，从而获得最优策略。由于优化问题通常是NP
‑
hard问题，当网络规模较大时，即使通过例如遗传算法、粒子群算法等启发式算法仍然需要较长时间开销来获取最优策略。此外，网络的动态变化需要中心节点不断去求解复杂的优化问题，且难以自适应地跟踪网络动态变化。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有存在的问题，提出了本专利技术。
[0006]因此，本专利技术提供了一种MEC计算卸载、资源分配及缓存联合优化方法解决现有的MEC卸载和资源分配场景中传统深度强化学习方法在大规模状态空间和动作空间下求解复杂度高、开销大、难以快速收敛的问题。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：本专利技术实施例提供了一种MEC计算卸载、资源分配及缓存联合优化方法，包括：根据用户实际请求计算资源任务，构建MEC计算卸载、资源分配及缓存模型；以最小化系统长期平均开销为目标，对所述MEC计算卸载、资源分配及缓存模型进行模型转换，并通过深度强化学习结合保序量化法获取卸载决策；基于所述卸载决策获取本地计算资源及边缘计算资源分配策略，通过任务请求概率分布制定缓存决策，动态更新MEC服务器缓存空间；根据所述MEC计算卸载、资源分配及缓存模型转换后的系统状态、动作及奖励训练深度强化学习网络，循环迭代优化所述卸载决策。
[0008]作为本专利技术所述的MEC计算卸载、资源分配及缓存联合优化方法的一种优选方案，
其中：所述MEC计算卸载、资源分配及缓存模型，包括：MEC系统模型，任务模型，缓存模型，移动性模型，计算模型；所述MEC系统模型包括M个MEC服务器和N个移动用户设备，MEC系统以时隙结构运行，记表示所有时隙的集合；所述任务模型包括个异构计算任务，所述异构计算任务的集合表示为： ；基于异构计算任务集合请求任务概率，所述任务请求概率服从Zipf分布，表示为： ；其中，表示t时刻第K个任务的请求概率；所述缓存模型中MEC服务器共享同样的缓存内容；所述移动性模型通过离散随机跳跃对用户移动性进行建模，根据平均驻留时间判断跳跃强度；当用户请求计算任务时，在时间后用户还停留在任务请求区域的概率，表示为： ；其中，表示用户在任务请求区域的平均驻留时间；当MEC服务器对用户发送计算结果时，用户还在任务请求区域的概率，表示为： ；其中，表示MEC服务器处理任务的时间；当MEC服务器对用户发送计算结果时，用户离开任务请求区域的概率，表示为： ；其中，表示迁移概率；所述计算模型用于计算移动用户设备在不同卸载决策和资源分配策略下的长期平均开销。
[0009]作为本专利技术所述的MEC计算卸载、资源分配及缓存联合优化方法的一种优选方案，其中：所述开销包括：时延、能耗、迁移开销及缓存请求成本；所述用户的即时开销，表示为： ；其中，表示用户在t时刻的系统总时延，表示用户在t时刻的系统总
能耗，表示用户在t时刻的卸载决策，表示缓存请求成本，表示迁移开销，分别表示时延，能耗，缓存请求成本及任务结果迁移开销的权重系数且范围在[0,1]，表示用户在t时刻请求的任务在t
‑
1时刻是否被缓存；利用系统长期平均开销衡量系统性能，所述系统长期平均开销表示为： ；其中，T表示整个时隙的长度，表示系统内t时刻所有用户的即时开销。
[0010]作为本专利技术所述的MEC计算卸载、资源分配及缓存联合优化方法的一种优选方案，其中：以最小化系统长期平均开销为目标，对所述MEC计算卸载、资源分配及缓存模型进行模型转换，包括：目标函数，表示为： ；其中，表示用户在t时刻的卸载决策，表示本地计算资源分配决策，表示边缘计算资源分配决策，表示缓存决策，C表示为系统长期平均开销；基于所述最小化系统长期平均开销，将MEC计算卸载、资源分配及缓存模型转换为马尔可夫决策过程模型。
[0011]作为本专利技术所述的MEC计算卸载、资源分配及缓存联合优化方法的一种优选方案，其中：设置所述马尔可夫决策过程模型，包括：状态空间设置，动作空间设置以及奖励函数设置；所述状态空间设置，表示为： ；
[0012]其中，表示所有用户请求任务的数据量，表示所有用户请求任务的计算量，表示所有用户和无线接入点之间的信道增益，表示所有用户位置，表示所有用户迁移概率，表示所有MEC服务器的可用计算资源，表示所有任务的缓存决策；所述动作空间设置，表示为： ；其中，表示所有用户的0
‑
1卸载决策；所述奖励函数设置，表示为： ；
其中，表示系统内所有用户在本地计算任务的总开销，表示奖励调整系数。
[0013]作为本专利技术所述的MEC计算卸载、资源分配及缓存联合优化方法的一种优选方案，其中：通过深度强化学习结合保序量化法获取卸载决策，包括：对深度强化学习网络输入进行标准化处理；所述深度强化学习网络经过最后一层sigmoid激活后，将输出的N个[0, 1]之间的小数，组成松弛动作；设置量化函数；获取第1个二进制卸载决策；对所述松弛动作中的元素到所述第1个二进制卸载决策阈值的距离进行排序；基于下一个松弛动作计算剩余量化动作。
[0014]作为本专利技术所述的MEC计算卸载、资源分配及缓存联合优化方法的一种优选方案，其中：根据所述卸载决策获取本地计算资源及边缘计算资源分配策略，包括：根据所述量化动作，通过遗传算法和KKT条件计算资源分配决策；所述遗传算法通过反复对个体进行选择、交叉及变异操作，模拟生物进化过程，获取适应度函数最大的个体，即本地开销最小的本地计算资源分配策略；所述适应度函数表示为： ；其中，表示个体的索引，且，是使系统内所有用户在本地计算任务的最大总开销的个体索引，表示本地计算资源分配比例，表示使本地开销最大的本地计算资源分配比例。
[0015]作为本专利技术所述的MEC计算卸载、资源分配及缓存联合优化方法的一种优选方案，其中：还包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种MEC计算卸载、资源分配及缓存联合优化方法，其特征在于，包括：根据用户实际请求计算资源任务，构建MEC计算卸载、资源分配及缓存模型；以最小化系统长期平均开销为目标，对所述MEC计算卸载、资源分配及缓存模型进行模型转换，并通过深度强化学习结合保序量化法获取卸载决策；基于所述卸载决策获取本地计算资源及边缘计算资源分配策略，通过任务请求概率分布制定缓存决策，动态更新MEC服务器缓存空间；根据所述MEC计算卸载、资源分配及缓存模型转换后的系统状态、动作及奖励训练深度强化学习网络，循环迭代优化所述卸载决策。2.如权利要求1所述的MEC计算卸载、资源分配及缓存联合优化方法，其特征在于，所述MEC计算卸载、资源分配及缓存模型，包括：MEC系统模型，任务模型，缓存模型，移动性模型，计算模型；所述MEC系统模型包括M个MEC服务器和N个移动用户设备，MEC系统以时隙结构运行，记表示所有时隙的集合；所述任务模型包括个异构计算任务，所述异构计算任务的集合表示为：；基于异构计算任务集合请求任务概率，所述任务请求概率服从Zipf分布，表示为：；其中,表示t时刻第K个任务的请求概率；所述缓存模型中MEC服务器共享同样的缓存内容；所述移动性模型通过离散随机跳跃对用户移动性进行建模，根据平均驻留时间判断跳跃强度；当用户请求计算任务时，在时间后用户还停留在任务请求区域的概率，表示为：；其中，表示用户在任务请求区域的平均驻留时间；当MEC服务器对用户发送计算结果时，用户还在任务请求区域的概率，表示为：；其中，表示MEC服务器处理任务的时间；当MEC服务器对用户发送计算结果时，用户离开任务请求区域的概率，表示为：；其中，表示迁移概率；所述计算模型用于计算移动用户设备在不同卸载决策和资源分配策略下的长期平均
开销。3.如权利要求2所述的MEC计算卸载、资源分配及缓存联合优化方法，其特征在于，所述开销包括：时延、能耗、迁移开销及缓存请求成本；所述用户的即时开销，表示为：；其中，表示用户在t时刻的系统总时延，表示用户在t时刻的系统总能耗，表示用户在t时刻的卸载决策，表示缓存请求成本，表示迁移开销，分别表示时延，能耗，缓存请求成本及任务结果迁移开销的权重系数且范围在[0,1]，表示用户在t时刻请求的任务在t
‑
1时刻是否被缓存；利用系统长期平均开销衡量系统性能，所述系统长期平均开销表示为：；其中，T表示整个时隙的长度，表示系统内t时刻所有用户的即时开销。4.如权利要求2或3所述的MEC计算卸载、资源分配及缓存联合优化方法，其特征在于，以最小化系统长期平均开销为目标，对所述MEC计算卸载、资源分配及缓存模型进行模型转换，包括：目标函数，表示为：；其中，表示用户在t时刻的卸载决策，表示本地计算资源分配决策，表示边缘计算资源分配决策，表示缓存决策，C表示为系统长期平均开销；基于所述最小化系统长期平均开销，将MEC计算卸载、资源分配及缓存模型转换为马尔可夫决策过程模型。5.如权利要求4所述的MEC计算卸载、资源分配及缓存联合优化方法，其特征在于，设置所述马尔可夫决策过程模型，包括：状态空间设置，动...

【专利技术属性】
技术研发人员：刘旭，朱绍恩，杨龙祥，朱洪波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：