一种移动边缘计算系统中联合卸载判决和资源分配的方法技术方案

本发明专利技术公开了一种移动边缘计算系统中联合卸载判决和资源分配的方法，在移动边缘计算系统中，通过最大化移动边缘计算服务器已执行的卸载任务数，在移动边缘计算服务器端建立队列来存储在一个时隙中没有被执行的任务，在效用函数中利用队列作为一个惩罚来避免严重的时延。面对的挑战包括：下行链路信道的马尔科夫特性、任务队列长度的变化以及小基站的可充电电池状态。为解决上述问题，综合考虑卸载判决和资源分配，将系统建模为马尔科夫决策过程，建立下行链路通信模型、能量收集模型、计算任务队列模型、移动边缘计算服务器执行任务模型和效用函数模型，并采用单资格迹的Actor‑Critic算法。本发明专利技术不仅有更快的收敛性能，即更短时延，而且收益更高。

A Method of Joint Unloading Decision and Resource Allocation in Mobile Edge Computing System

【技术实现步骤摘要】
一种移动边缘计算系统中联合卸载判决和资源分配的方法
本专利技术涉及第五代无线通信
，尤其涉及一种移动边缘计算系统中联合卸载判决和资源分配的方法。
技术介绍
在移动边缘计算(MobileEdgeComputing,MEC)系统中，用户卸载任务到移动边缘计算服务器，利用无线接入网络的边缘提供计算资源，能够克服移动终端设备的一些限制条件，如电池的使用时间和有限的计算能力，提高移动终端用户的体验质量(QualityofExperience,QoE)。目前国内外对MEC系统的研究方向以及存在的问题如下：①降低能量消耗。如T.Q.Dinh等人在2017年提出一个对卸载判决和移动终端设备CPU频率进行联合优化的框架，这里考虑单用户卸载任务到多个MEC服务器，C.You等人在2017年研究MEC系统中计算资源的分配问题，这里考虑在限定的计算时延条件下降低移动终端设备的能量消耗。但是上述研究文献只是从用户的角度考虑最小化移动终端设备的能量消耗，与之不同的是，本专利技术从运营商角度考虑，降低MEC系统中的能量消耗，这包括两部分：MEC服务器计算任务所消耗的能量，和下行链路SBS向用户无线传输所消耗的能量。为了降低MEC系统中的能量消耗。②最大化卸载任务的数量。如C.Wang等人在2017年提出对计算任务卸载和资源分配进行联合优化的方法，同时提出在MEC和小小区网络联合部署的系统中联合计算任务卸载和干扰管理的方法。但是上述研究存在的一个大问题，都是假设在一定的时延条件下，所有的计算任务在一个计算卸载时间段内都能被执行完，并且在旧的计算任务执行完之前没有新的计算任务到达。这样的假设让复杂的优化问题变得简单好操作容易处理，然而弊端是只适用于短时间的性能分析，不能满足移动终端设备长期动态的计算要求。实际上，当多个用户共享一个MEC服务器时，由于计算资源有限，在一个固定的计算卸载时间段内可能没有执行完一些任务，意味着在旧的计算任务执行完之前已经有新的计算任务到达了。将动态系统建模为一个马尔科夫判决过程(MarkovDecisionProcess,MDP)，其中的状态空间和动作空间都是连续的多维的，传统的Q学习算法不能通过简单的值函数来描述每一个状态或动作是否是好的，过于依赖Q_Table，特别是当状态或动作空间的维度巨大时，Q_Table量级太大，计算机处理不了；传统策略梯度算法收敛慢。
技术实现思路
为解决现有技术的缺点和不足，提供一种移动边缘计算系统中联合卸载判决和资源分配的方法，从而降低系统能耗和时延。为实现本专利技术目的而提供的一种移动边缘计算系统中联合卸载判决和资源分配的方法，包括以下步骤：步骤1：移动边缘计算服务器为每个移动用户设置一个先进先出的任务队列，来存储已经卸载到移动边缘计算服务器但在一个时隙内还没有被服务器执行的任务；步骤2：为每个小基站都配有一个能量收集装置，用可充电电池来存储绿色能源，设定一个门限值来保护电池，它满足在一个时隙内移动终端的能量要求；当电池电量低于门限值时，电池的状态值bn(t)为0，小基站将由传统的电网自动供电；否则bn(t)为1，小基站将由绿色能源供电；步骤3：将动态系统建模为马尔科夫决策过程，简称为MDP，包括有S、A、P、r，四个参数，S为状态空间、A为动作空间、P为状态转移概率矩阵、r是回报函数，其中的状态空间S包括三部分：1)无线信道环境，用基站到用户的下行链路的信干噪比ηn(t)来表示；2)每个小基站的可充电电池的电量状态bn(t)，用0或1表示；3)任务队列长度Tn(t)；其中的动作空间A包括三部分：1)移动边缘计算服务器的卸载判决cn(t)，当cn(t)＝1时，同意卸载，当cn(t)＝0时，拒绝卸载；2)下行链路的传输功率pn(t)；3)移动边缘计算服务器分配给n号移动终端设备的计算资源fn(t)；步骤4：采用单资格迹的Actor-Critic算法来解决上述MDP问题；初始化Actor部分的策略参数θ和Critic部分的状态值函数的参数ω；设置一个迭代次数的上限，开始步骤5进行迭代；步骤5：在每一次迭代中，根据动作的概率分布π(a|st，θ)，其中μ(s，θ)是正太分布的均值，用μ(s，θ)＝θTφ(s)估计得到，σ是均方差，选择得到一个动作a，在当前状态下该动作，就可以得到这个动作的奖励值，状态从当前状态转换到下一个状态；步骤6：更新状态特征向量φ(s)，用一个线性估计器来学习状态值函数Vπ(s)，估计方法为Vπ(s)≈V(s，ω)＝ωTφ(s)，其中ω是Critic部分的状态值函数的参数，ωT是ω的转置；步骤7：更新时序差分函数δ，更新方法为δ＝rt+1+γωV(st+1，ω)-V(st，ω)，其中rt+1+γωV(st+1，ω)是下一状态的总奖励值，rt+1是下一状态的即时奖励值，γω是衰减因子数值在0到1之间，V(st，ω)是当前状态下的奖励值；步骤8：更新状态值函数的参数ω(t)，更新方法为其中ω(t)是当前时隙的状态值函数的参数，是ω的梯度，δ是时序差分函数，αc，t是Critic部分的学习率，满足步骤9：更新下一个时隙的策略参数θt+1，更新方法为其中是θ的梯度，αa，t是Actor部分的学习率，是一个正数，且满足判断迭代是否收敛，或者达到迭代次数的上限，如果没有达到迭代次数的上限而且迭代没有收敛，则返回步骤5继续迭代，如果达到迭代次数的上限或迭代已经收敛，则结束迭代。作为上述方案的进一步改进，步骤1中任务队列的数量用任务队列的长度来表示，数值按照下列式子而动态变化：其中[x]+＝max(x，0)，cn(t)Λn(t)是在第t个时隙内到达的任务，cn(t)是步骤3中移动边缘计算服务器做的卸载判决，Λn(t)是在第t个时隙内n号移动终端卸载的任务；是在时间间隔Δt内和给定的计算资源前提条件下，可以由移动边缘计算服务器处理的任务输入的上限。作为上述方案的进一步改进，步骤2中可充电电池的电量通过下列式子得到其中Bn(t)是在t时隙开始时的电池电量，Bn(t+1)是在t+1时隙开始时的电池电量，Gn(t)是到达的能量包，是从基站到移动终端设备的下行链路消耗的能量，是电池的最大容量，bn(t)是步骤2中电池的电量状态值。作为上述方案的进一步改进，MDP的回报函数是其中，ρn、υn和βn为三个参数，单位分别是比特、焦耳、比特，Dn(t)是移动边缘计算服务器执行的任务；En(t)是在执行任务Dn(t)时的能量消耗，En(t)包括移动边缘计算服务器在计算任务Dn(t)消耗的能量和将计算结果通过下行链路传输给n号移动终端时消耗的能量；Hn(t)是在t时隙结束时还没有执行完的任务队列的长度，在数值上Hn(t)＝Tn(t+1)，Hn(t)作为一个惩罚机制，用来避免当任务队列已经非常长而且计算资源有限时移动边缘计算服务器接受n号移动终端的卸载任务请求；回报函数代表的是移动运营商通过移动边缘计算服务器提供计算服务的收益，其中p(t)是下行链路的传输功率，c(t)是卸载判决，f(t)是计算资源。本专利技术的有益效果是：与现有技术相比，本专利技术的优势在于：1)采用能量收集小小区网络和移动边缘计算服务器联合部署的方式，并且为每个小基站(SmallBaseStation，SBS)都配置一个绿色能本文档来自技高网...

【技术保护点】
1.一种移动边缘计算系统中联合卸载判决和资源分配的方法，其特征在于：包括以下步骤：步骤1：移动边缘计算服务器为每个移动用户设置一个先进先出的任务队列，来存储已经卸载到移动边缘计算服务器但在一个时隙内还没有被服务器执行的任务；步骤2：为每个小基站都配有一个能量收集装置，用可充电电池来存储绿色能源，设定一个门限值来保护电池，它满足在一个时隙内移动终端的能量要求；当电池电量低于门限值时，电池的状态值bn(t)为0，小基站将由传统的电网自动供电；否则bn(t)为1，小基站将由绿色能源供电；步骤3：将动态系统建模为马尔科夫决策过程，简称为MDP，包括有S、A、P、r，四个参数，S为状态空间、A为动作空间、P为状态转移概率矩阵、r是回报函数，其中的状态空间S包括三部分：1)无线信道环境，用基站到用户的下行链路的信干噪比ηn(t)来表示；2)每个小基站的可充电电池的电量状态bn(t)，用0或1表示；3)任务队列长度Tn(t)；其中的动作空间A包括三部分：1)移动边缘计算服务器的卸载判决cn(t)，当cn(t)＝1时，同意卸载，当cn(t)＝0时，拒绝卸载；2)下行链路的传输功率pn(t)；3)移动边缘计算服务器分配给n号移动终端设备的计算资源fn(t)；步骤4：采用单资格迹的Actor‑Critic算法来解决上述MDP问题；初始化Actor部分的策略参数θ和Critic部分的状态值函数的参数ω；设置一个迭代次数的上限，开始步骤5进行迭代；步骤5：在每一次迭代中，根据动作的概率分布π(a|st,θ)，...

【技术特征摘要】
1.一种移动边缘计算系统中联合卸载判决和资源分配的方法，其特征在于：包括以下步骤：步骤1：移动边缘计算服务器为每个移动用户设置一个先进先出的任务队列，来存储已经卸载到移动边缘计算服务器但在一个时隙内还没有被服务器执行的任务；步骤2：为每个小基站都配有一个能量收集装置，用可充电电池来存储绿色能源，设定一个门限值来保护电池，它满足在一个时隙内移动终端的能量要求；当电池电量低于门限值时，电池的状态值bn(t)为0，小基站将由传统的电网自动供电；否则bn(t)为1，小基站将由绿色能源供电；步骤3：将动态系统建模为马尔科夫决策过程，简称为MDP，包括有S、A、P、r，四个参数，S为状态空间、A为动作空间、P为状态转移概率矩阵、r是回报函数，其中的状态空间S包括三部分：1)无线信道环境，用基站到用户的下行链路的信干噪比ηn(t)来表示；2)每个小基站的可充电电池的电量状态bn(t)，用0或1表示；3)任务队列长度Tn(t)；其中的动作空间A包括三部分：1)移动边缘计算服务器的卸载判决cn(t)，当cn(t)＝1时，同意卸载，当cn(t)＝0时，拒绝卸载；2)下行链路的传输功率pn(t)；3)移动边缘计算服务器分配给n号移动终端设备的计算资源fn(t)；步骤4：采用单资格迹的Actor-Critic算法来解决上述MDP问题；初始化Actor部分的策略参数θ和Critic部分的状态值函数的参数ω；设置一个迭代次数的上限，开始步骤5进行迭代；步骤5：在每一次迭代中，根据动作的概率分布π(a|st,θ)，其中μ(s,θ)是正太分布的均值，用μ(s,θ)＝θTφ(s)估计得到，σ是均方差，选择得到一个动作a，在当前状态下该动作，就可以得到这个动作的奖励值，状态从当前状态转换到下一个状态；步骤6：更新状态特征向量φ(s)，用一个线性估计器来学习状态值函数Vπ(s)，估计方法为Vπ(s)≈V(s,ω)＝ωTφ(s)，其中ω是Critic部分的状态值函数的参数，ωT是ω的转置；步骤7：更新时序差分函数δ，更新方法为δ＝rt+1+γωV(st+1,ω)-V(st,ω)，其中rt+1+γωV(st+1,ω)是下一状态的总奖励值，rt+1是下一状态的即时奖励值，γω是衰减因子数值在0到1之间，V(st,ω)是当前状态下的奖励值；步骤8：更...

【专利技术属性】
技术研发人员：付芳，张志才，
申请(专利权)人：山西大学，
类型：发明
国别省市：山西,14