移动边缘计算中一种根据用户移动模式计算卸载的方法技术

本发明专利技术属于移动通信技术和计算机技术领域，具体涉及移动边缘计算中一种根据用户移动模式计算卸载的方法；所述方法包括建立异构网络中系统的通信模型；根据用户在目前时隙以及上一时隙分别与用户关联的MEC服务器位置坐标；计算出这两个MEC服务器坐标的距离；并确定出用户是否需要进行任务迁移；根据用户关联前后的MEC服务器坐标之间的距离，分别计算出用户体验质量和用户在移动模式下的延迟成本；将用户体验质量和在移动模式下的延迟成本之间的差值作为奖励，利用改进后的深度强化学习DQN算法优化用户体验质量总成本；本发明专利技术能够在事先不清楚用户的运动模式的情况下，对用户的任务做出迁移卸载决策，具有很强的泛化能力。力。力。

【技术实现步骤摘要】
移动边缘计算中一种根据用户移动模式计算卸载的方法


[0001]本专利技术属于移动通信技术和计算机
，具体涉及移动边缘计算中一种根据用户任务移动模式计算卸载的方法。

技术介绍

[0002]近年来，随着5G技术的成熟和基于物联网的异构网络快速发展，由此产生了许多新型应用和新型场景。伴随着移动智能终端设备以指数级的爆炸式增长，产生了海量未处理的数据任务，这对移动智能终端设备的计算能力和缓存能力提出了很高的要求。普通家用移动智能终端设备的计算和缓存海量数据的能力难以满足要求，尤其是在人工智能领域中逐渐兴起的各种新型技术，比如自动驾驶技术、虚拟现实技术、增强现实技术等，对于移动智能终端设备和网络的时延以及带宽提出了更高的要求。为了解决这一系列的问题，移动边缘计算(Mobile Edge Computing,MEC)技术应运而生。
[0003]移动边缘计算这个概念的提出最早可以追溯到上个世纪90年代，阿卡迈公司推出了内容分发网络(Content Delivery Network,CDN)，它是由专业服务器组成的并且分布在不同地理位置的庞大网络。近几年来，欧洲电信标准化协会(European Telecommunications Standards Institute,ETSI)将移动边缘计算正式更名为多接入边缘计算(Multi
‑
Access Edge Computing)。移动边缘计算是一种在无线侧提供用户所需服务和云端计算功能的网络架构，用于加速网络中各项应用的快速下载，让用户享有不间断的高质量网络体验，具备超低时延、超高带宽、实时性强等特性。利用移动边缘计算技术能有效解决时延长、能耗高和数据不安全等问题。尤其是计算卸载技术作为MEC的关键技术更是成为该领域的研究热点。MEC计算卸载技术允许移动智能终端设备将计算密集型任务卸载至MEC服务器执行，借助高计算性能MEC服务器实现任务执行时延降低的目的。此外，移动智能终端设备将任务卸载到边缘服务器后由于计算负载的减少，也能有效地降低移动智能终端设备的能耗。因此，移动边缘计算卸载技术能有效缓解移动智能终端设备计算资源不足和存储能力受限的问题。
[0004]尽管如此，在移动边缘计算领域中同样面临着许多需要解决的问题。比如人工智能领域中的无人自动驾驶技术，由于车辆驾驶具有很高的移动性，原本卸载计算任务所关联的边缘计算服务器可能会离移动智能终端设备越来越远，随着距离的增大，移动智能终端设备的接收时延也会相应增大。并且移动智能终端设备的运动轨迹很难提前预知，所以如何根据移动智能终端设备的移动模式来决策什么时候卸载任务，以及卸载到哪个服务器上是本专利技术所需要解决的问题。

技术实现思路

[0005]为了解决以上问题，以便让卸载决策能对移动智能终端设备的移动模式做出有效地判定，并满足新型业务场景中用户对于体验质量的需求。本专利技术的目的在于提供一种基于移动边缘计算结合深度学习来解决移动智能终端设备在不断移动的情况下决策任务卸
载的方法。利用深度强化学习DQN算法，通过深度神经网络来近似状态价值函数，当移动智能终端设备在移动模式下以确定最优的计算卸载与资源分配方案。
[0006]以上所述基于一种移动边缘计算技术和深度强化学习DQN算法结合的方法，即移动边缘计算中一种根据用户移动模式计算卸载的方法具体包括以下步骤：
[0007]在包含N个小基站和1个宏基站的移动边缘网络中，为每个宏基站周围配置一台MEC服务器，并建立异构网络中系统的通信模型；
[0008]根据各个小基站所在区域，得到整个小基站群落的位置坐标集合，并确定出小基站的最大有效服务范围；并根据用户在不同时隙下的移动模式，得到目前时隙以及上一时隙分别与用户关联的MEC服务器位置坐标；
[0009]按照不同时隙下与用户关联的MEC服务器位置坐标信息，计算出这两个MEC服务器坐标的距离，从而建立系统的计算模型；
[0010]按照不同时隙下与用户关联的MEC服务器位置坐标信息以及任务服务的最大有效范围，确定出用户是否需要进行任务迁移，从而建立任务迁移和卸载模型；
[0011]根据用户关联前后的MEC服务器坐标之间的距离，分别计算出用户体验质量和迁移延迟成本；根据用户与MEC服务器之间一跳的距离，计算出用户的切换再连接延迟成本；根据迁移延迟成本和切换再连接延迟成本，计算出用户在移动模式下的延迟成本；
[0012]将用户体验质量和在移动模式下的延迟成本之间的差值作为奖励，利用改进后的深度强化学习DQN算法优化用户体验质量总成本。
[0013]本专利技术具有创新性和合理性。适用于在5G技术运用下的智能车辆驾驶场景。该算法具有以下四个优点：
[0014]1.采用深度强化学习的理论方法，能够在事先不清楚用户的运动模式的情况下，对用户的任务做出迁移卸载决策。并且运用深度强化学习的算法保证了在实际运用中的泛化能力更强。
[0015]2.对于边缘计算业务场景中存在高维的状态空间和动作空间能够通过进行拟合神经网络来进行存储和处理，有效的避免了高维问题带来的维度爆炸。
[0016]3.该算法的实现原理与人类获取信息以及处理的过程类似：处于某一状态下获取环境中的感知信息，通过一个深度神经网络处理，然后输出动作，并获得一定反馈，通过反馈选择下一状态的动作，如此循环往复。使得算法能够更接近人类的认知，方便理解整个算法思想和流程。
[0017]4.该本专利技术的模型中，根据用户移动模式通过中央控制器来进行任务迁移的动作，由于MEC服务器仅具有有效的服务范围，所以与不采取任何任务迁移措施来说，本专利技术能有效的提高用户的服务体验质量。此外，通过与改进后的深度学习DQN算法相结合，能够合理的利用训练样本数据，从而加快模型训练速度，更精准的采取任务迁移动作。
附图说明
[0018]图1是本专利技术实施例的卸载方法流程图；
[0019]图2是本专利技术优选实施例的卸载方法流程图；
[0020]图3为本专利技术实施例的系统模型图；
[0021]图4为本专利技术实施例中的DQN算法结构框图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]如图1所示，本专利技术是一种根据用户移动模式计算卸载的方法，具体涉及到移动边缘计算任务迁移卸载技术和深度强化学习技术，构建出系统模型，判断用户是否在原MEC服务器覆盖范围内，如果在覆盖范围内，则不进行任务迁移卸载，否则进行任务迁移卸载，将任务迁移卸载过程转换为马尔科夫决策过程，并将其转换为深度强化学习模型，利用DQN算法进行训练，得到最优的任务卸载决策。
[0024]图2是本专利技术优选实施例中的移动边缘计算中一种根据用户移动模式计算卸载的方法流程图，如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.移动边缘计算中一种根据用户移动模式计算卸载的方法，其特征在于，包括以下步骤：在包含N个小基站和1个宏基站的移动边缘网络中，为每个宏基站周围配置一台MEC服务器，并建立异构网络中系统的通信模型；根据各个小基站所在区域，得到整个小基站群落的位置坐标集合，并确定出小基站的最大有效服务范围；并根据用户在不同时隙下的移动模式，得到目前时隙以及上一时隙分别与用户关联的MEC服务器位置坐标；按照不同时隙下与用户关联的MEC服务器位置坐标信息，计算出这两个MEC服务器坐标的距离，从而建立系统的计算模型；按照不同时隙下与用户关联的MEC服务器位置坐标信息以及任务服务的最大有效范围，确定出用户是否需要进行任务迁移，从而建立任务迁移和卸载模型；根据用户关联前后的MEC服务器坐标之间的距离，分别计算出用户体验质量和迁移延迟成本；根据用户与MEC服务器之间一跳的距离，计算出用户的切换再连接延迟成本；根据迁移延迟成本和切换再连接延迟成本，计算出用户在移动模式下的延迟成本；将用户体验质量和在移动模式下的延迟成本之间的差值作为奖励，利用改进后的深度强化学习DQN算法优化用户体验质量总成本。2.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法，其特征在于，所述异构网络中系统的通信模型包括每个MEC服务器的服务覆盖有效范围内为周围用户提供算力来进行任务的卸载计算，用户使用移动智能终端设备通过无线网络将任务卸载到关联的MEC服务器；每个MEC服务器通过一个高速回程链路连接宏基站，宏基站周围存在一个中央控制器，负责决定移动模式下的移动智能终端设备的卸载决策。3.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法，其特征在于，所述系统的计算模型包括将小基站的位置坐标集合定义为小基站分散在各个小区周围，小基站的最大有效服务范围为B；将时间离散化在时隙t下，一位用户驾驶智能车辆经过系统中构建的小区，智能车辆通过无线网络连接到最近的一个小基站，假设此时用户关联的MEC服务器的位置坐标点为(x
c
,y
c
)，其中表示用户始终在整个小区群落之间穿梭；在这之前，智能车辆将其任务卸载到对应MEC服务器的位置坐标点为(x
b
,y
b
)，其中将用户此时关联的MEC服务器位置和原来所关联的MEC服务器之间的距离定义为d
t
，表示为4.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法，其特征在于，所述任务迁移和卸载模型包括在某一时隙下，智能车辆从一个位置坐标行驶离开，当经过一段时间后，车辆脱离原本关联的MEC服务器范围，进入到另外一个MEC服务器的服务覆盖范围内；由于脱离了以前的MEC服务器，导致车辆卸载在原MEC服务器上的任务计算结果回传延迟增大，用户体验质量下降，此时中央控制器在了解MEC服务器和智能车辆的情况后，采用迁移决策将原MEC服务器上的任务或计算结果迁移到现在与之关联的MEC服务器上进行卸载计算，从而降低延迟。
5.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法，其特征在于，用户体验质量总成本的优化模型表示为：s.t.s.t.s.t.其中，表示用户体验质量总成本；μ
q
表示用户体验质量成本系数，μ
c
表示延迟成本系数，μ
q
∈[0,1]，μ
c
∈[0,1]且μ
q
+μ
c
＝1；Q
t
表示在t时隙下的用户体验质量，q
max
表示最优用户体验质量，表示单位距离用户体验质量的衰减系数，d
t
表示在t时隙下用户当前关联的MEC服务器位置和前一时隙所关联的MEC服务器之间的距离；表示在t时隙下用户在移动模式下的延迟成本，表示在t时隙下用户在移动模式下的延迟成本，表示在t时隙下的用户迁移延迟成本，h表示MEC服务器和用户之间一跳的距离；表示在t时隙下的用户的切换再连接延迟成本，的用户的切换再连接延迟成本，表示两个MEC服务器之间单位距离的迁移时延；T表示时隙数；表示求期望，式(6b)为在时隙下，智能车辆的位置始终在某个MEC服务器的服务范围内，b
i
表示第i个小基站的有效服务范围，N表示小基站个数，B为小基站的最大有效服务范围；式(6c)为在时隙下，用户的体验质量都应该大于一个用户体验质量的下限，Q
min
表示最小用户体验质量；式(6d)表示为在时隙下，延迟总成本都不能超过用户最大容忍延迟，C
max
表示用户在移动模式下的最大延迟成本。6.根据权利要求1所述的移动边缘计算中一种根据用户移动模式计算卸载的方法，其特征在于，所述将用户体验质量和在移动模式下的延迟成本之间的差值作为奖励，利用改进后的深度强化学习DQN算法优化用户体验质量总成本包括将系统模型中宏基站下的中央控制器设计为代理，通过所述代理收集系统中各个MEC...

【专利技术属性】
技术研发人员：李云，陈治涵，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：