一种面向MEC网络的细粒度任务卸载及资源分配方法组成比例

本发明专利技术涉及一种面向MEC网络的细粒度任务卸载及资源分配方法，包括模型训练阶段与决策推理阶段，包括：(1)创建物联网系统；(2)在SDN控制器上部署基于深度强化学习的细粒度任务卸载与资源分配算法模型；(3)采集训练数据；(4)训练细粒度任务卸载与资源分配算法模型；(5)将训练好的细粒度任务卸载与资源分配算法模型重新部署到SDN控制器上，用于实现决策推理；(7)训练完成的SDN控制器做出计算卸载决策、MEC计算资源分配决策和带宽分配决策，并以控制指令方式发送给智能物联网设备和MEC服务器。本发明专利技术考虑了物联网场景中动态变化的网络环境和随机系统环境，本发明专利技术有效降低了系统长期任务处理时延。期任务处理时延。

【技术实现步骤摘要】
一种面向MEC网络的细粒度任务卸载及资源分配方法


[0001]本专利技术涉及一种面向MEC网络的细粒度任务卸载及资源分配方法，属于5G和人工智能发展


技术介绍

[0002]5G和人工智能的发展促进了物联网在各场景中的推广应用，如工业物联网和车联网。伴随着这些新的场景，大量的智能应用也随之产生，如智能制造和智能资源调度。这些计算密集型应用通常需要大量的计算资源，但由于物联网设备的计算能力有限，很难实现这些计算。针对这一问题，将计算任务卸载到远程云中心，利用其强大的计算资源进行计算处理是一个很好的解决方案。但由于云服务器距离用户较远，这种卸载到云进行计算的方式增加了任务端到端处理时延，很难满足智能应用的低延时需求。
[0003]多接入边缘计算(Multi
‑
Access Edge Computing,MEC)作为一个有效的计算模式，其通过将服务器部署在距离物联网设备较近的网络边缘来给用户提供就近服务，与云计算相比可以大大减少任务处理时延中的通信时延。边缘服务器虽然可以为物联网设备提供计算服务，但大量的数据交换也会给系统带来通信开销，并且计算任务的传输时延受动态的网络通信条件的影响。另外，边缘服务器的计算资源有限，物联网设备数量的增加使得在边缘服务器端的资源竞争不可避免。因此，为了最大限度地减少系统的长期任务处理时延、高效地利用边缘服务器和本地的计算资源、准确地适应动态变化的网络环境，设计有效的动态卸载和资源分配策略是实现任务合理调度的重要途径。
[0004]在实际的物联网场景中，信道条件是长期动态变化的，为了应对环境的动态特性，实现长期的任务调度过程优化，采用深度强化学习(Deep Reinforcement Learning,DRL)是一个好的解决方案，深度强化学习将深度学习与强化学习相结合，可以解决巨大的状态和动作空间，实现策略学习。
[0005]现有的面向物联网的任务卸载与资源分配方法，有些采用静态调度方案，对整个系统实现一次性的任务调度，不能保证动态系统的长期效益最优。有些采用动态调度的方案可以实现长期的任务调度过程优化，但是大多数是对一个计算任务进行整体的调度，然而一个具有大数据量的复杂计算任务在相干时间内无法计算完成，整体任务调度的技术方案很难使系统的长期效益达到最优。

技术实现思路

[0006]针对现有技术的不足，本专利技术提供了一种面向MEC网络的基于深度强化学习的细粒度任务卸载及资源分配方法，该方法基于多接入边缘计算架构，用于为物联网系统设计智能计算任务卸载与资源分配策略，来提高系统的长期总体效益。该方法采用SDN集中控制器进行决策模型的训练与推理，通过收集动态的系统状态信息，如信道条件和随机任务到达情况，对大数据量的智能计算任务进行多时隙的细粒度调度。该方法可以使物联网系统的任务卸载与资源分配决策更好地适应动态变化的环境，有效减小系统的长期任务处理时
延。
[0007]术语解释：
[0008]1.多接入边缘计算(Multi
‑
Access Edge Computing,MEC)：云计算的一种演进，通过将计算资源下沉到网络边缘形成边缘云，为多用户提供计算服务，可以有效降低服务延时。
[0009]2.深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法：一种深度强化学习方法，采用Actor
‑
Critic双网络结构，用于解决连续动作空间问题。
[0010]3.软件定义网络(Software Defined Networking,SDN)：一种网络管理方法，可支持动态网络配置，提高网络性能和管理效率；SDN控制器可以收集动态的系统信息，对网络资源进行管理和控制。
[0011]本专利技术的技术方案为：
[0012]一种面向MEC网络的细粒度任务卸载及资源分配方法，包括模型训练阶段与决策推理阶段，具体步骤包括：
[0013]A、模型训练阶段,包括：
[0014](1)创建物联网系统：物联网系统包括MEC服务器、SDN控制器及智能物联网设备；所述MEC服务器为智能物联网设备提供计算服务，所述SDN控制器负责任务调度和资源分配算法模型的训练与决策推理；
[0015](2)在SDN控制器上部署基于深度强化学习的细粒度任务卸载与资源分配算法模型，并将该细粒度任务卸载与资源分配算法模型初始化；
[0016](3)SDN控制器作为智能体与物联网系统环境进行交互采集训练数据：以时隙的方式进行决策生成与控制指令下发，其中，时隙长度为相干时间长度，将每个时隙内智能体与系统环境的交互信息定义为数据元组，存入经验池中；
[0017](4)采用随机梯度下降算法训练细粒度任务卸载与资源分配算法模型，训练的目标是最小化系统的任务执行总时延；
[0018](5)重复步骤(3)和(4)，直到细粒度任务卸载与资源分配算法模型收敛，细粒度任务卸载与资源分配算法模型的训练过程结束，进入决策推理阶段；
[0019]B、决策推理阶段，包括：
[0020](6)将训练好的细粒度任务卸载与资源分配算法模型重新部署到SDN控制器上，用于实现决策推理；
[0021](7)在时隙开始时，SDN控制器收集物联网系统状态信息，由训练完成的SDN控制器做出计算卸载决策、MEC计算资源分配决策和带宽分配决策，并以控制指令方式发送给智能物联网设备和MEC服务器；
[0022](8)在本时隙剩余的时间内，智能物联网设备和MEC服务器执行收到控制指令，完成智能计算任务的卸载计算或本地计算；
[0023](9)重复进行步骤(7)和(8)，直到整个过程运行结束。
[0024]根据本专利技术优选的，物联网系统的无线通信过程为：
[0025]MEC服务器与智能物联网设备之间采用正交频分的方式进行数据传输，且每个智能物联网设备使用不同的频带；
[0026]定义物联网系统给所有智能物联网设备分配的带宽比例为b(t)＝(b1(t),
…
,b
n
(t),
…
,b
N
(t))，其中b
n
(t)为物联网系统为智能物联网设备n在时隙t分配的信道带宽比例；
根据香农公式，数据从智能物联网设备n传输到MEC服务器的最大传输速率传输速度R
n
(t)定义如式(I)所示：
[0027][0028]式(I)中，B为物联网系统的总的通信带宽，p
n
为智能物联网设备n的传输功率，g
n
(t)为智能物联网设备n在时隙t的无线信道增益，N0为高斯噪声功率谱密度。
[0029]根据本专利技术优选的，细粒度任务卸载与资源分配算法模型为双网络模型，包括由动作网络Actor网络和评价网络Critic网络；
[0030]Actor网络和Critic网络均采用全连接神经网络结构，包括一个输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向MEC网络的细粒度任务卸载及资源分配方法，其特征在于，包括模型训练阶段与决策推理阶段，具体步骤包括：A、模型训练阶段,包括：(1)创建物联网系统：物联网系统包括MEC服务器、SDN控制器及智能物联网设备；所述MEC服务器为智能物联网设备提供计算服务，所述SDN控制器负责任务调度和资源分配算法模型的训练与决策推理；(2)在SDN控制器上部署基于深度强化学习的细粒度任务卸载与资源分配算法模型，并将该细粒度任务卸载与资源分配算法模型初始化；(3)SDN控制器作为智能体与物联网系统环境进行交互采集训练数据：以时隙的方式进行决策生成与控制指令下发，其中，时隙长度为相干时间长度，将每个时隙内智能体与系统环境的交互信息定义为数据元组，存入经验池中；(4)采用随机梯度下降算法训练细粒度任务卸载与资源分配算法模型，训练的目标是最小化系统的任务执行总时延；(5)重复步骤(3)和(4)，直到细粒度任务卸载与资源分配算法模型收敛，细粒度任务卸载与资源分配算法模型的训练过程结束，进入决策推理阶段；B、决策推理阶段，包括：(6)将训练好的细粒度任务卸载与资源分配算法模型重新部署到SDN控制器上，用于实现决策推理；(7)在时隙开始时，SDN控制器收集物联网系统状态信息，由训练完成的SDN控制器做出计算卸载决策、MEC计算资源分配决策和带宽分配决策，并以控制指令方式发送给智能物联网设备和MEC服务器；(8)在本时隙剩余的时间内，智能物联网设备和MEC服务器执行收到控制指令，完成智能计算任务的卸载计算或本地计算；(9)重复进行步骤(7)和(8)，直到整个过程运行结束。2.根据权利要求1所述的一种面向MEC网络的细粒度任务卸载及资源分配方法，其特征在于，物联网系统的无线通信过程为：MEC服务器与智能物联网设备之间采用正交频分的方式进行数据传输，且每个智能物联网设备使用不同的频带；定义物联网系统给所有智能物联网设备分配的带宽比例为b(t)＝(b1(t),...,b
n
(t),...,b
N
(t))，其中b
n
(t)为物联网系统为智能物联网设备n在时隙t分配的信道带宽比例；根据香农公式，数据从智能物联网设备n传输到MEC服务器的最大传输速率传输速度R
n
(t)定义如式(I)所示：式(I)中，B为物联网系统的总的通信带宽，p
n
为智能物联网设备n的传输功率，g
n
(t)为智能物联网设备n在时隙t的无线信道增益，N0为高斯噪声功率谱密度。3.根据权利要求1所述的一种面向MEC网络的细粒度任务卸载及资源分配方法，其特征在于，细粒度任务卸载与资源分配算法模型为双网络模型，包括由动作网络Actor网络和评价网络Critic网络；
Actor网络和Critic网络均采用全连接神经网络结构，包括一个输入层、多个隐藏层和一个输出层；定义s(t)是在时隙t物联网系统的状态信息，a(t)是在时隙t执行的决策动作，Actor网络的输入为物联网系统的状态信息s(t)，输出为要执行的决策动作a(t)，Actor网络的输出层的神经元分为两部分，一部分使用softmax激活函数输出连续的归一化的资源分配决策，另一部分使用sigmoid激活函数输出卸载决策的概率；其中，Actor网络按照策略a(t)＝π(s(t)|θ
μ
)输出一个确定性动作，Critic网络通过输出一个估计的Q值Q(s(t),a(t)|θ
Q
)来评估这个确定性动作的好坏，其中，θ
μ
和θ
Q
分别为Actor网络和Critic网络的网络参数。4.根据权利要求1所述的一种面向MEC网络的细粒度任务卸载及资源分配方法，其特征在于，步骤(3)中智能体与物联网系统环境进行交互的过程及生成的数据元组(s
meu
(t),s
su
(t),s
l
(t),g(t))：步骤(3)的具体实现过程为：步骤3
‑
1：在每个时隙的开始，SDN控制器作为智能体收集时隙t物联网系统的状态信息s(t)，并基于s(t)做出决策，状态空间S描述为式(II)：S＝{s(t)|s(t)＝(s
meu
(t),s
su
(t),s
i
(t),g(t))}
ꢀꢀꢀꢀ
(II)其中，MEC服务器包括执行单元，负责接收计算卸载的智能任务并进行计算处理；表示MEC服务器的执行单元中的数据量，智能物联网设备包括调度单元，负责存储正在执行的计算任务的数据；表示智能物联网设备的调度单元中的数据量，表示智能物联网设备的任务队列长度，g(t)＝(g1(t),...,g
n
(t),...,g
N
(t))表示智能物联网设备的无线信道增益，物联网系统的状态空间的维数为4N；步骤3
‑
2：在收集到时隙t物联网系统的状态信息s(t)后，SDN控制器将做出决策动作a(t)并向MEC服务器和智能物联网设备发送控制信号；动作空间A描述为式(III)：其中，x(t)、φ(t)和b(t)分别为卸载决策、MEC计算资源分配决策和系统带宽资源分配决策，物联网系统的动作空间的维数为3N；步骤3
‑
3：选择并执行决策动作a(t)后，物联网系统从s(t)转移到s(t+1)，其中，状态转移概率表示为P(s(t+1)|s(t),a(t))；步骤3
‑
4：选择并执行决策动作a(t)后，物联网系统产生针对此决策动作a(t)的即时奖励r(t)；采用每时隙的物联网系统优化目标值的相反数作为该物联网系统的奖励函数；奖励函数r(t)定义为式(IV)：其中，ξ为任务溢出的惩罚参数，α
n,m
(t)为任务溢出指示参数，d
n,m
(t)表示智能物联网设备n的第m个任务在t时隙的时延，即如果该任务在队列中等待或正在执行计算，则有d
n,m
(t)＝T
s
，否则d
n,m
(t)＝0。5.根据权利要求1所述的一种面向MEC网络的细粒度任务卸载及资源分配方法，其特征在于，步骤(4)中，物联网系统的优化目标是最小化物联网系统任务执行总时延；以最小化
物联网系统总体任务完成时延为目标函数，设计联合计算卸载与资源分配决策算法，建立的优化问题如式(V)：s.t.C1:x＝(x1,...,x
N
)C3:b＝(b1,
…
,b
N
)))))其中，d
n,m
(t)表示智能物联网设备n的第m个任务在t时隙的时延，即如果该任务在队列中等待或正在执行计算，则有d
n,m
(t)＝T
s
，否则d
n,m
(t)＝0；α
n,m
为任务溢出指示参数，当智能物联网设备n的第m个任务溢出时α
n,m...

【专利技术属性】
技术研发人员：张海霞，孙上，周晓天，鲁彬彬，
申请(专利权)人：山东大学，
类型：发明
国别省市：