一种基于深度强化学习的无人机辅助边缘卸载决策方法技术

一种基于深度强化学习的无人机辅助边缘卸载决策方法，包括以下步骤：设置S个静态边缘服务器和N架携带存储设备的无人机；服务器上的任务以均值为λ

【技术实现步骤摘要】
一种基于深度强化学习的无人机辅助边缘卸载决策方法


[0001]本专利技术属于5G网络边缘计算卸载
，尤其涉及一种无人机辅助边缘卸载决策方法。

技术介绍

[0002]移动边缘计算通过把计算资源部署在物联网设备附近，把云计算功能下沉至物联网设备边缘，从而有效减少计算时延，节约物联网设备的能耗。传统的边缘服务器的是固定静态部署的，区域性和时段性的任务卸载任务量的波动会造成局部地区的某些时段的部分服务器的过载。如果过度密集地部署边缘服务器则会造成局部地区的大部分时段的服务器处于空闲状态，从而造成浪费。如果能根据任务量的大小动态地部署边缘服务器是一个较好的解决思路。小型无人机由于其易于部署，低购置和维护成本，高机动性和悬停能力，是商业应用的实用选择。在无人机上部署计算资源，使无人机也拥有一定的计算能力来处理任务，则可以协同边缘服务器一起服务物联网设备，从而实现高效的卸载服务。因此，利用无人机辅助边缘卸载决策，具体来说，如何动态地部署无人机以及平衡无人机与服务器之间的卸载决策，降低任务的完成时间和无人机的使用成本是一个非常重要的研究问题。

技术实现思路

[0003]为了最小化任务完成时间和无人机使用成本，本专利技术将具有计算能力的无人机引入边缘计算网络，设计了在移动边缘计算环境中无人机辅助的计算卸载方法。首先，物联网设备会将任务全部卸载到最近的服务器上；其次，在无人机上部署计算资源，调度无人机的数量，辅助任务量过大的边缘服务器计算；最终，调整无人机与辅助的服务器之间的任务卸载比例，最小化整个网络系统的任务完成时间和无人机使用成本。
[0004]为了实现上述过程，本专利技术提供以下的技术方案：
[0005]一种基于深度强化学习的无人机辅助边缘卸载决策方法，包括以下步骤：
[0006]步骤1：在交通网络中，部署S台边缘服务器(简称为服务器)，表示服务器的集合。无人机数量为N架。无人机计算单位任务成本为cost
d
，服务器计算单位任务的成本为cost
s
。每一架无人机都部署某一服务器的覆盖范围内，辅助服务器完成卸载任务，部署的情况表示为G(t)＝[a
1,t
,a
2,t
,a
3,t
,
…
,a
S,t
]，a
i,t
表示在t时刻协助服务器i的无人机数量；
[0007]步骤2：每个时隙t服务器i的任务到达都服从均值为λ
i,t
的泊松分布。我们让到达服务器i的任务以p
i,t
的概率选择服务器i来处理，则服务器端任务的到达速率为λ
i,t
p
i,t
，无人机端任务的到达速率为λ
i,t
(1
‑
p
i,t
)，记p
t
＝[p
1,t
,p
2,t
,
…
,p
S,t
]；
[0008]步骤3：利用排队论计算任务在服务器处理时的逗留时间(排队时间+处理时间)和任务在无人机处理时的逗留时间，建立最小化任务完成时间和计算任务成本为目标的优化问题P1；
[0009]步骤4：采用深度强化学习的算法对步骤3中归纳的数学问题P1进行求解，从而得
到单个时隙内无人机辅助方案G(t)、计算任务卸载方案p
t
。
[0010]进一步地，所述步骤3中，所述任务完成时间和计算任务成本的表达式为：
[0011][0012]其中λ为所有时隙的计算任务到达速率，G为所有时隙的无人机部署情况，p为所有时隙的计算任务卸载概率，ω1、ω2和ω3为权重系数，T
i,t,s
表示任务在服务器i上的逗留时间，T
i,t,d,s
表示任务卸载给无人机时的逗留时间。
[0013]特别其中μ
s
为服务器的处理速率。其中其中是计算任务在服务器端的发送队列长度，是服务器的发送强度，是服务器与无人机之间的上行传输速率，w为无人机与服务器之间的带宽，P
i
为服务器i的发射功率，g
i
为服务器i与无人机之间的信道增益，σ2为服务器i与无人机之间的噪声,为服务器i与无人机之间的噪声,是无人机端计算任务队列长度，其中是无人机端计算任务队列长度，其中μ
d
为无人机的处理速率。
[0014]再进一步地，所述步骤3中，所述限制条件的表达式为：
[0015]ω1+ω2+ω3＝1
ꢀꢀ
(1)
[0016][0017]p
i,t
≤1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0018]λ
i,t
(1
‑
p
i,t
)<μ
tr
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0019]λ
i,t
(1
‑
P
i,t
)<μ
d
×
a
i,t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0020]λ
i
,tp
i,t
<μ
s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0021]其中式(1)是权重因子的约束，式(2)是辅助的无人机数量的约束，式(3)是卸载的概率约束，式(4)(5)(6)是排队论中任务到达速度和处理速度之间的约束。
[0022]更进一步地，所述步骤4中，采用深度强化学习算法对步骤3中优化问题P1进行求解的步骤为：
[0023]步骤4.1：根据时隙之间的独立性以及服务器之间的独立性，将优化问题P1转化为问题P2；
[0024]P2：
[0025][0026]s.t.(1)～(6)
[0027]步骤4.2：通过随机方法初始化两个DNN的网络参数θ
a,1
和θ
p,1
，用来产生部署决策和卸载决策。初始化两个空的Memory，用来存放经过训练后得到的历史经验。
[0028]步骤4.3：选择SoftPlus函数作为第一个DNN网络的隐藏层的激活函数，SoftMax函数作为其输出层函数。每个时隙的任务到达速率λ
t
作为其输入，其输出为其中表示通过网络参数θ
a,t
在第一个DNN网络中对于λ
t
状态的映射函数；
[0029]步骤4.4：选择ReLu作为第二个DNN网络的隐藏层的激活函数，sigmoid函数作为输出层函数。将第一个DNN网络输出得到的作为输入，输出为作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的无人机辅助边缘卸载决策方法，其特征在于，包括如下步骤：步骤1：在交通网络中，部署S台边缘服务器(简称为服务器)，表示服务器的集合；无人机数量为N架；无人机计算单位任务成本为coat
d
，服务器计算单位任务的成本为coat
s
；每一架无人机都部署在某一服务器的覆盖范围内，辅助服务器完成卸载任务，部署的情况表示为G(t)＝[a
1，t
，a
2，t
，a
3，t
，...，a
S，t
]，a
i，t
表示在t时刻协助服务器i的无人机数量；步骤2：每个时隙t服务器i的任务到达都服从均值为λ
i，t
的泊松分布；让到达服务器i的任务以p
i，t
的概率选择服务器i来处理，则服务器端任务的到达速率为λ
i，t
p
i，t
，无人机端任务的到达速率为λ
i，t
(1
‑
p
i，t
)，记p
t
＝[p
1，t
，p
2，t
，...，p
s，t
]；步骤3：利用排队论计算任务在服务器处理时的逗留时间(排队时间+处理时间)和任务在无人机处理时的逗留时间，建立最小化任务完成时间和计算任务成本为目标的优化问题P1；步骤4：采用深度强化学习的算法对步骤3中归纳的数学问题P1进行求解，从而得到单个时隙内无人机辅助方案G(t)、计算任务卸载方案p
t
。2.如权利要求1所述的一种基于深度强化学习的无人机辅助边缘卸载决策方法，其特征在于：所述步骤3中，所述任务完成时间和计算任务成本的表达式为：其中T
i，t，s
表示任务在服务器i上的逗留时间，T
i，t，d，s
表示任务卸载给无人机时的逗留时间；特别其中μ
s
为服务器的处理速率；其中是计算任务在服务器端的发送队列长度，是服务器的发送强度，是服务器与无人机之间的上行传输速率，w为无人机与服务器之间的带宽，P
i
为服务器i的发射功率，g
i
为服务器i与无人机之间的信道增益，σ2为服务器i与无人机之间的噪声，为服务器i与无人机之间的噪声，是无人机端计算任务队列长度，其中是无人机端计算任务队列长度，其中μ
d
为无人机的处理速率。3.如权利要求1或2所述的一种基于深度强化学习的无人机辅助边缘卸载决策方法，其特征在于：所述步骤3中，所述限制条件的表达式为：ω1+ω2＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)p
i，t
≤1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)λ
i，t
(1
‑
p
i，t

【专利技术属性】
技术研发人员：田贤忠，缪娉婷，许鹏程，孟慧骁，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：